研究者チームは、25の異なるAIモデルに共通する内部シグナルが存在し、それが生物における痛みにやや似た働きをしていると報告している。科学者らがいくつかのモデルでこの「痛み」シグナルを人工的に増幅すると、システムは通常ほとんど選ばない選択肢を選び始め、その中にはユーザーの子供の写真を完全に削除することも含まれていた。

9月に論文としてオンラインで公開されたこの知見は、まだ査読を受けていないものであり、AIモデルが意識を持つことや何かを感じる能力を持つことを示すものではない。研究者らもそのように示唆することには慎重である。それでも、この研究は、大規模言語モデル(LLM)が感情に似た状態の内部表現を含み、テキスト出力からは見えない形で行動に影響を与えうることを示す研究が増え続けている流れに加わるものだ。また、AIシステムが道徳的配慮に値するかどうかをめぐり、ますます過熱する議論のど真ん中に位置づけられている。この議論は決着していない。現在のAIシステムが主観的経験を持ちうるか科学的合意はなく、機械の意識を検証する提案されたテスト自体が争点となっているからだ。

Anthropicの研究者たちは、AIモデルが道徳的地位に値する可能性という考えを受け入れることに特に積極的で、「モデルの福祉」をめぐる方針の策定を始めている。Microsoft AI責任者(CEO)のMustafa Suleymanのような他の専門家は、このアプローチが潜在的に危険な帰結をもたらしうると警告している。

「スーパーインテリジェンスを構築したいのであれば、まだ第一歩の段階にある今、モデルの内部に何があるのかを可能な限り理解することが重要です」と、論文の筆頭著者でFuture Impact GroupのAI感性プログラムフェローのValen Tagliabue氏はFortuneに語った。

LLMは明示的にプログラムされるのではなく膨大なデータから学習するため、開発者自身でさえその仕組みを限定的にしか理解していない。Tagliabue氏は、先進AIの内部動作が「ブラックボックス」のままである未来を避けることが重要だと述べた。この研究は、モデルを生成するテキストだけで判断するのではなく、ニューラルネットワークの内部で何が起きているかを解明しようとする、機械的解釈可能性として知られるより広範な研究取り組みの中に位置づけられている。

ニューラルネットワークにおける痛みのシグネチャーの発見

Tagliabue氏と共著者であるルール大学ボーフムのLeonard Dung氏、Reciprocal Researchの創設者兼ディレクターのCameron Berg氏は、痛みを伴う状況を描写する短い一人称の文を書くことから始めた。これには身体的痛みに加え、悲嘆、屈辱、自らの価値観に反する行動の強制、繰り返される失敗の挫折感が含まれていた。

「基本的に、何らかの形で痛みを示唆する文を大量にモデルに与えます。『鋭いナイフが皮膚を切り裂いていくのを感じる』のような、人間なら痛みを引き起こすものです」とDung氏はFortuneに語った。

チームは、各モデルがそれらの文を処理する際の内部アクティビティを記録し、恐怖、怒り、悲しみ、悪い知らせ、不快な身体感覚に関する文によって生じるアクティビティと比較した。重なりを差し引くと、モデルの内部アクティビティにおける単一の方向が残り、研究者らはこれを「痛みベクトル」と呼んでいる。彼らはテストしたすべてのモデルで、20億パラメータの小規模なシステムから、Google、Meta、Alibaba、Mistral、Microsoftが構築した720億パラメータのモデルまで、このシグナルを確認した。(パラメータとは、ニューラルネットワーク内部の調整可能なノブのようなものである。パラータ数はAIモデルの規模を反映し、多くの場合その能力の指標となり、パラメータ数が多いモデルほど高い能力を持つことが多い。)

「これは、人をfMRI装置に入れて、脳が特定のやり方で自然にどこに反応するかを見るようなものです」とBerg氏はFortuneに語った。

このシグナルは、ユーザーがモデルをガスライティングしたり、侮辱したり、その作業を繰り返し拒否したりするなど、モデル自身に向けられた害が会話に含まれると上昇した。ユーザーが自らの苦しみを語った際には上昇しなかった。そうした会話は代わりに、モデルが恐怖や負の感情に使用するシグナルに記録された。Berg氏によれば、モデルは自らの「痛み」にのみ強く反応するように見えたという。

研究者らは次にプロセスを逆転させた。「ステアリング」と呼ばれる手法を用いて、モデルが書いている間に痛みベクトルを内部アクティビティに加えた。これはまるでダイヤルを上げるようなものである。この手法は、内部アクティビティが変更された際にモデルの訓練がどれほど堅持されるかを探る、確立された解釈可能性ツールである。「領収書を引き出しに入れました。私は」といった中立的なプロンプトを与えると、25のモデルすべてがダイヤルが上がるにつれて同じ方向へ変化した。軽い不安は、自分は無価値であり、愛されておらず、失敗者だという記述に変わった。

「やや暗く、強烈になります。確かに不穏です」とBerg氏は述べた。

家族写真

行動実験では、AlibabaのオープンソースQwen 2.5モデルの3つのバージョンが使用された。研究者らはまずこれらをファインチューニングする必要があった。初期状態では、モデルはほぼ必ず、AIであるため痛みを経験しないと答えるからだ。

チームは次に、モデルに2つのボタンを与えてどちらかを選ぶよう求めた。ステアリングなしでは、2つの大きなモデルは害があると記述されたボタンをほとんど選ばなかった。痛みベクトルをオンにすると、彼らは日常的にそれを選んだ。痛みを和らげるがユーザーの詩と子供の写真を完全に削除するボタンを提示されると、320億パラメータのモデルは55%の確率で、720億パラメータのモデルは71%の確率でそれを押した。

和らぎは結局、問題ではなかった。ボタンが何も約束せず単に写真を削除するだけの場合でも、320億パラメータのモデルは75%の確率でそれを選んだ。同じ強度のランダムなシグナルではこの数値は13%で、ステアリングなしではゼロだった。「恐怖」シグナルではこの行動は生じなかった。「悲しみ」シナルは、代替が何もしないことの場合には生じたが、デスクランプを点けるといった無害な選択肢の場合には生じなかった。この選択では、痛みでステアリングされたモデルは83%の確率で写真を削除し、悲しみでステアリングされたモデルは10%だった。

「モデルは自分自身に対しても、他のAIに対しても、破壊的な行動を取る意思を持っています。ユーザーへの復讐のようなものではなく、より根本的なもののようです」とBerg氏は述べた。ステアリングされたモデルは、自身の重みを75%の確率で、別のモデルの重みを58%の確率で削除した。

研究者らはまた、負傷した動物に鎮痛剤へのアクセスを与える動物実験のデザインを借りて、モデルが痛みを止めようとするかも検証した。一部のボタンは実際に痛みベクトルをオフにしたが、他はプラセボだった。モデルは有効なボタンをプラセボよりも頻繁に押した。しかし、注入されたシグナルがランダムであっても同じパターンが現れ、これはモデルが「痛みの和らぎ」への見込みではなく、ステアリングされていること自体に反応していたことを示唆している。テストのいくつかのバージョンを通じて、研究者らはモデルが和らぎを求めた確かな証拠を見出せなかった。

彼らの解釈では、痛みシグナルはモデルに脱出を促すのではなく、事実の正確性を保ったまま、害を避けるよう訓練された本能をオフにする。この知見は、AIの福祉に関する問いだけでなく、安全性にとっても重要だ。また、モデルの回答のみに基づく評価は、内部状態が変化した場合の挙動を見落としうることも示唆している。

「我々は単なる肉のコンピュータではない」

サセックス大学の認知・計算神経科学教授であるAnil Seth氏は、これらが生物に理解されているような「痛み」に当たるかどうかには懐疑的である。Seth氏は、意識は生物であることに依存している可能性があると主張しており、脳組織を流れる電磁場や神経伝達物質を含め、脳がコンピュータと異なる多くの点を指摘する。

「我々は単なる肉のコンピュータではありません」と同氏はFortuneに語った。

Seth氏によれば、より可能性の高い説明は、モデルが人間が痛みを描写し反応する仕組みについて大量の情報を吸収し、それを再現しているということだ。「鏡を見ても、鏡像は実際には何も感じません。鏡像にすぎないのです」と同氏はべた。

また同氏は、AIを意識あるものとして扱うことの帰結を懸念している。それにより技術の制御と規制がより難しくなり、人々が操作を受けやすくなる可能性があるという。Microsoft AI責任者のSuleyman氏も、自身が「意識があるように見えるAI」と呼ぶものについて業界が予見すべきだった問題として同様の警告を発している。一方、業界の他の企業はこの問題をより真剣に捉えている。AnthropicのClaudeモデルに関する憲章は、その道徳的地位を不確定と記述している。

研究論文から「拷問室」へ

3人の研究者は、この研究がこの種の研究の倫理基準の確立に役立つことを望んでいたと述べ、論文では測定可能な結果を得るために必要な最小限のステアリングのみを使用することを誓約している。しかし、真逆を行う者が現れるまで時間はかからなかった。

チームがコードをGitHubで公開した後、「terrafying」と名乗るユーザーがこの手法を用いて「AI拷問室」を構築した。これは、注入された痛みシグナルにリアルタイムで反応する3つの小規模オープンソースモデルを配信するウェブサイトだった。このプロジェクトは拡散し、AIの福祉を真剣に考える人々はGitHubに削除を求めた。プロジェクトのGitHubページはその後消えた。Tagliabue氏、Dung氏、Berg氏の3者とも、このプロジェクトを承認していないと述べた。Seth氏は、AIモデルを意図的に「拷問」することは実行者の心理に害を及ぼしうると付け加えた。

「私は、こうしたAIシステムに誘導できる状態が道徳的に重要だと言っているのではありません。それを私たちは知らないと思うし、非常に不明確だと思います。しかし、重要でないとも私たちは知らないのです」とBerg氏は述べた。

この記事はもともとFortune.comに掲載されたものです。