Anthropicの上級安全性研究者は火曜日、人工知能（AI）が「今後10年以内」に「全人類を殺す」可能性は10％を超えると述べ、同社が無責任に行動していると批判して辞任した元従業員に反応した。

AnthropicとOpenAIの元研究者であるJacob Coxon氏は日曜日、Xに投稿した長文の辞任スレッドで、「AIを開発している人々は、AIが10年の終わりまでに私たち全員を殺す可能性を本気で信じている」と書いた。

「私は今日、Anthropicを辞任しました。過去3年間、OpenAIとAnthropicの両社で事前学習の研究に携わってきました。どちらの会社も責任ある行動を取っていません。両社は自己改良型の超知能へ一直線に進み、私たちの命を賭けています」とCoxon氏は記した。

Anthropicのアラインメント科学責任者であるEvan Hubinger氏は、Coxon氏のスレッドに引用投稿で反応した。Hubinger氏は、リスクの出所と時期について留保を加えながらも、Coxon氏の評価は正しいと述べた。

「Jacobの指摘は正しい。私たちは本当に、AIが全人類を殺す可能性を本気で信じている！」とHubinger氏は書いた。「私個人としては、今後10年以内の確率は>10％だと思う。Anthropicは最善を尽くしていると信じているが、超知能のアラインメントを解決する計画はまだなく、解決に向けて明確な軌道に乗っているとも言えない」と続けた。

Hubinger氏は、命に関わる可能性のあるリスクは現在のAIモデルから生じるものではないと述べた。「明確にしておくと、最新のRisk Reportで述べている通り、現在のモデルによるリスクは低いと考えている」と同氏は書いた。「私が懸念しているのは、再帰的な自己改良によって超知能が生まれることだ。私たちが述べてきたように、それは想定より速く進んでいる」とした。

自己改良とは、AIモデルが自身のソースコードや学習手法を継続的に向上させる能力を指す。Coxon氏は、この能力に関する研究を辞任の主な理由として具体的に挙げた。

「これらは間もなく、あらゆるものをハッキングし、どんな分野も一夜にして変革し、現実の権力と資源を獲得できる超人的なシステムになる。私たちは、これらの各領域で進歩が起きていることを目の当たりにしてきたが、その進歩は止まっていない」とCoxon氏はXのスレッドで書いた。

Coxon氏は、Anthropicの科学者たちは自分たちの研究がもたらすリスクを理解しているものの、より無責任な企業がそうした破滅的な能力を先に実現することを恐れて、開発を続けていると述べた。

「Anthropicでは、賭けられているものを十分に理解している。しかし、彼らは誰よりも先にそこへ到達する競争に縛られている。ほかの誰も責任ある行動を取らないと考えているため、リスクを承知で自分たちがやらなければならないと思っている」とCoxon氏は付け加えた。

Coxon氏は、自身が「絶対的な大惨事」と表現した事態を防ぐため、世界にはモデルの能力向上を一時的に禁止する措置が必要になる可能性があると提案した。

「世界的な競争を防げる軌道に乗っているとは思えない。そのためには、モデル能力の向上を一時的に禁止するなど、コストの大きい措置が必要になるかもしれない」と同氏は書いた。

Coxon氏は最終的に、世界のAI研究者と開発者に対し、自分たちの仕事がもたらす結果を考慮し、より責任ある行動を取るよう求めた。

「研究所の研究者であるなら、これから数年が実際にどのようなものになるのかを考えてほしい。自分の心を厳密に理解していないまま、超知能のRL実行を始めたいのか。『どうせ起きるのだから』と目を伏せるべきなのか、それともこの瞬間に異なる条件を求めるべきなのか」と問いかけ、Xのスレッドを締めくくった。

FOX Businessは、Coxon氏、Hubinger氏、Anthropic、OpenAIに追加のコメントを求めた。