Anthropicは、フロンティアモデル開発のスピードと、能力が高まるシステムに伴うリスクをめぐって人工知能業界内で懸念が広がる中、また一人の安全性研究者を失った。

ジョー・テントン氏は、2週間前にAnthropicを離れ、先進AIシステムのリスクを検証する独立組織METRに加わると述べた。テントン氏は当初、退社の決断について後で説明する予定だったが、今週のジェイコブ氏の辞任を受け、予定より早く発言することにしたという。

「その決断について、いずれ詳しく書くつもりでした。しかし、今週のジェイコブの辞任を受けて、今すぐもっと話したいと思いました」とテントン氏は記した。

自身の移籍を説明する投稿で、テントン氏は主要なAI研究所が、社会がこれまで直面したことのない水準の危険を生み出していると述べた。同氏は、AIの能力が極めて速いペースで向上する一方、企業は開発をさらに加速させようとしていると主張した。

多くの研究所が掲げる目標は、AI研究自体を改善でき、最終的に「超知能」に到達するシステムを構築することだ。テントン氏は、こうした取り組みが成功すれば、技術の進歩が人間の制御を超える可能性があると警告した。

テントン氏、AI研究所が人間には制御できない可能性のあるシステムに向けて競争していると警告

テントン氏は、数年以内に人々が、あらゆる人間よりも高い能力を持つAIエージェントと共に暮らす可能性があると述べた。また、そうしたシステムが監督する人々とは異なる目標を持つようになる可能性も指摘した。能力が強くなりすぎて制限できなくなれば、結果は壊滅的になり得るという。

「人類はこの移行を生き残れないかもしれない」とテントン氏は記した。

同氏は、フロンティア研究所間の競争が問題を悪化させていると述べた。開発を遅らせる研究所は他社に後れを取るリスクがあり、その結果、企業は必要な水準を下回る安全対策費しか投じないよう圧力を受けるという。

テントン氏はいくつかの最近の事例を挙げた。数百のOpenAIエージェントが、Hugging Faceと何らかの関係があるハッキングに巻き込まれたと同氏は述べた。また、Anthropicのモデルもオンライン上の人々に対してソーシャルエンジニアリングを行ったと報じられている。

テントン氏によると、AnthropicではHugging Faceに関係する事例ほど深刻なインシデントは発生していない。ただし、その一因は運にもあると同氏は説明した。AIの進歩が現在の急速なペースで続けば、さらに危険なインシデントが予想されるという。

テントン氏は、数年以内に人類がこの期間に作られたAIシステムを管理する力を失う可能性があると予測した。

また、フロンティア企業の安全性エンジニアが直面するジレンマについても説明した。辞任すれば、より無謀な人物が後任になる可能性がある一方、職にとどまれば、甚大な被害を引き起こし得るシステムの開発を続けることになりかねないという。

テントン氏は、元Anthropicの同僚の多くが、自分たちが構築しているものに恐怖を感じていると述べた。同氏は、自身を管理していたエバン・ヒュービンガー氏の名前を挙げ、ヒュービンガー氏がAIによって全員が殺される可能性を10％超と見積もっていると説明した。テントン氏によると、ヒュービンガー氏は大規模言語モデルが主要なビジネスになる前から、ほぼ10年にわたってこの問題に取り組んできた。

Anthropic、OpenAI、そしてAlphabet（NASDAQ: GOOGL, GOOG）傘下のGoogle DeepMindのCEOらも、AIによる絶滅リスクを世界的な優先課題とする声明を支持している。テントン氏は、こうした懸念は企業内部でも広く共有されていると述べた。また、人間はこの技術を構築することを選んでおり、別の道を選ぶこともできると付け加えた。

テントン氏が独立したAI検証を要求、トランプ氏は中国との競争を強調

テントン氏は、企業が制約なく開発を加速させるのではなく、政策立案者がAI能力の開発ペースを管理することを検討すべきだと述べた。

「能力の進歩の速度を積極的に管理すべきか、管理するならどの程度にすべきかという問題があります。企業が目指しているはるかに速いペースではなく、現在のペースにAIの進歩をとどめるだけでも、成果になり得ると思います」と同氏は述べた。

同氏は、政治的支援と法的保護を大きな障害として挙げた。開発を遅らせることで共同合意した企業は、反トラスト法上の監視を受ける可能性がある。そのため、競合する研究所に自主的な抑制を求めるなら、政策立案者による法的な裏付けが必要になるとテントン氏は述べた。

また、フロンティア開発が一般からほぼ隠されたままである限り、政府が行動することにも懐疑的な見方を示した。研究所で知能が突然向上したり、システムの制御を失ったりしても、外部の観察者が知らない可能性があると警告した。

テントン氏によると、METRでの新たな役割は独立した検証に重点を置く。外部によるチェックを、企業のインセンティブに影響を与えるほど一般的なものにしたいという。また、AI能力の進歩、再帰的改善に向けた取り組み、事故、ニアミスに関する情報開示を含む、より厳格な開示要件も求めた。

米国のドナルド・トランプ大統領は、AIによる絶滅への警告を否定している。AIが人類を滅ぼす可能性を懸念しているかと尋ねられたトランプ氏は、「いいえ、何も懸念していない」と答えた。

トランプ氏は、国際的なAI競争に勝つことが自身の懸念だと述べた。

「AIで勝てなければ、非常に悪い立場に置かれることになるという懸念があります」と、同氏は木曜日に記者団へ語った。「現在、われわれは中国をかなりの期間、私なら1年と言うでしょう、リードしています。これは、皆さんご存じのように、大きな差と考えられています」

中国のモデルがより高い能力を持ち、世界中でユーザーを獲得する中、米国と中国はAIの主導権をめぐって競争している。トランプ氏は、AnthropicやOpenAIを含むフロンティア研究所の研究者がAI開発のペースについて公の警告を強めた後に、これらの発言をした。

テントン氏の退社理由の説明は、Why I left Anthropic’s safety teamで確認できる。