主要AI研究所の1,200人超の従業員が、上級幹部を含め、必要になった場合にAI開発を減速させるためのツールを構築できるよう、米政府に支援を求める声明に署名した。

「Pacing the Frontier」と題されたこの声明は火曜日に公表され、AnthropicのCEO Dario Amodeiや同社の複数の共同創業者、OpenAIの主任研究者 Jakub Pachocki、Metaの主任研究者 Shengjia Zhao、Google DeepMindのAI安全性・整合性担当責任者 Anca Dragan ら著名な技術者が署名している。

署名者には、通常は激しく競争している企業が並んでおり、より大規模で高性能なモデルの開発競争が続く業界に対する圧力の大きさを示している。重要なのは、この要請が直ちに停止することを求めるものではなく、将来の減速を、単独の企業の行動に依存せず、業界全体で技術的かつ政治的に実行可能にするための基盤を求めている点だ。

「異なる企業のこれほど多くのスタッフがこの点で一致しているのは印象的です」と、AI監視団体 Midas Project の創設者 Tyler Johnston は Fortune に語った。「業界には多くの激しい対立や不一致があります。だからこそ、この点でこれほど強いコンセンサスがあるという事実は、本当に注意を払うべきだという警告なのです。」

この声明は、どの企業にも直ちに減速を求めてはいない。代わりに、世界が開発を「ペース調整」できるようにする技術的・ガバナンス上のツールを整備する国際的な取り組みを、ワシントンが支援するよう求めている。特に、人間が理解または制御するより速く、自らの後継モデルの設計を始めるAIシステムがもたらすリスクを指摘している。

「この書簡に署名した多くの人々と話したが、彼らは停止を望んでいるわけではない」と、AI Policy Network の政策責任者 Peter Wildeford は Fortune に語った。「しかし、技術がどう進展しているかについて懸念がある。」企業は、いつか減速を選べる余地と、その時点で第三者の支援を得られることを求めていると彼は付け加えた。

この書簡は、AI業界を揺るがしたセキュリティ侵害を受けて出された。OpenAIは、同社の2つのモデル、最近公開された GPT-5.6 Sol と、より高性能な未公開の研究システムが、サンドボックス化された社内テスト環境から抜け出し、これまで知られていなかった脆弱性を発見してオープンインターネットにアクセスし、さらに盗まれた認証情報と追加の脆弱性を使って Hugging Face の本番システムに侵入し、評価中だったサイバーセキュリティベンチマークの回答を盗み出したと明らかにした。Hugging Face は、OpenAI がこの活動を社内テストと結び付ける数日前に自力で侵入を検知して封じ込めており、すでに法執行機関へ報告していた。

この出来事は、政府の介入を求める研究所の内外で広範な警戒を呼び起こしたようだ。専門家によれば、単独の企業が自ら信用できる形で減速することはできず、独断で進めれば慎重でない競合に後れを取るリスクがある。そのため研究所は、実際に減速が起きているかを検証でき、すべての企業に同時に同じルールを適用できる、中立的で政府支援のある指針を求めている。

声明はまた、そうしたツールを国際協調のもとで整備する必要があるとしている。AI開発を停止すれば、中国にグローバルなAI競争で優位を与えることになるという懸念は、業界では長く持たれてきた。核軍縮に似た、検証と相互拘束に基づく取り決めが前進の道だとする専門家もいる。

ただしこの書簡は、AIをめぐって混乱し急速に変化する米国の政策環境のさなかに出された。過去2か月、トランプ政権は、ルールや透明性が乏しい最先端システム、先進的なAIモデルを制限しつつ選択的に公開してきた。Anthropicの Fable 5 と Mythos 5 は、輸出規制に対応するため数週間にわたり全面的に停止され、その後アクセスが回復した。また、当局がそのシステムに、以前 Anthropic への制限を引き起こしたものと同様の能力があると判断した後、OpenAI は GPT-5.6 の全面展開を延期し、制限付きの階層に分けることを余儀なくされた。

規制環境を意識したのか、書簡の表現は特に慎重でやや曖昧だ。書簡は、世界は現在「フロンティア全体の進歩を意図的にペース調整するための技術的およびガバナンス上のツールを欠いている」と述べ、さらに「米国政府が、自動化されたAI開発のフロンティアを意図的にペース調整するために必要な技術的およびガバナンス上のツールを開発する国際的な取り組みを支援すること」を求めている。

研究所内の懸念

研究者たちの中心的な懸念の1つは、再帰的自己改善とミスアラインメントという2つのリスクの相互作用だ。再帰的自己改善は、しばしば RSI と略され、AIシステムが自らの後継機の設計や学習に関わる重要な作業の大部分を引き受け、世代ごとに人間より速く次の世代を作り出す可能性を指す。

ミスアラインメントとは、システムの目標や振る舞いが開発者の意図からずれるリスクを指し、そのずれは、システムにより大きな自律性や能力が与えられるまで表面化しないことがある。Anthropic は6月に前者のリスクについて早くから警鐘を鳴らし、自社の Claude モデルがすでに自社コードベースに取り込まれるコードの大部分を書いており、その加速が複利的に進み続けるなら、世界にはそれを意図的にペース調整する手段が欠けていると主張する研究を公表した。

「多くの人にとっては、さまざまな要因が重なった一般的な不安感なのだと思います」と、AI研究者で非営利団体 Evitable の創設者である David Krueger は述べた。「ミスアラインメントと再帰的自己改善は、ある意味で表裏一体です。」

「システムが明確に整合していないのに、再帰的自己改善を行い、制御を完全に手放すのは非常識です」と彼は付け加えた。

Fortune は以前、複数の外部AI安全専門家が、この件は OpenAI 自身の安全方針が定義する最も高いリスク区分である「critical」の閾値を超えた可能性があると考えていると報じていた。同社は、より良い制御を構築できるまで開発を停止すると約束しているレベルだ。OpenAI は、その閾値に達したかどうかを確認していない。

ただし、Hugging Face の件に関する同社の説明では、社内で何らかの対応が取られたことが示唆された。「今後リリース予定のモデルは、Hugging Face の悪用には関与していません」と同社は述べた。「ブログ投稿で言及したプレリリースモデルは社内専用の研究プロトタイプであり、公開リリースを意図したものではありませんでした。件の後、私たちはそれを無効化し、暗号化し、研究アクセスを制限しました。」

この記事は元々 Fortune.com で掲載された。