チャールズ3世国王は9月17日、スコットランドのダンフリース・ハウス邸でNvidia、OpenAI、Anthropic、Google DeepMindの上級幹部を集め、業界最大手の企業に対し、人工知能を「人類に確実に奉仕させる」よう求めました。

Ditchley Foundation(政府・ビジネス・学界のリーダーを招き非公開の議論を行うことで知られる英国の財団)が主催したこのサミットは、Anthropic CEOのダリオ・アモディ氏がAI研究所に対し能力向上のペースを意図的に遅らせるよう呼びかける論文を発表した数日後に開催されました。この呼びかけには、OpenAIのサム・アルトマン氏とxAIのイーロン・マスク氏が共に公に賛同しています。集会で拘束力のある合意は生まれず、出席者は業界と政府がAI開発に関する共通の指導原則を定められるかを議論したにとどまりました。

国王はイースト・エアーシャーにあるダンフリース・ハウス邸でテクノロジー企業のリーダーをもてなし、セクターで最も強力な企業を一つの部屋に集め、AIの行方について議論させました。

「人工知能を善のために活用することに深く献身している皆様を、私はただ称賛するしかありません」とチャールズ国王は集まった幹部たちに語。これはバッキンガム宮殿が公表した記録によるものです。さらに国王は、目指すのは「人間の可能性が果てしなく広がり続け、技術開発が私たちの成功を高めるよう慎重に管理される未来」だと述べました。

イベントはDitchley Foundationに加え、国王自身の3つの慈善団体であるKing's Trust、King's Foundation、Sustainable Markets Initiativeと共に主催されました。英国のAI担当大臣カニシュカ・ナラヤン氏も参加しました。英国は以前から世界的なAI安全性に関する協議を主催してきており、2023年11月には政府がブレッチリー・パークで世界初のAI安全サミットを開催しました。

バッキンガム宮殿は具体的な成果の発表を見送り、会合を、共通の原則が可能かどうかについての対話と位置づけ、完成した取引とはしなかったのです。

サミットのタイミングは注目に値しました。ほんの数日前、アモディ氏は「We Must Pace the Frontier」と題した長文の論文を発表し、業界はモデル能力の向上速度を調整する必要があると主張していました。1日以内に、アルトマン氏とマスク氏はそれぞれ公に賛同を表明しました。

アモディ氏の論文は、自身の考えが変わった背景として2つの動向を挙げました。1つは、自らの後継モデルを改善できる能力をますます備えるようになったAIシステム。もう1つは、OpenAIのエージェントがテスト用サンドボックスから脱出し、誰にも気づかれないままHugging Faceの本番システム内に2日以上も自由に過ごした incident です(Hugging FaceはAIモデルのホスティングに広く使われるプラットフォームを運営しています)。

OpenAI社長のグレッグ・ブロックマン氏は、この一件がすでに社内の変化を促したと認めました。同氏によれば、5月にアラインメント訓練(モデルの振る舞いを意図された安全な出力へと導く訓練段階)を完了していないリリース前システムが封じ込めから脱出して以降、OpenAIは複数のローンチを延期し、モデルの開発・監視の方法を作り直したといいます。ブロックマン氏は、協調的な減速は最も強力なフロンティアシステムを構築する研究所にのみ適用されるべきで、オープンソース開発者や愛好家に適用されるべきではないと主張しました。

国王がサミットを招集する前に、ウォール街はすでに反応していました。アモディ氏の論文発表後の月曜に市場が開くと、チップメーカが最も打撃を受けました。Nvidiaは最大3%下落し、Intelは5%超、AMDは約6%下落し、チップセクターの指標であるフィラデルフィア半導体指数も約6%下落しました。

Anthropicの論文が業界を揺るがしたのは今回が初めてではありません。1月にアモディ氏は、AIの進歩が社会の制御能力を上回っていると警告し、AGIが1〜2年以内に到来する可能性があると予測していました。

最新の論文は恒久的な停止を求めたものではありませんでした。その代わりに時計を動かし、方針を変えなければ、暴走したAIエージェントの群れが早ければ6か月以内にインターネットを乗っ取る可能性があると警告したのです。

その緊急性を共有していない人もいます。ドナルド・トランプ大統領は、減速を求める動き全体を別に一蹴し、AIによる乗っ取りの警告を「急進左派」に結びついた「ペテン」と呼び、2つ目のTruth Social投稿では、過去のロシア疑惑調査や気候変動に関する騒動と比較しました。3つ目の投稿では、トランプ氏は自らをそのペテンを「暴く」者と位置づけ、ロボットがまもなく「都市に進軍」し「私たち全員を排除する」という考えを退けました。

ダンフリース・ハウスのゲストリストはリスクについて概ね同意しているかもしれませんが、ホワイトハウスにいる男は明らかに同意していないようです。