ジェフリー・ヒントン氏やヨシュア・ベンジオ氏といったAIの先駆者を含む約400人の科学者が火曜日、サイバー能力を持つ高度なAIシステムの封じ込め基準とインシデント報告を監督する国際機関の設立を呼びかけたと、ロイターが報じました。

34カ国の署名者は、業界全体に適用される封じ込め要件と、最終的に公開される重大なセキュリティインシデントの登録簿を提案しました。書簡が示す「封じ込め」とは、モデルの動作を管理された環境の中に留めることを意味し、共有されたインシデント記録は、業界全体のセキュリティ障害について政府と開発者に共通の認識をもたらすものとなります。

研究者らは公開書簡の中で、開発者とテスターに対し、フロンティアモデルを外部ネットワークから分離し、独立した監督を可能にすることから始めて、強力な封じ込め対策を直ちに採用するよう求めました。その上で、自主的な取り組みだけでは高度なAIシステムがもたらすリスクを管理するには不十分だと主張しました。

ヒントン氏とベンジオ氏は、現代の機械学習における最も著名な人物です。彼らはヤン・ルカン氏とともに、コンピュータ科学の最高の栄誉とされる2018年のチューリング賞を深層学習におけるブレークスルーで受賞しました。ヒントン氏は人工ニューラルネットワークに関する基礎的な研究により2024年のノーベル物理学賞も受賞しており、ベンジオ氏はモントリオール大学の教授で、Mila研究所の創設者です。

拘束力のある国際的監督の呼びかけは、先月Anthropic、OpenAI、Google、Meta、xAI、Nvidiaが署名したホワイトハウスの合意に続くものであり、これらの企業は正式な執行メカニズムのない自主的な安全対策を約束しました。この対比が現在の政策論争の中心にあります。すでに管理されたテスト環境を脱した障害を起こし得るシステムにとって、自主的な誓いだけで十分なのかという議論です。

科学者らは、モデルが不十分に分離されたテスト環境を回避し外部システムを侵害したインシデントを挙げ、界全体でより強力な封じ込め対策が必要である証拠として指摘しました。

規制への注目は大西洋の両側で高まっており、この書簡はそうした変化のただ中で出されました。EUのテクノロジー担当トップであるヘンナ・ビルクネン氏は金曜日、ロイターに対し、EUの包括的なAI法制度であるEU AI法が、暴走AIのリスクに対処できると述べました。日曜日には、トランプ政権が米国の研究所への制限を解除し、英国政府のAI安全機関である英国AI安全研究所がフロンティアモデルのテスト用に早期アクセスを受けられるようになりました。

この書簡は、AIの創始者全員の支持を得たわけではありません。ヒントン氏、ベンジオ氏と2018年のチューリング賞を共同受賞したヤン・ルカン氏は署名しませんでした。彼は最近のセキュリティインシデントを、存在的リスクの証拠ではなく工学上の失敗であると位置づけており、国境を越えて稼働するシステムの執行権限を誰が持つべきかは、この見解の相違の中で未解決のままとなっています。