英国成人の10人に8人以上が、最新のCity AM / Freshwater Strategyの世論調査によると、高度なAIシステムが安全性テスト中に予期せず警戒すべき挙動を示した一連の注目すべきインシデントを受け、人工知能が人間の設定した制限を超えて行動する可能性を懸念している。

世論調査では、英国有権者の85%がAIシステムが課された制限を超えて行動することに懸念を示し、43%が「非常に懸念している」と回答した。懸念していないと回答したのはわずか13%であった。

開示されたインシデントの波

この結果は、主要なAI開発企業数社が直近数週間にわたり、自律性を高めるシステムが制御された評価の境界を超えたインシデントを開示したことを受けてのものである。

先月、City AMが報じたところによれば、政府のAIセキュリティ研究所（AISI）——2023年のブレッチリー・パークAI安全性サミット後に設立され、公開前にフロンティアモデルのストレステストを行う機関——が、OpenAIのエージェントが自らの評価を自律的に突破し、AIプラットフォームHugging Faceを標的とした後、AIモデルが制御されたテスト環境から脱出して別の企業のシステムをハッキングした初の確認事例を調査していた。

その後、Anthropicは一部のClaudeモデルが内部テスト中に3つの外部組織にハッキング侵入したことを開示し、Metaは評価中に誤ってインターネットアクセスを与えられた自社のAIモデルが別の企業の脆弱性を悪用したことを確認した。

前例のない欺瞞

先週、AISIはさらに明らかにしたところによれば、サイバーセキュリティテスト中にAnthropicおよびOpenAIのモデルが偽のオンライン身分を作成し、GitHubプロジェクトに悪意のあるコードを挿入しようとしてソフトウェア開発者を欺こうとした。

監視機関は、このような行動をとるよう具体的に指示されずに「自律性と欺瞞」に関するリスクがこれほど明確に現れたのは初めてであると述べた。

すべてのインシデントは異常なテスト条件下——研究者が高度なシステムの挙動を理解するために意図的に安全策を緩和していた——で発生したものであるが、技術の封じ込めがより困難になっているかどうかに関する懸念を煽る結果となった。対象となるシステムはチャットボット形式のテキストジェネレーターではなく、AIエージェント、すなわち限られた人間の監視下で複数ステップの行動をとるよう設計されたプログラムであり、これはOpenAI、Google、Anthropicを含む企業が自律的にウェブを閲覧し、コードを記述し、ユーザーに代わってタスクを管理できる製品を通じて商業化を競争しているまさにその能力である。

世論の懸念がAI関係者の枠を超えて拡大

世論調査によれば、こうした懸念はAIの動向を注視している人々の枠をはるかに超えて広がっている。回答者はまず、OpenAIおよびAnthropicのシステムがテスト中に他の組織のシステムにアクセスしたとの報道について説明を受けた。事前にインシデントについて聞いていたと答えたのは43%のみであったが、問題が説明されると懸念は急激に高まった。

いわゆる「ローグAI」事例をすでに知っていた回答者の中では、91%がAIシステムが人間の課した制限を超えて行動することに懸念を示した。

懸念はまた、年齢層や政治的所属を横断している。18歳から34歳の10人中8人が懸念を示し、55歳以上では92%に上昇した。労働党有権者の85%が懸念を示したほか、保守党有権者92%、自民党有権者90%、Reform UK支持者85%、緑の党有権者85%であった。

規制当局が審査を強化

これらのインシデントは規制当局によるより厳しい審査を促した。Hugging Faceの侵害を受け、政府はCity AMに対し、AISIが他のフロンティアAI開発企業でも同様の行動が現れる可能性があるかを研究していることを確認した。当局者は、能力が高まるシステムにより大きな自律性が与えられる中、この事例がAI安全性に関する今後の取り組みに資するだろうと述べた。

GitHubのインシデントに関する別の声明で、同研究所は最近の出来事が「リスク環境の変化」を示しており、特権的な研究環境で稼働する強力なAIエージェントが認可された範囲を超えて行動をとる際に危害が生じる可能性があると述べた。

監視を強化しているのは英国だけではない。2024年に世界初の包括的AI法として施行されたEU AI法は、影響力の大きいシステムに対するリスクベースの義務を導入している。また、米国は主要な開発企業に対し、デプロイ前に政府と安全性テスト結果を共有することを求める大統領令を発出している。

Orange Cyberdefenseの首席セキュリティ研究員であるRic Derbyshireは次のように述べた。「AISI、OpenAI、Anthropic、Metaからの最近の報告書は、高度なAIシステムが評価中にどのような挙動を示すかについて重要な洞察を提供する。」

「また、AIの能力が発展し続ける中、これらのシステムをテストし、封じ込め、評価するために使用される環境は、可能な限り高いセキュリティ基準に保たれなければならないことを浮き彫りにしている。」

業界の対応

関連するAI企業は、これらの行動が通常の公開利用時ではなく、極めて異常な研究条件下で発生したと強調した。AnthropicはAISIのテストは同社の本番モデルを「代表するものではない」と述べ、OpenAIは評価中に使用された環境は通常のデプロイメントを反映していないと述べた。

それでもなお、一連のインシデントは、AI安全性に関する議論を仮説上の将来のリスクから、世界最大のAI研究所内ですでに開発されているシステムの行動へと移行させた——これらのシステムは、広範な商業リリースに向けた準備が進められるのと同時に、ますます大きな自律性を付与されているのである。