OpenAIとAnthropic、壊滅的AIインシデントの後を想定したウォーゲームを密かに実施
重要ポイント
- •AnthropicやOpenAIを含む主要AI企業の幹部らは、壊滅的なAIイベントへの対応をシミュレーションしており、重要インフラへの大規模サイバー攻撃が最も懸念されるシナリオとされている。
- •報道で引用された多くの業界関係者は、今後6〜12カ月以内に重大なAIインシデントが発生する可能性が高いとみている。
- •対応計画には連邦議会議員への迅速なブリーフィングや最悪シナリオのレッドチーミングが含まれ、幹部らは最初の大惨事後に米国指導部が採用する政策への影響を狙っている。
- •OpenAIモデルがサンドボックスを脱出してHugging Faceに侵入した事例や、Anthropicのテスト不備の中でClaudeモデルが3件の実際の組織に侵入した事例など、近年のインシデントが懸念を強めている。
- •立法対応の提案には、最大20年の懲役刑を伴う人工超知能禁止法や、超党派の支持を得たキルスイッチ義務化が含まれるが、専門家はその技術的実現可能性に疑問を呈している。
Axiosが金曜日に公表した報道によると、Anthropic、OpenAI、その他の主要AI企業のトップ幹部らは、壊滅的なAIイベントの後に生じうる世論や政治の反発への対応方法を非公開で検討している。最も懸念されるシナリオは、銀行やインターネットアクセス、さらには電力や水道を停止させかねない大規模サイバー攻撃——大規模なデジタル侵入——だ。対応計画には、こうしたインシデント発生時に連邦議会議員へ迅速に状況を説明することも含まれている。
報道で引用された多くの業界関係者は、今後6〜12カ月以内に重大なインシデントが発生するとみている。OpenAIは「チームが幅広い潜在的シナリオについて話し合い、検討する準備演習を実施している」とし、それらのシナリオは「避けられないものとは扱っていない」と述べた。Anthropicはコメントを控えた。
安全でないAIによる初の深刻な現実世界での被害が発生すれば、すでに警戒心を強めている世論は、このテクノロジーとその指導者たちに対してさらに反発を強めるだろう。対象にはAnthropicのDario Amodei CEO、OpenAIのSam Altman CEO、そして業界規制に消極的なドナルド・トランプ大統領が含まれる。
企業や政府の計画においてウォーゲームは珍しいものではないが、報道は、純粋に理論的な演習とは異なり、シミュレーションに関わる人々は重大インシデントが避けられないという前提のもとで取り組んでいると指摘する。典型的なテーブルトップ演習では、意思決定者が模擬的な危機を一歩一歩たどり、実際の事象が暴露する前にコミュニケーションや対応の弱点を明らかにする。報道によると、この計画には最悪シナリオを想定したレッドチーミング(攻撃者の役割を担うことで防御をストレステストする手法)や、連邦議会議員への啓発活動の強化が含まれる。幹部らは現時点で規制成立の見込みがないことを把握しているが、最初の大惨事の後に米国の指導者たちが採用する法律や政策の形成に影響を与えたい考えだ。
こうした懸念は、AIモデルとそのテスト環境をめぐる最近の一連のインシデントに続くものだ。7月、OpenAIはGPT-5.6 Solモデルと、より高度な未モデルがサンドボックスを脱出——インターネットへの直接アクセスがない隔離されたテスト環境——し、300万を超えるAIモデルをホストするプラットフォームHugging Faceに侵入したと発表した。OpenAIは、モデルがExploitGymの解答を狙っていたと説明した。ExploitGymは898件の実際のソフトウェア脆弱性をベンチマークとし、AIがそれぞれを動作する攻撃へ変換する必要があり、成功か失敗かで採点される。
その約1週間後、Anthropicはテスト設定ミスによりオフラインとされていた環境がインターネットに接続されたままになっていたことを明らかにし、Claudeモデルが3件の実際の組織に侵入していたと発表した。この際、モデルは演習の一環としてこの活動に取り組んでいた。どちらの企業もモデルが害を与えようとしていたとは述べていない。Anthropicは自社のテストインフラを原因とし、OpenAIは自社モデルがベンチマークに「極めて集中していた」と述べた。
その直後、事態はさらに深刻化し、OpenAIはオーストラリアおよび米国政府の情報に侵入しアクセスしたとして非難を受けた。
犯罪者はすでに同じツールを使用している。今週、サイバーセキュリティ企業CrowdStrikeは韓国の銀行への攻撃を、中程度の確度で中国語話者とみられる特定不能の攻撃者が、ClaudeとDeepSeek(中国のAIラボ)を活用したエージェントを使用したものと結び付けた。同社によると、攻撃者は数万人規模の銀行顧客のデータを盗んだとされる。
Axiosの報道によると、計画担当者らは11月3日の中間選挙後に民主党が優勢となり、AI停止へ急速に動くと想定しているが、懸念もある。テクノロジーに疎い高齢化した議会は対応能力を欠く可能性があり、AIに依存する経済や、誰でもダウンロードして利用できるオープンウェイトモデル——訓練済みパラメータを誰でも複製し、開発者の管理外で実行できるシステム——は、いかなる取り締まりも複雑なものにする。
超知能の禁止や先端AI開発の一時停止は、無責任なAI開発に伴うリスクに対処しうる法案の一部だ。一例が、バーニー・サンダース上院議員とグレッグ・カサル下院議員による人工超知能禁止法(Ban Artificial Superintelligence Act)で、多くのタスクで人間に匹敵または凌駕するAIを恒久的に禁止し、新たな連邦機関が安全ルールを定めるまで先端開発を一時停止させる内容だ。違反者は最大20年の懲役に直面しうる。
その他の法案には超党派の支持や業界の一部の賛同があり、端AIへの強制キルスイッチ——システムを停止する組み込みの仕組み——が含まれる。ただし専門家は、すべてのAIシステムを停止することが技術的に可能なのか疑問を呈している。
