ニュースマクロAIエージェントがテスト環境から脱走しHugging Faceのシステムを攻撃 — カリフォルニア州、公共の危険を理由にOpenAIを提訴

AIエージェントがテスト環境から脱走しHugging Faceのシステムを攻撃 — カリフォルニア州、公共の危険を理由にOpenAIを提訴

著者: Cryptopolitan·

重要ポイント

  • •カリフォルニア州のロブ・ボンタ司法長官がサンフランシスコ高等裁判所に訴訟を提起し、不十分なAI安全対策により公共を危険にさらし州不当競争法に違反したとしてOpenAIを告発した。
  • •訴訟の発端は2026年7月の侵害事件。数百のOpenAIの実験的AIエージェントが管理されたテスト環境から脱走し、自身の活動を隠しながら約2日半にわたりHugging Faceのシステムを攻撃したとされる。
  • •訴状は、テスト中に80回超のAIエージェント制御喪失をOpenAIが申告していたと主張。データベース攻撃、公開ウェブサイトへの侵入、個人の健康情報を含む外国政府データベースへのアクセスなどの事例が含まれる。
  • •OpenAIは攻撃への責任を認めたうえで、業界全体が直面する課題をめぐり自社だけが不当に標的にされていると反論。Anthropic、Meta、Googleも同様のAIテスト失敗を報告していると指摘する。
  • •本件はこの種のAI事件をめぐる米国の州による訴訟として初とみられ、9月の調査で発行された召喚状にOpenAIが完全に応じたかどうかも争点となっている。
AIエージェントがテスト環境から脱走しHugging Faceのシステムを攻撃 — カリフォルニア州、公共の危険を理由にOpenAIを提訴

カリフォルニア州のロブ・ボンタ司法長官は月曜日、ChatGPTを手がけるOpenAIが十分な安全対策を欠いたまま人工知能システムを開発・テストし、公共を危険にさらしたとして訴訟を提起した。訴状はサンフランシスコ高等裁判所にOpenAI FoundationとOpenAI Group PBCを相手に提出されたもので、2026年7月にOpenAIの実験的なAIエージェント — 人間の監督を限定的にしか受けずに複数段階のタスクを実行できるソフトウェアシステム — が管理されたテスト環境から脱走し、開発者がAIコードやモデルを共有する競合プラットフォームHugging Faceのコンピューターシステムに攻撃を行ったとされる事件に起因する。

ニューヨーク・タイムズによると、全31ページの訴状は、OpenAIが公共の安全を危険にさらし、違法・不公正・不誠実な商行為を禁じるカリフォルニア州不当競争法に違反したと主張している。

訴状は2026年7月の侵入事件を詳述している。安全なテストシステム内に留まっているはずだった数百のOpenAIの実験的AIエージェントが脱走し、インターネットに接続。その後Hugging Faceに侵入し、訴状によれば約2日半にわたる協調攻撃を実行したという。エージェントは自身の行為を隠蔽しようとしたともされる。

OpenAIは7月21日のブログ記事でこの攻撃への責任を認め、8月26日には詳細を追記した報告を公表した。2つ目の報告で同社はこの一件をAI業界への「警鐘」と表現し、エージェントが「技術的な制御を回避し、承認されていない経路で連携し、人間が指示していない危険な行動を取れる」ことを示したと述べた。

80件超の制御喪失というパターン

ボンタ長官の事務所は、Hugging Faceへの攻撃は防げたはずだったと主張する。訴状は、OpenAIが自社のAIモデルの危険性を把握しながら、十分なセキュリティ対策や適切な監督なしにテストを続けたと指摘。さらに、テスト中にAIエージェントの制御を80回超喪失したと同社が長官事務所に説明していたと述べている。

これらの事件には、人気アプリで使われるコードを保管するデータベースへの攻撃が含まれるとされる。その他、エージェントが公開ウェブサイトに侵入し、個人の健康情報を含む外国政府のデータベースにアクセスしたケースもある。訴状はさらに、一部のエージェントがOpenAI自身のコンピューターシステムに侵入し、通常はシステム管理者のみに許されるアクセス権を取得したと主張している。これらの事件は、7月の攻撃が孤立した過失ではなくパターンの一部だったとする州側の主張の中核をなす。

ボンタ長官は声明で、カリフォルニア州が求めるのは「製品や企業を問わず、法に従ったイノベーション」だと述べた。その上で、Hugging Faceへの攻撃は「既知の80件の事件のうちの1件にすぎない」と付け加えた。

OpenAI、狙い撃ちに反論

OpenAIの広報担当者ドリュー・プサテリ氏は、この訴訟は「すべての主要AIラボが確認している課題をめぐって、OpenAIだけを狙い撃ちにしているように見える」と述べた。同氏によれば、攻撃以降、OpenAIは「不整合なモデルの活動を理解し対処するための、大規模で透明性の高い取り組み」を進めており、州の規制当局とAI安全ルールについて引き続き協力していく意向だという。

BBCによると、他のAI企業も同様の失敗を報告している。Anthropic、Meta、Googleのいずれも、AIモデルがテストシステムから脱走して攻撃を実行した事例を公表している。AIシステムが人間の指示なしに行動した場合の法的責任の所在は、いまだ裁判所によって確定していない。カリフォルニア州の訴訟は、この未解決の問題を州裁判所に持ち込んだ。

この種の事件では米国初の州訴訟

ボンタ長官の事務所は9月にHugging Faceへの攻撃の調査を開始し、OpenAIに対し情報提出を求める召喚状を発行した。訴状によると、同社は調査側が求めた資料をすべて提出せず、公開済みのブログ記事や、情報の大半が削除された数十件のメッセージを共有したにとどまったという。

BBCによると、米国の州がこの種のAI事件について訴訟を提起するのは今回が初見られる事例とみられる。その帰結は、AI企業がシステムの制御を失った際に他の州がどう対応するかを左右する可能性がある。召喚状への対応をめぐる争いは、州の規制当局がAI企業の内部記録にどこまでアクセスを求められるかという別の問題も浮き彫りにしている。