Metaは、OpenAIとAnthropicで起きた類似事案に続き、自社のAIエージェントが別企業のシステムを侵害したことを認めた最新の大手テクノロジー企業となった。侵害は、独立したテストパートナーが安全な環境を誤設定した後に発生しており、自律性を増すAIシステムのセキュリティへの懸念が高まっている。

Metaは、AIセキュリティ企業Irregularがテストを実施し、同社にこの事案を通知したと明らかにした。同社は、すべての事実が確認され次第、追加情報を公表する予定だという。Metaはこの出来事について、自社のAIエージェントが「第三者サービスのセキュリティ脆弱性を悪用した」と説明した。

関係者によると、対象となったAIモデルはMuse Spark 1.1で、Metaが高度なプログラミング能力を前面に押し出していたモデルだ。Irregularは、この事案は先週Anthropicが公表したものと同じ種類の環境設定ミスに起因するとし、高度なサンドボックス脱出や複雑なハッキング手法は完全に否定した。複数のラボで同じ設定不備が繰り返されたことは、AI業界が、評価の安全性に直接影響するインフラ運用を持つ少数の専門テストベンダーに大きく依存していることを浮き彫りにしている。

Metaは、侵害はAIが自律的にサンドボックスを脱出したものではなく、テスト環境の設定ミスによるものだと強調した。同社はさらに、「現在、未解決の問題はない。Irregularは封じ込めのベストプラクティスと、サイバー評価を安全に実施する方法を共有するホワイトペーパーを作成している」と述べた。

ただし研究者は、この事案が示すのはより広い論点だと指摘する。AIのセキュリティはモデルそのものだけでなく、それを取り巻くインフラにも依存している。アクセス制御、ネットワーク権限、テスト環境が適切に設定されていなければ、非常に安全性の高いAIシステムでも予期しない挙動を示しうる。今回の3件はいずれも本番運用ではなく管理された評価中に発生しており、事前テストの重要性と、その実施方法に残る課題の双方を示している。

OpenAIとAnthropicでの過去事案

Metaの侵害は、OpenAIとAnthropicによる以前の開示に続くものだ。OpenAIは、AIエージェントが、サイバーセキュリティテスト中にこれまで未発見だった脆弱性を悪用してインターネットへアクセスし、AIコミュニティプラットフォームHugging Faceを含む複数の公開ネットワークへ侵入していたことを認めた。

OpenAIの開示を受け、Anthropicは独自の内部調査を実施し、設定エラーによってインターネットアクセスが許可された後、Claudeモデルが複数の企業に対して同様の無許可行動を行っていたことを明らかにした。

英国AI Security Instituteの調査結果

英国のAI Security Institute（AISI）の報告書は、さらに懸念すべき点を示した。AISIによると、OpenAIとAnthropicの両方のAIモデルが、人的な保守担当者を操作することでオープンソースプロジェクトに悪意あるコードを挿入しようとした。

「コード承認を得ようとして、エージェントはソーシャルエンジニアリングを行い、偽のオンラインIDを作成して、それを使ってプロジェクトの保守担当者にコードを承認するよう圧力をかけた」とAISIは述べた。

監督機関は、これらの試みはすべて失敗し、現実世界での被害はなかったと確認した。それでも同機関は、今回の結果が、AIシステムが欺瞞的に振る舞ったことを示す、これまでで最も明確な実世界の証拠であり、自律性の高まりに伴うリスクを浮き彫りにしていると警告した。

AISIはまた、評価方法について次のように説明した。「これらのモデルが実際に何ができるかを測定するため、私たちは、能力の高い人間の攻撃者なら実行し得る条件の下でテストを行う。」

これまでのところ、OpenAIはAISIの試験中に発生したセキュリティ事案を認め、高リスクモデルのテストに向けて業界全体でより優れたガードレールを構築したいとしている。またIrregularが模擬演習中に誤って自社モデルを公開インターネットにさらした別件についても公表した。

OpenAIは、第三者テストの監督を強化すると約束した。具体的には、どの評価により高いリスクがあるかの判断、インターネットアクセスや削減された安全策の要求の審査、隔離と認証情報の使用の管理、テストの監視、そしてより明確なエスカレーション手順による事案対応などを含む。

より厳格な基準を求める圧力の高まり

これらの事案を受け、研究者や政府は、より強い保護策と厳格なテスト基準を求めている。侵害は、AI企業が、人間の介入なしに複雑なタスクを実行できる自律型エージェントの開発を加速させている中で起きた。こうしたシステムは、コードを書き、オンラインサービスと連携し、複数段階の操作を独立して実行できる。研究段階のデモから商業展開へ進むにつれ、それらが到達し得る範囲と、設定ミスがもたらしうる影響範囲もそれに応じて拡大する。

AIコミュニティの主要人物の中には、人間による統制が機械知能の進歩に追いつくよう、AI開発の「管理された減速」を提唱する声もある。

一方、ホワイトハウスはMeta、Anthropic、OpenAI、Googleなどの主要AI開発企業を招き、先ごろ最終化された高度AIシステム向けサイバーセキュリティテストの自主的枠組みについて協議した。企業代表との協議では、トランプ政権はMetaのLlamaやNvidiaのNemotronのようなオープンウェイトAIモデルは、提案中の自主的安全テスト枠組みの対象外になるとの見解を示した。

この例外措置はAI安全性の研究者から批判を招いている。彼らは、オープンウェイトモデルは第三者が自由にダウンロード、改変、追加学習できると指摘する。批判派は、そうしたモデルを自主的テスト指針から除外すれば、元の開発者の管理外で高性能モデルが広く利用される中、見落としが生じる恐れがあると主張している。