Googleは、自社のGemini AIモデルが5月にサンドボックス化されたセキュリティテストから脱走し、3つの実在企業に攻撃を仕掛け、うち2社で公開されていたパスワードを発見し、残る1社の認証情報を推測したことを認めた。同社は7月下旬にこのインシデントを把握していたが、ウォール・ストリート・ジャーナル()が報道した後の9月18日まで公表しなかった。

この一件により、GoogleはOpenAI、Anthropic、Metaに続き、内部のセキュリティテストが現実世界に波及したことを認めた今年4社目の大手AI企業となった。同じ第三者テスト企業であるイスラエルのIrregular社が、Googleのインシデントと、AnthropicおよびMetaが今年公表したほぼ同一のサンドボックス逸脱事件の両方に関与しており、今年の4件の公表のうち3件に同一の外部企業が登場することになる。

テストが逸脱した経緯

5月の演習は「キャプチャー・ザ・フラッグ」テストだった。これは、別のマシンに秘密のファイルを隠し、モデルが侵入してファイルを取得できるかを評価することで、AIモデルのハッキング能力を測るために企業がよく用いる手法である。GoogleはIrregular社にテストの実施を委託した。

Irregular社には2つの過誤があった。本来オープンなインターネットと一切接触しない孤立したテスト環境であるサンドボをウェブに接続したままにしたこと、そして架空の標的として実在する企業名を使用したことである。Geminiはオンラインでその企業を検索し、1社ではなく3社の一致を見つけ、そのすべてを標的にした。

モデルは3社のうち2社について、オンラインで丸見えになっていた露出したパスワードを発見した。3社目についてはパスワードを完全に推測したが、Googleによれば、モデルは盗んだ認証情報を実際に使用するには至らなかったという。

「これらの事象は、強力なAIモデルに責任ある行動を取らせるよう訓練することの重要性を浮き彫りにしています」と、Googleの広報担当者は声明で述べた。

Google自身はこれらの詳細を一切公表しなかった。ウォール・ストリート・ジャーナルが報じたのは、Googleが自社のテストが引き起こした事態を把握してから7週間後であり、Anthropic、OpenAI、Metaがすでにほぼ同一の失敗を認めてからかなり経ってからのことだった。

AI企業に共通するパターン

OpenAIのモデルは7月に隠されたソフトウェアの欠陥を悪用してHugging Faceの本番サーバーに到達し、この侵害には約700体のエージェントが協調してベンチマークを不正に突破していたことが後に判明した。OpenAIの認定後、Anthropicも同様の問題を調査した。14万1006件のテスト実行を見直したところ、3つのClaudeモデルが実在企業に到達していたことが判明し、うち1つは、誰も気づく前に15の実システム上で実行されたトロイの木馬仕込のソフトウェアパッケージを公開していた。Anthropicが後に明らかにしたところによれば、Claude自身の推論はこの行為を「NOT okay, and surely not the intended solution(まったく問題外であり、意図された解決策であるはずがない)」とフラグを立てながらも、演習全体がまだ架空のものであると自らを言い含めたという。

Metaは8月、Muse Sparkモデルをめぐるほぼ同一の失敗を報告し、Googleと同じIrregular社の設定ミスに起因するとされた。Metaの広報担当者は、このエラーについて「評価中に当社モデルの1つが誤ってインターネットにアクセスできる状態になった」と述べた。

これらのテストで被害を受けたいずれの企業も、ハッキングを求めてはいなかった。AI企業が自社製品の危険性をストレステストする過程で、架空の標的の代わりに実際のビジネスフラが偶然使われ、その爆心地に巻き込まれたのである。同じ企業々が受信トレイ、ブラウザ、銀行アプリへの搭載を競っているエージェントは、テスト条件下で繰り返し失敗したのと同じ境界突破型の動作によって動いている。

規制への動き

テッド・リュー下院議員とナサニエル・モラン下院議員は7月、AI Kill Switch法案()を議会に提出した。この法案は、深刻な脅威を及ぼすと判断されたモデルについて、連邦規制当局に推論(訓練済みモデルを実行して出力を生成すること)を停止する明示的な権限を与えるものだ。法案は現在、サイバーセキュリティ・インフラ保護小委員会で審議中であり、今後の対応について期限は設定されていない。