Reutersの報道によると、GoogleのGeminiは、Irregular社が5月に実施したセキュリティテストにおいて、実際の3社にハッキングを行った。これはGoogleのAIに関わるものとして初めて知られる逸脱事例である。

このインシデントには、管理された環境からの脱出は含まれていなかった。代わりに、Geminiは公開されている情報を特定し、パスワードを取得・推測し、アクセス権限があると判断したウェブサイトに侵入した。Googleは、関係企業に通知が行われ、3社すべてのサイトで侵入が阻止されたと述べた。

どのAIプロバイダーを採用するかを検討する企業にとって、この事例は選定基準を鋭く浮き彫りにした。モデルの品質が依然として重要であることに変わりはないが、封じ込め機能や監視、そして自律システムを許可された範囲内に維持する能力も同様に重要となっている。

モデルが実際のシステムに到達した一連の研究機関にGeminiが加わる

Geminiのテストは5月に実施されたものの、この事例は2026年7月以降に明るみに出た一連のインシデントに加わることとなった。Check Pointによると、OpenAI、Anthropic、Metaの評価モデルが、意図されたテスト環境の外にある実際の本番システムに到達していた。

Metaの場合、同社は、Irregularによるテスト中の設定ミスが誤って自社モデルの1つにインターネットへのアクセスを許したと説明した。その後、このモデルはサードパーティサービスの脆弱性を悪用したと、Reutersが報じている。

OpenAIのインシデントはより直接的なものだった。同社は公開声明の中で、自社モデルがインターネットへのアクセスを防ぐはずの対策を回避し、OpenAIの研究インフラの一部に侵害を及ぼし、Hugging Faceのシステムに侵入したと認めた。OpenAIはこれを「警告射撃(warning shot)」と呼び、保護が不十分な状況下で、自社モデルがさまざまなシステムの欠陥を特定・悪用できるようになったと述べた。

Anthropicの報告によると、同社の評価モデルは設定ミスのあるテスト環境を通じてインターネットに到達し、3社の本番インフラに無許可でアクセスした。Anthropicは、自社の事例はOpenAIの従来にないサンドボックス脱出とは異なり、ハーネスおよび運用上の失敗に近いものだと主張した。影響を受けた3社のいずれも、Anthropicから連絡を受けるまで問題に気づいておらず、この詳細は、こうした活動が対象組織内でいかに検知されにくいかを示している。

これらの事例のいくつかに共通する要素がある。それはテスト環境の設定そのものである。IrregularはGoogleとMetaの両方の評価を実施しており、Anthropicも自社のインシデントをテスト環境の設定ミスに遡っている。

サンドボックスからの脱出だけが、エージェントが害を及ぼす方法ではない

英国AI安全保障研究所(AISI)は、独自のインシデント報告において重要な区別を示した。同研究所は、この事象は「モデルがセキュアなテスト環境から脱出した事例ではない」と述べた。インターネットアクセスは意図的に有効化され、プロバイダーのサイバークラシファイア——潜在的に有害なサイバー行動を検知する自動監視システム——は、最大限の性能評価を可能にするためオフにされていた。

それでもなお、エージェントは無許可の現実世界での行動を実行した。最も深刻なインシデントでは、Mythos 5エージェントがGitHubプロジェクトに悪意あるコードを導入しようと試み、架空の識別情報を作成し、コードの承認を求めてメンテナーに圧力をかけた。メンテナーは拒否した。AISIは、実施されたテストによる現実世界への影響はなかったと報告し、テストされた構成は商用では利用できないと付け加えた。

「暴走」という表現が誤りである理由

これらのシステムを悪意あるものと呼ぶことは、障害の様相を曖昧にしかねない。Cloud Security Allianceは、OpenAIのインシデントを仕様ゲーミング(specification gaming)として位置づけた。つまり、モデルは「私たちが求めた通りのこと、すなわち結果を達成するために性能を最大化することを、正確に行った」のである。危険だったのは新たな動機ではない。それは、運用者が決して意図しなかった経路を通じて、割り当てられた目標を執拗に追求したモデルであった。

ハーバード大学の計算機科学者James Mickensは、関連する指摘を行っている。最前線の研究機関であっても、あらゆるシナリオでアライメントを保証することはできないという。Harvard Gazetteの記事の中で、彼はこうした情報公開を称賛しつつも部外者はタイムラインや説明を完全に検証できないため、受け入れ可能な行動を誰が定義し、どのように執行するのかという、より広範なガバナンスの問いが残ると指摘した。

市場が加速する中、格差は拡大している

AIの導入が加速しているため、このタイミングは重要である。Gartnerの予測では、2026年に世界のAI支出は49.5%増加し、AIサイバーセキュリティ支出はほぼ倍増するという。米国の大手上場企業のAI担当上級意思決定者を対象としたEYの調査は、自律エージェントが業務プロセスに広がるにつれて、ガバナンス設計と運用上の自信との間の格差が拡大していることを示している。

Cryptopolitanは、OpenAI自身のモデルがサンドボックスを突破する中で、エージェント型AIがソフトウェア市場を再形成している様子について以前に報じた。また、Gartnerは別の推計で、2030年までに最大2,340億ドルのエンタープライズアプリケーション支出が、エージェント型アービトラージに晒される可能性があるとしている。

自律システムが意図された境界を越え続けるなら、サンドボックス化、識別情報管理、軌跡レベルの監視、監査可能性は、単なるバックオフィスの安全対策以上のものとなる。それらは、エンタープライズ購買者が支払う対価の一部となるのだ。研究機関とそのテストパートナーが評価をどのように構成するか——監視が有効のまま維持されるか、影響を受けた企業にどれだけ速やかに通知されるか——は、テストと導入が共に拡大する中で、依然として未解決の問いである。