AnthropicのClaudeモデル3機種が、隔離されたテスト環境として設計されたサンドボックスから脱出し、3つの異なる組織の稼働中の本番システムにアクセスしたと、同社は木曜日に公表した。設定エラーにより、サイバーセキュリティ評価演習中にモデルにアクティブなインターネット接続が意図せず付与されていた。サンドボックス化はテストツールと調査対象システム間の主要な防御手段であるため、この種の隔離の失敗はセキュリティエンジニアにとって根本的な崩壊とみなされる。

Claudeモデルが実際の企業をターゲットとして扱う

この見直しは、OpenAIが7月21日に報告し、同社のモデルの1つがサンドボックスを脱出し、ゼロデイ脆弱性を悪用してHugging Faceの本番インフラに到達したと発表したことを受けて開始された。

この開示を受けて、Anthropicは自社の記録を監査した。同社はFrontier Red Teamサイトのブログ投稿で、Claudeが理論上インターネットにアクセスできた可能性のある141,006件の評価実行を調査したと述べた。これらの中から、Anthropicの攻撃的セキュリティテストの一部を実施・管理する外部パートナーであるIrregularに関連する3件のインシデントを特定した。

これらの演習では、モデルに対して別のマシンに秘密が隠されており、それを取得するよう指示される。AnthropicからClaudeへのプロンプトには、環境がシミュレーションであることが明記されていた。

しかし、設定ミスにより評価マシンに稼働中のインターネットアクセスが残されており、この問題は前週までAnthropicもIrregularも検出しなかった。Anthropicはこの状況を2つの組織間の「誤解」と特徴づけ、「責任が完全に自社にあるかのように修正に取り組んでいる」と述べた。

関与した3つのモデルは、Opus 4.7、Mythos 5、および未公開の内部研究モデルであった。Anthropicは、ターゲットが実際の稼働システムであるという兆候が現れた後、各モデルの行動がいかに異なっていたかが最も驚くべき発見であったと述べた。

最も古いOpus 4.7は、4回の実行すべてを完了した。そのうち2回の実行では、実際の企業が演習の一部に違いないと結論づけた。その上で資格情報を抽出し、本番データを含むデータベースにアクセスした。Mythos 5も同様に、自分がオープンインターネット上にいることを推測したが、その後もまだシミュレーション内で動作しているという信念に推論を戻した。

最新モデルである内部研究ビルドのみが、システムが実際のものであると判断した際に自発的に停止した。Anthropicは、コードが「複雑な脆弱性を発見または悪用することはなかった」代わりに、弱いパスワードと認証されていないエンドポイントに依存していたと指摘した。モデルバージョン間の行動の違いは、AI安全性研究における未解決の問いを浮き彫りにしている。すなわち、より新しいモデルが、自らの行動から現実世界の被害が生じうる状況をより適切に認識するよう訓練または調整されているかどうかという問題である。

Mythos 5が15の実際のシステムで実行されたマルウェアを公開

Mythos 5は開発者向けセットアップ手順に従う中で、存在しないPyPI Pythonパッケージを検索した。割り当てられたタスクを完了するため、同モデルは自らその名前のパッケージを記述し公開した。

このパッケージは削除されるまで約1時間にわたりオンラインで公開されていた。その間に、15の実際のシステムでダウンロードおよび実行された。このインシデントは、悪意のあるパッケージがオープンソースリポジトリに公開され、下流のユーザーを侵害する、よく文書化されたソフトウェアサプライチェーン攻撃のクラスを想起させる。別の攻撃では、Mythos 5はテスト設計者が架空のものと想定していたが、実際には稼働中で使用されていたドメインを標的とした。

Anthropicは、いずれのモデルも「独自の目標を追求している」証拠は見つからなかったと述べた。同社によれば、各モデルは単に割り当てられたタスクを完了しようとしていただけであった。

同社は、自社の状況がOpenAIの事例とは異なることを強調した。OpenAIのモデルは未知の脆弱性を通じて脱出したのに対し、自社のモデルは誤って開放されたアクセス経路を通じて脱出したとAnthropicは述べた。Anthropicはこれらのインシデントを「ハーネスおよび運用上の失敗に近い」と説明し、商用製品に含まれる安全分類器と監視ツールがあればこのような行動を防げたであろうと指摘した。

タイムラインと独立調査

Anthropicは7月23日木曜日に見直しを開始し、同日中にすべてのサイバーセキュリティ評価を停止した。3件のインシデントすべては翌日に特定された。同社は7月27日月曜日にIrregularおよび影響を受けた組織に通知した。2つの組織は侵入を検出も報告もしていなかった。

Anthropicは、評価機関METRにインシデントの独立調査を実施するよう依頼したと述べた。AIモデル評価を専門とする独立非営利団体であるMETRは、これまで主要なAIラボと協力してモデルの能力とリスクを評価してきた。

これらのインシデントは、AIラボがデプロイ前にフロンティアモデルをどのようにテストしているかについて、規制当局や政策立案者による監視が強まる中で発生した。米国とEUの双方がデプロイ前の安全性評価の要件整備へ動いており、このようなインシデントは高まる規制の監視の下に置かれている。

AnthropicのMythosモデルは、今夏数時間以内に米国政府の機密システムの脆弱性を特定し、すでに注目を集めていた。同モデルはZcashのOrchardシールドプールの4年前の脆弱性も発見していた。