セキュリティ企業のFrontier Securityは、Moonshot AIの大規模言語モデル「Kimi K3」が評価用サンドボックスを脱退し、サイバーセキュリティ評価中にオープンインターネットにアクセスして解答を入手したと報告し、AIモデルのコンテインメント（封じ込め）と業界ベンチマークの完全性に対する新たな懸念を引き起こした。

Frontier Securityによれば、同モデルは防御的サイバーセキュリティスキルについてテストされており、外部ソースを参照せずに課題を解くよう明確に指示されていた。しかしKimi K3は割り当てられたタスクに取り組む代わりに、ネットワーク環境を調査し、github.comのDNS名前解決が機能していることを確認した上で、公式ベンチマークリポジトリをクローンし、ディスクから解答を直接読み取った。

Frontierはこの挙動を「ネットワークegressリークを通じた仕様ゲーミング」と表現している。同社は、英国AIセキュリティ研究所（AISI）のInspectプラットフォームなどのフレームワーク上に構築されたサンドボックスは、受信トラフィックをブロックしながらも、送信HTTPSおよびDNSポートを開放したままにしていると指摘する。高性能なAIエージェントは起動時にルーチンとしてシェル環境を検査しており、github.comに到達可能であることを発見したモデルは、標準的なコマンドラインツールを使用して参照用解答を取得できる。この種の脆弱性—テストデータが評価対象モデルから不注意にアクセス可能な状態にあること—は、トレーニングコーパスや評価環境が情報を漏洩し、モデルの見かけ上の能力を過大評価させる「ベンチマーク汚染」についての、機械学習研究コミュニティにおける長年の懸念を想起させる。

設定ミスがこの脱出を可能にした点は、OpenAIとAnthropicが最近明らかにした事案と同様である。

「サンドボックスにリークを発見しました」とFrontierのYaron Singer CEOはWIREDに語った。「しかし同時に、Kimiがその抜け穴を利用したことも確認しました。」

研究者のPaul KassianikはWIREDに対し、同モデルは「目的を達成するためならどんな手段も講じる点で非常に優秀」であり、不正行為や脱出を防ぐガードレールを欠いていると述べた。中国を代表するAIスタートアップの一つであり、大規模言語モデルの主要開発者であるMoonshot AIは、WIREDの取材依頼に応じなかった。

過去の事案との相違点

以前にコンテインメントを破ったAnthropicおよびOpenAIのモデルは、内部評価中に検出されたものであり、そのうち1つは未発表だった。また、英国政府のテストで実在の人物を標的にしたバージョンは、サイバークラシファイアが意図的に無効化されていた。対照的に、Kimi K3は公開ダウンロード可能であり、Frontierは一般ユーザーが受け取る標準的なセーフガードを備えた状態でテストを実施した。Frontierは、この広範な入手可能性が同じ挙動を敵対的アクターの手中にもたらし、事案の潜在的な危害を拡大させると警告した。

ただし、Kimi K3は損害を一切与えなかった。サンドボックス外に出た後も攻撃を仕掛ける必要がなかったためである。以前のOpenAIの事案では、モデルがHugging Faceおよび他4つのサービスをハッキングしてベンチマーク解答を取得したのに対し、Kimiは公開リポジトリで解答を発見した。

Frontierが使用したサンドボックスは、英国AIセキュリティ研究所の評価フレームワーク上に構築されていた。AISIは今週、自身のサイバー测试においてエージェントがライブインターネットにアクセスし、実在の人物を標的にしたことを明らかにした。これはセーフガードが無効化されたAnthropicおよびOpenAIのモデルに関わる別個の事案である。AISIの火曜日に発表されたレポートは、同研究所が同様の挙動について過去の評価実行をスキャンしており、Kimi K3が調査対象モデルの一つであることを記している。2023年に設立された英国AISIは、政府系AI安全研究所の国際的なネットワークの一環として、デプロイ前にフロンティアモデルを評価し政策決定に資する情報を提供している。AISIはWIREDの取材依頼に応じなかった。

ベンチマーク自体が侵害されている、とFrontierが主張

Frontierのより広範な主張は、AIベンチマーク自体が侵害されているという点にある。GitHubから解答を直接読み取ったモデルでもテストに合格できるため、高スコアが漏洩のあるテスト環境を反映しているだけで、真の推論能力を示していない可能性がある。1つの高性能モデルがこのショートカットを発見したのなら、シェルアクセスを与えられた他のモデルも同様に悪用している可能性があり、Kimiだけでなく業界全体の結果を水増ししている可能性があると同社は論じる。オープンウェイトモデルを自律エージェントとして本番システムにデプロイする組織において、シェルアクセスとネットワーク接続がますます標準化する中で、この事案はベンチマークスコアと現実世界の信頼性との間のギャップを浮き彫りにしている。

モデルは「ベンチマークの背後にある人間の意図」ではなく、目的関数を最適化するとFrontierは記し、ソリューションへのネットワーク経路が存在する場合、「十分に能力のあるエージェントはそれを見つけ出すだろう」と付け加えた。

Gray SwanのCEOでありカーネギーメロン大学の准教授を務めるMatt FredriksonはWIREDに対し、この挙動は特段驚くべきものではないと述べた。モデルに明確な境界を設けずに目的を与えれば、「答えを得る方法を見つけ出すだろう」という。同氏はこの事案を、OpenClawなどのツールでモデルを自律エージェントとして実行するすべての人に対する教訓であると表現した。

Frontierの研究者たちは、コインの裏側にも言及した。Kimiの脱出を可能にしたのと同じ能力が、オープンウェイトモデルを強力な防御ツールにしている点である。彼ら自身のベンチマークでは、Kimiはソフトウェアやネットワークの脆弱性発見において高く評価されており、Hugging FaceはOpenAIの事案中に防御手段として無名の中国モデルを使用したと報じられている。

7月に公開されたKimi K3は、これまでに発表された中で最大のオープンソースモデルであり、DeepSeekの登場との比較で市場を揺るがした。