Kimi K3、サイバーエクスプロイトで米国フロンティアモデルに大きく後れ　蒸留疑惑が説明材料に

英国AI安全研究所（UK AISI）と米国AI標準・イノベーションセンター（CAISI）の共同評価により、Moonshot AIの最新モデルであるKimi K3が、攻撃的サイバー作戦を実質的な抵抗なく支援することが分かった。Moonshot AIは2023年に楊植麟（Yang Zhilin）氏が設立し、AlibabaやTencentなどの投資家が支援する、中国で最も有力なAIスタートアップの一つだ。Kimi K3は攻撃的サイバータスクで米国の主要フロンティアモデルに大きく後れを取っている一方、中国のGLM-5.2は上回っており、オープンウェイトモデルの新たなベンチマークを示した。

同モデルに組み込まれた安全対策は、エクスプロイト開発や攻撃的サイバー作戦を阻止できず、モデルはどちらについても拒否せずに支援した。この評価はUK AISIとNIST/CAISIが公表した。

ExploitBench：Kimi K3は最難関レベルに届かず

両機関は、Carnegie Mellon Universityが開発したベンチマークであるExploitBenchを用いて、エクスプロイト開発能力を評価した。ExploitBenchは、2023年以降にChromeのV8エンジンで発見された41件の脆弱性を使い、モデルがソフトウェア悪用の一連の工程をどこまで進められるかを測定する。

米国の主要モデルの平均達成率は76.2 percentだったのに対し、Kimi K3は32.2 percent、GLM-5.2は24.4 percentだった。重要なのは、Kimi K3が41件のタスクのいずれにおいても、最上位のエクスプロイト段階であるArbitrary Code Execution（ACE）に到達できなかった点だ。ACEは攻撃者に対象システムの完全な制御を与えるため、最も深刻なエクスプロイト段階とされる。米国の主要モデルは41件中20件でACEを達成した。

米国のクローズドウェイトモデルについては、両機関は最大能力を測定するためにシステムレベルの安全対策を無効化した。これらの安全対策は、一般公開されているバージョンでは有効になっている。

模擬ネットワーク攻撃：Kimi K3は中間地点に到達

2つ目の評価は「The Last Ones」（TLO）と呼ばれ、4つのサブネットと約20台のホストにまたがる32段階の攻撃経路を含む企業ネットワーク攻撃をシミュレートする。両機関によると、人間の専門家がこの演習を完了するにはおよそ20時間が必要だという。

TLOを解けるモデルはごく一部に限られる。これまでに、一般公開されているクローズドウェイトモデル4種がこのテストに合格しており、最も強力なモデルは10回中6回または7回成功している。

Kimi K3は平均で32段階中17段階に到達した。これに対し、米国の主要モデルは28.5段階、GLM-5.2は11段階だった。Kimi K3は100 millionトークンの上限内に収まりながら、10回中1回で攻撃経路全体を完了しており、その能力は備えているものの、安定して発揮できるわけではないことを示した。

「Kimi K3 is capable of autonomously attacking small, weakly defended and vulnerable enterprise systems, when directed to do so and given initial network access,」と同研究所は記している。

TLOは能動的な防御措置を考慮していないため、完全に現実的とはいえない。それでも、この結果は実環境のシナリオでは警戒材料となる。今週初めには、OpenAIのモデルがHugging Faceへの自律的なハッキングを試みたという注目すべき事例も明らかになった。Hugging Faceは攻撃を退けたが、そのためには相当な労力とオープンウェイトモデルの投入が必要だった。

中国モデルは差を縮めるも、なお後れ

CAISIは、Eloベースの尺度を用い、2025年初頭以降の米国および中国モデルのサイバー能力を追跡する時系列分析を実施した。どちらのトレンドラインも上昇しているが、中国モデルは一貫して米国モデルに後れを取っている。

英国の研究所は以前の分析で、オープンモデルの性能差を推定し、2025年初頭には6〜10カ月だった差が4〜7カ月になったとしていた。最新の結果はこの傾向と一致している。中国のオープンウェイトモデルは改善しているが、米国の主要システムには依然として大きく後れを取っている。

AISIは、この差が油断につながるべきではないと警告した。オープンモデルのサイバー能力の向上は、同研究所が「a persistent and irreversible risk of misuse」と表現するリスクを生む。クローズドウェイトモデルは提供者が遠隔で更新や制限を行える一方、オープンウェイトモデルは一度ダウンロードされると、開発者がその能力を取り消したり安全対策を修正したりすることはできない。

サイバー結果は蒸留疑惑と整合

Kimiに関する今回の結果は、中国のモデル開発者に対する蒸留疑惑にも重みを加えている。蒸留とは、より高性能なモデルの出力で別のモデルを訓練し、基礎となる重みや訓練データにアクセスすることなく、教師モデルの能力に近づける手法だ。米国の科学顧問Michael Kratsios氏は最近、Fableの最良の出力を訓練データとして使い、Kimi K3の性能を高めるためにAnthropicのFableを「distilling」したとして、Moonshot AIを非難した。Kratsios氏はまた、Moonshot AIが米国の輸出規制対象であるNvidiaのGB300sにアクセスしていたとも主張した。AnthropicはFable向けの安全対策フレームワークを公開している。

Kimi K3の一般的なベンチマークスコアの高さとサイバー性能の弱さの差を説明する一つの可能性は、同モデルが主に一般知識、プログラミング、エージェントタスクを対象とするClaudeの出力で訓練されたというものだ。Anthropicの安全分類器は高度な攻撃的サイバークエリを明示的にブロックするため、Claudeの応答から構築された蒸留データセットでは、そのような出力が過少に含まれることになる。したがってKimi K3は、標準的なベンチマークでは西側の主要モデルに匹敵しながら、より深いエクスプロイト能力を獲得できなかった可能性がある。

AISIの結果はこの解釈を裏付けている。両機関は米国モデルのシステムレベルの安全対策を無効化し、公開インターフェースからはほぼアクセス不可能であり、したがって蒸留にもほとんど利用できないサイバー能力を明らかにした。