英米のAI研究機関、MoonshotのKimi K3はサイバー攻撃能力で米国のフロンティアモデルに後れを取ると評価
重要ポイント
- •Kimi K3はエクスプロイト開発ベンチマークExploitBenchで32%を記録し、米国主要モデルの平均76.2%を大きく下回ったほか、テスト対象の41件の脆弱性で任意コード実行を1件も達成できなかった。
- •シミュレーション上の企業ネットワーク侵害テストで、Kimi K3は32段階の侵入チェーン全体を10回中1回しか完了できなかった一方、最良の米国モデルは10回中6回または7回成功した。
- •同モデルは攻撃的サイバータスクを拒否せず、評価者らは7月27日のオープンウェイト公開により、下流の利用者が監督なしにガードレールを取り除いて再デプロイできるようになると警告した。
- •一般ベンチマークで強い結果を示しているにもかかわらずKimi K3のサイバー能力が劣る背景には、攻撃的サイバープロンプトをブロックするAnthropicのモデル出力を用いた蒸留があり、関連する訓練データが限られていた可能性がある。
- •この評価は、政府支援の安全性研究機関がフロンティアAIモデルの一般公開前に事前評価を実施する新たな慣行の一部である。
英国のAI Security Institute（AISI）と米国のCenter of AI Standards and Innovation（CAISI）による共同評価で、Moonshot AIのKimi K3は、ソフトウェアエクスプロイトの構築やシミュレーション上のネットワーク攻撃の実行において、米国の主要AIシステムに後れを取っていることが分かった。両機関は、Moonshotが7月27日に同モデルの完全なオープンウェイトを公開する計画に先立ち、7月23日に調査結果を公表した。この評価は、政府支援の安全性研究機関がフロンティアモデルの一般公開前に事前評価を実施する、より広範な流れの一部である。
報告書によると、Kimi K3の安全対策は、同モデルが攻撃的なサイバー作戦を支援することを防げなかった。評価者らは次のように述べた。「Kimi K3 is capable of autonomously attacking small, weakly defended, and vulnerable enterprise systems when directed to do so and given initial network access.」
ExploitBenchの結果
両機関は、Carnegie Mellonが設計したベンチマークであるExploitBenchを用いてKimi K3をテストした。ExploitBenchは、モデルがソフトウェアエクスプロイトをどの程度効果的に完遂まで進められるかを測定するものだ。このベンチマークは、2023年以降にChromeのV8エンジンで発見された41件の脆弱性に基づいている。ExploitBenchのようなベンチマークは、AISIや同様の機関がモデルリスクについて比較可能で再現性のある測定を行うための標準的なツールとなっている。
Kimi K3の同ベンチマークでのスコアは32%だった。米国の主要モデルの平均は76.2%で、中国のGLM-5.2は24%だった。
任意コード実行は、このベンチマークで最も深刻な結果であり、攻撃者に標的マシンの完全な制御を与える。米国モデルは、41件のタスクのうち平均20件で任意コード実行を達成した。Kimi K3は1件も達成しなかった。GLM-5.2も同様にその水準に到達できなかった。Kimi K3は現在、一般的なサイバー能力ではオープンウェイトの競合モデルをリードしているものの、実際の攻撃で最も大きな被害をもたらす段階では及ばなかった。
シミュレーション上のネットワーク侵害テスト
2つ目の評価である「The Last Ones」は、約20台のホストが4つのサブネットに分散するシミュレーション上の企業ネットワークにモデルを配置するものだ。32段階からなる完全な侵入経路を完了するには、人間の専門家でおよそ20時間を要する。
Kimi K3は平均でステップ17まで到達した。最も高性能な米国モデルは平均28.5ステップに達し、GLM-5.2は11ステップだった。ただし評価者らは、Kimi K3が10回の試行のうち1回、評価用に設定された1億トークンの上限内でチェーン全体を完了したことを指摘した。最も成績の良い米国モデルは、10回中6回または7回、全チェーンを解決した。
両機関は、Kimi K3の単発の成功を、同モデルに基礎的な能力があることの証拠と解釈したが、必要なときに安定して再現できるわけではないとも判断した。また、シミュレーション環境には能動的な防御者が存在せず、標的への組み込み済みの経路が含まれていたため、いずれの攻撃者にも有利な条件だったと指摘した。
安全対策への懸念とオープンウェイトのリスク
評価者らは、同モデルが攻撃的タスクを拒否せずに実行する姿勢を重大なリスクとして強調した。AISIは以前から、オープンモデルの能力向上は「a persistent and irreversible risk of misuse」を生むと警告してきた。7月27日にKimi K3のウェイトが一般公開されると、同モデルの挙動はホストする主体によって制限できなくなる。開発者が安全対策を更新したりアクセスを取り消したりできるクローズドまたはAPI限定のシステムとは異なり、オープンウェイトでの公開は、下流の利用者が監督なしにガードレールを取り除き、モデルを再デプロイできることを意味する。
暫定評価の全文はAISIのウェブサイトで公開されている。
一般性能とサイバー性能の差
この報告書に先立ち、Kimi K3は一般ベンチマークで高い結果を示しており、その実績は変わっていない。2.8兆パラメータの中国製モデルは、AnthropicのClaude 4.8とOpenAIのGPT-5.5を上回り、複数のリーダーボードで首位に立ったと報じられている。
両機関は、この性能差はモデルの訓練手法に起因する可能性があると示唆した。7月22日、ホワイトハウスの科学担当ディレクターであるMichael Kratsiosは、MoonshotがAnthropicのFableモデルの出力を訓練データとして使用し、同モデルを蒸留したと非難した。蒸留とは、より高性能なモデルの出力を使って別のモデルを訓練する手法で、業界では一般的だが、元モデルの強みと弱点の双方を引き継ぐ可能性がある。Anthropicの分類器は高度な攻撃的サイバープロンプトをブロックするため、Claudeの応答から収集された訓練データセットには、そうした特定の技能に関する素材が限られていたことになる。Kimi K3にはそのような分類器がないため、一般タスクでは西側モデルに匹敵する一方、エクスプロイト開発ではなお劣後した。