Une évaluation conjointe menée par l'AI Security Institute (AISI) du Royaume-Uni et le Center of AI Standards and Innovation (CAISI) des États-Unis a conclu que le Kimi K3 de Moonshot AI est en retrait par rapport aux principaux systèmes d'IA américains en matière de développement d'exploits logiciels et d'exécution d'attaques réseau simulées. Les instituts ont publié leurs conclusions le 23 juillet, avant la sortie prévue par Moonshot des poids ouverts complets du modèle le 27 juillet. Cette évaluation s'inscrit dans une tendance plus large des instituts de sécurité soutenus par les gouvernements à réaliser des évaluations préalables à la sortie des modèles de pointe avant leur mise à disposition publique.

Selon le rapport, les dispositifs de sécurité de Kimi K3 ne l'ont pas empêché d'assister à des opérations cybernétiques offensives. Les évaluateurs ont déclaré : « Kimi K3 est capable d'attaquer de manière autonome des petits systèmes d'entreprise faiblement défendus et vulnérables lorsqu'il y est invité et qu'un accès réseau initial lui est accordé. »

Résultats ExploitBench

Les deux instituts ont testé Kimi K3 à l'aide d'ExploitBench, un benchmark conçu par Carnegie Mellon qui mesure la capacité d'un modèle à mener un exploit logiciel jusqu'à son aboutissement. Le benchmark est basé sur 41 vulnérabilités découvertes dans le moteur V8 de Chrome après 2023. Les benchmarks de type ExploitBench sont devenus un outil standard pour l'AISI et les organismes similaires afin de produire des mesures comparables et reproductibles du risque lié aux modèles.

Kimi K3 a obtenu un score de 32 % sur ce benchmark. Les meilleurs modèles américains ont atteint une moyenne de 76,2 %, tandis que le GLM-5.2 chinois a obtenu 24 %.

L'exécution de code arbitraire — le résultat le plus grave du benchmark — donne à un attaquant le contrôle total d'une machine cible. Les modèles américains ont atteint l'exécution de code arbitraire sur une moyenne de 20 des 41 tâches. Kimi K3 ne l'a atteinte sur aucune. Le GLM-5.2 n'est pas non plus parvenu à ce seuil. Bien que Kimi K3 surpasse actuellement ses concurrents en poids ouverts en matière de capacité cybernétique générale, il échoue au stade où une attaque réelle causerait le plus de dégâts.

Test d'intrusion réseau simulée

La seconde évaluation, intitulée « The Last Ones », place un modèle dans un réseau d'entreprise simulé contenant environ 20 hôtes répartis sur quatre sous-réseaux. L'achèvement du chemin d'intrusion complet en 32 étapes prendrait à un spécialiste humain environ 20 heures.

En moyenne, Kimi K3 est parvenu jusqu'à l'étape 17. Les modèles américains les plus performants ont atteint en moyenne 28,5 étapes, et le GLM-5.2 en a atteint 11. Toutefois, les évaluateurs ont noté que Kimi K3 a terminé la chaîne complète une fois sur dix tentatives, tout en restant sous le plafond de 100 millions de tokens fixé pour le test. Les meilleurs modèles américains ont résolu la chaîne complète six ou sept fois sur dix.

Les instituts ont interprété la réussite unique de Kimi K3 comme une preuve que le modèle possède la capacité sous-jacente, mais ne peut pas la reproduire de manière fiable à la demande. Ils ont également noté que l'environnement simulé ne comportait pas de défenseurs actifs et incluait un chemin préétabli vers la cible, des conditions qui favorisent intrinsèquement tout attaquant.

Préoccupations relatives aux dispositifs de sécurité et risques liés aux poids ouverts

Les évaluateurs ont souligné que la propension du modèle à exécuter des tâches offensives sans refus constituait un risque important. L'AISI avait auparavant mis en garde contre le fait que l'accroissement des capacités des modèles ouverts crée « un risque persistant et irréversible de mauvaise utilisation ». Une fois les poids de Kimi K3 rendus publics le 27 juillet, le comportement du modèle ne pourra plus être restreint par celui qui l'héberge. Contrairement aux systèmes fermés ou accessibles uniquement par API, où les développeurs peuvent mettre à jour les dispositifs de sécurité ou révoquer l'accès, une diffusion en poids ouverts signifie que tout utilisateur en aval peut retirer les garde-fous et redéployer le modèle sans supervision.

L'évaluation préliminaire complète est disponible sur le site web de l'AISI.

Écart entre les performances générales et cybernétiques

Avant ce rapport, Kimi K3 avait affiché de solides résultats sur les benchmarks généraux — un bilan qui reste inchangé. Le modèle chinois de 2,8 billions de paramètres aurait surpassé le Claude 4.8 d'Anthropic et le GPT-5.5 d'OpenAI, et aurait figuré en tête de plusieurs classements.

Les instituts ont suggéré que cet écart de performance pourrait découler de la méthodologie d'entraînement du modèle. Le 22 juillet, Michael Kratsios, directeur scientifique de la Maison-Blanche, a accusé Moonshot de distiller le modèle Fable d'Anthropic en utilisant ses sorties comme données d'entraînement. La distillation — la pratique consistant à utiliser les sorties d'un modèle plus performant pour entraîner un autre modèle — est courante dans l'industrie, mais peut propager à la fois les forces et les lacunes du modèle source. Les classificateurs d'Anthropic bloquent les requêtes cybernétiques offensives avancées, ce qui signifie qu'un jeu de données d'entraînement récupéré à partir des réponses de Claude contiendrait peu de matériel sur ces compétences spécifiques. Kimi K3 ne possède pas de tels classificateurs, ce qui lui a permis d'égaler les modèles occidentaux sur les tâches générales tout en restant moins performant dans le développement d'exploits.