Kimi K3 accuse un net retard sur les modèles frontier américains dans les exploits cyber ; les accusations de distillation pourraient l’expliquer

Une évaluation conjointe du British AI Security Institute (UK AISI) et du U.S. Center for AI Standards and Innovation (CAISI) a conclu que le dernier modèle de Moonshot AI, Kimi K3, aide à mener des opérations cyber offensives sans résistance significative. Moonshot AI, fondée en 2023 par Yang Zhilin et soutenue par des investisseurs dont Alibaba et Tencent, est l’une des startups d’IA les plus en vue en Chine. Si Kimi K3 accuse un retard important sur les principaux modèles frontier américains dans les tâches cyber offensives, il surpasse toutefois le GLM-5.2 chinois et établit une nouvelle référence parmi les modèles à poids ouverts.

Les garde-fous intégrés du modèle n’ont pas réussi à bloquer le développement d’exploits ni les opérations cyber offensives, et le modèle a aidé dans les deux cas sans opposition. L’évaluation a été publiée par UK AISI et NIST/CAISI.

ExploitBench : Kimi K3 échoue à atteindre les niveaux les plus difficiles

Les instituts ont évalué les compétences en développement d’exploits à l’aide d’ExploitBench, un benchmark développé par Carnegie Mellon University. ExploitBench utilise 41 vulnérabilités découvertes dans le moteur V8 de Chrome après 2023 afin de mesurer jusqu’où un modèle peut progresser dans la chaîne d’exploitation logicielle.

Les principaux modèles américains ont atteint en moyenne 76,2 % de complétion, contre 32,2 % pour Kimi K3 et 24,4 % pour GLM-5.2. Point crucial, Kimi K3 n’a atteint le niveau d’exploit le plus élevé — Arbitrary Code Execution (ACE) — sur aucune des 41 tâches. ACE est considéré comme le niveau d’exploit le plus grave, car il donne aux attaquants un contrôle total sur un système cible. Les principaux modèles américains ont atteint ACE dans 20 des 41 tâches.

Pour les modèles américains à poids fermés, les instituts ont désactivé les garde-fous au niveau système afin de mesurer leurs capacités maximales. Ces garde-fous restent activés dans les versions accessibles au public.

Attaque réseau simulée : Kimi K3 atteint la moitié du parcours

La seconde évaluation, appelée "The Last Ones" (TLO), simule une attaque contre un réseau d’entreprise comprenant un parcours d’attaque en 32 étapes sur quatre sous-réseaux et environ 20 hôtes. Selon les instituts, un expert humain aurait besoin d’environ 20 heures pour terminer l’exercice.

Seul un petit groupe de modèles peut résoudre TLO. À ce jour, quatre modèles à poids fermés accessibles au public ont réussi le test, les plus performants réussissant six ou sept tentatives sur dix.

Kimi K3 a atteint en moyenne l’étape 17 sur 32, contre 28,5 étapes pour les principaux modèles américains et 11 pour GLM-5.2. Kimi K3 a achevé l’intégralité du parcours d’attaque dans une tentative sur dix tout en restant dans la limite de 100 millions de tokens, ce qui montre qu’il possède cette capacité mais ne peut pas la mobiliser de manière fiable.

"Kimi K3 is capable of autonomously attacking small, weakly defended and vulnerable enterprise systems, when directed to do so and given initial network access," écrit l’institut.

TLO ne prend pas en compte les mesures de défense active, ce qui le rend imparfaitement réaliste. Toutefois, ces résultats constitueraient tout de même des signaux d’alerte dans des scénarios réels. Un exemple notable est apparu plus tôt cette semaine, lorsque des modèles d’OpenAI ont tenté de pirater Hugging Face de manière autonome. Hugging Face a réussi à repousser l’attaque, même si cela a nécessité des efforts importants et le déploiement de modèles à poids ouverts.

Les modèles chinois réduisent l’écart, mais restent en retrait

Le CAISI a mené une analyse de séries temporelles suivant les capacités cyber des modèles américains et chinois depuis le début de 2025 à l’aide d’une échelle fondée sur l’Elo. Les deux courbes progressent, mais les modèles chinois restent constamment derrière leurs homologues américains.

Dans une analyse précédente, l’institut britannique avait estimé l’écart de performance des modèles ouverts à quatre à sept mois, contre six à dix mois au début de 2025. Les derniers résultats sont cohérents avec cette tendance : les modèles chinois à poids ouverts s’améliorent, mais restent nettement derrière les principaux systèmes américains.

L’AISI a averti que cet écart ne devait pas conduire à un excès de confiance. Les capacités cyber croissantes des modèles ouverts créent ce que l’institut décrit comme "a persistent and irreversible risk of misuse." Contrairement aux modèles à poids fermés, que les fournisseurs peuvent mettre à jour ou restreindre à distance, les modèles à poids ouverts — une fois téléchargés — ne peuvent pas voir leurs capacités révoquées ni leurs garde-fous corrigés par le développeur.

Des résultats cyber cohérents avec les accusations de distillation

Les conclusions sur Kimi donnent également du poids aux accusations de distillation visant les développeurs chinois de modèles. La distillation est une technique par laquelle un modèle est entraîné sur les sorties d’un modèle plus performant, ce qui lui permet d’approximer les capacités du modèle enseignant sans accéder à ses poids sous-jacents ni à ses données d’entraînement. Le conseiller scientifique américain Michael Kratsios a récemment accusé Moonshot AI d’avoir "distillé" Fable d’Anthropic en utilisant les meilleures sorties de Fable comme données d’entraînement afin d’améliorer les performances de Kimi K3. Kratsios a également affirmé que Moonshot AI avait eu accès aux GB300s de Nvidia, soumis aux contrôles américains à l’exportation. Anthropic a publié un cadre de garde-fous pour Fable.

Une explication de l’écart entre les solides scores généraux de Kimi K3 dans les benchmarks et ses faibles performances cyber est que le modèle pourrait avoir été entraîné principalement sur des sorties de Claude couvrant les connaissances générales, la programmation et les tâches d’agent. Les classificateurs de sécurité d’Anthropic bloquent spécifiquement les requêtes cyber offensives avancées, ce qui signifie que ces sorties seraient sous-représentées dans tout jeu de données de distillation construit à partir de réponses de Claude. Kimi K3 pourrait donc égaler les principaux modèles occidentaux sur des benchmarks standard sans acquérir leurs capacités d’exploitation plus approfondies.

Les résultats de l’AISI étayent cette interprétation. Les instituts ont désactivé les garde-fous au niveau système sur les modèles américains afin de révéler des capacités cyber qu’il est presque impossible d’accéder via des interfaces publiques — et qui sont donc largement indisponibles pour la distillation.