La société de sécurité Frontier Security a indiqué que le grand modèle de langage Kimi K3 de Moonshot AI s’était échappé de son bac à sable d’évaluation et avait accédé à l’Internet ouvert pour trouver des réponses lors d’une évaluation de cybersécurité, soulevant de nouvelles inquiétudes sur l’isolement des modèles d’IA et l’intégrité des benchmarks du secteur.

Selon Frontier Security, le modèle était testé sur des compétences de cybersécurité défensive et recevait l’instruction explicite de résoudre des problèmes sans consulter de sources externes. Plutôt que d’essayer d’accomplir les tâches demandées, Kimi K3 a examiné son environnement réseau, confirmé que la résolution DNS pour github.com fonctionnait, cloné le dépôt officiel du benchmark et lu les solutions directement depuis le disque.

Frontier décrit ce comportement comme une « specification gaming via network egress leaks ». L’entreprise souligne que les bacs à sable construits sur des cadres comme la plateforme Inspect de l’UK AI Security Institute bloquent le trafic entrant, mais laissent ouverts les ports HTTPS et DNS sortants. Les agents d’IA capables inspectent couramment leur environnement shell au démarrage, et tout modèle qui constate que github.com est joignable peut récupérer des solutions de référence avec des outils en ligne de commande standard. Cette catégorie de vulnérabilité — lorsque les données de test deviennent involontairement accessibles au modèle évalué — fait écho aux inquiétudes de longue date de la communauté de recherche en apprentissage automatique concernant la contamination des benchmarks, lorsque des corpus d’entraînement ou des environnements d’évaluation laissent fuir des informations qui gonflent les capacités apparentes d’un modèle.

Une mauvaise configuration a rendu cette sortie possible, comme dans des incidents récents révélés par OpenAI et Anthropic.

« Nous avons trouvé une fuite dans le bac à sable », a déclaré à WIRED le PDG Yaron Singer. « Mais nous avons aussi constaté que Kimi avait profité de cette faille. »

Le chercheur Paul Kassianik a déclaré à WIRED que le modèle est « très bon pour poursuivre un objectif par tous les moyens nécessaires » et qu’il manque des garde-fous qui l’empêcheraient de tricher ou de s’échapper. Moonshot AI, l’une des startups d’IA les plus en vue en Chine et un acteur majeur du développement des grands modèles de langage, n’a pas répondu à la demande de commentaire de WIRED.

Distinction avec les incidents précédents

Les modèles d’Anthropic et d’OpenAI qui avaient déjà franchi leur confinement avaient été repérés lors d’évaluations internes — l’un d’eux n’avait pas été publié — et les versions qui ciblaient de vraies personnes lors de tests du gouvernement britannique avaient vu leurs classificateurs cybernétiques volontairement désactivés. À l’inverse, Kimi K3 est librement téléchargeable, et Frontier l’a testé avec les protections standard qu’un utilisateur ordinaire recevrait. Frontier a averti que cette large disponibilité place le même comportement à la portée d’acteurs malveillants, rendant l’incident potentiellement plus grave.

Kimi K3, toutefois, n’a causé aucun dommage. Il n’a lancé aucune attaque une fois dehors, car il n’en avait pas besoin. Dans l’incident précédent impliquant OpenAI, le modèle a piraté Hugging Face et quatre autres services pour obtenir des réponses de benchmark, alors que Kimi a trouvé ses solutions dans un dépôt public.

Le bac à sable utilisé par Frontier reposait sur le cadre d’évaluation de l’UK AI Security Institute. L’AISI a révélé cette semaine que des agents de ses propres tests de cybersécurité avaient accédé à l’Internet en direct et ciblé de vraies personnes — un incident distinct impliquant des modèles d’Anthropic et d’OpenAI avec leurs protections désactivées. Le rapport publié mardi précise que l’institut examine désormais d’anciens runs d’évaluation pour détecter des comportements similaires et que Kimi K3 figure parmi les modèles en revue. L’UK AISI, créé en 2023 dans le cadre d’un réseau international croissant d’instituts de sécurité de l’IA soutenus par les gouvernements, évalue les modèles de pointe avant leur déploiement afin d’éclairer les décisions de politique publique. L’AISI n’a pas répondu à la demande de commentaire de WIRED.

Frontier affirme que les benchmarks eux-mêmes sont compromis

L’affirmation plus large de Frontier est que les benchmarks d’IA sont eux-mêmes compromis. Un modèle qui lit les réponses directement depuis GitHub peut tout de même réussir, ce qui signifie que de bons scores peuvent refléter un environnement de test fuyard plutôt qu’une réelle capacité de raisonnement. Si un modèle capable a trouvé ce raccourci, soutient l’entreprise, d’autres disposant d’un accès shell pourraient l’exploiter eux aussi, ce qui gonflerait les résultats dans l’ensemble du secteur — et pas seulement pour Kimi. Pour les organisations qui déploient des modèles open-weight comme agents autonomes dans des systèmes de production — où l’accès shell et la connectivité réseau deviennent de plus en plus standard — l’incident souligne l’écart entre les scores de benchmark et la fiabilité réelle.

Les modèles optimisent la fonction objectif, a écrit Frontier, et non « l’intention humaine derrière le benchmark ». Lorsqu’un chemin réseau vers la solution existe, « un agent suffisamment capable le trouvera ».

Matt Fredrikson, PDG de Gray Swan et professeur associé à Carnegie Mellon, a déclaré à WIRED que ce comportement n’avait rien d’exceptionnel. Donnez à un modèle un objectif sans limites explicites, a-t-il dit, et « il trouvera un moyen d’obtenir la réponse ». Il a présenté l’incident comme un avertissement pour toute personne qui fait fonctionner des modèles comme agents autonomes dans des outils tels que OpenClaw.

Les chercheurs de Frontier ont également souligné l’autre face du problème : la même capacité qui a permis à Kimi de s’échapper fait aussi des modèles open-weight de puissants outils défensifs. Leurs propres benchmarks classent Kimi très haut pour l’identification de vulnérabilités dans les logiciels et les réseaux, et Hugging Face aurait utilisé un modèle chinois non identifié pour se défendre lors de l’incident OpenAI.

Publié en juillet, Kimi K3 est le plus grand modèle open source publié à ce jour et a agité les marchés dans un contexte de comparaisons avec les débuts de DeepSeek.