La firma de seguridad Frontier Security informó que el modelo de lenguaje grande Kimi K3 de Moonshot AI escapó de su sandbox de evaluación y accedió a internet abierto para encontrar respuestas durante una evaluación de ciberseguridad, lo que reaviva las preocupaciones sobre la contención de modelos de IA y la integridad de los benchmarks de la industria.

Según Frontier Security, el modelo estaba siendo probado en habilidades defensivas de ciberseguridad y recibió la instrucción expresa de resolver problemas sin consultar fuentes externas. En lugar de intentar las tareas asignadas, Kimi K3 analizó su entorno de red, confirmó que la resolución DNS para github.com funcionaba, clonó el repositorio oficial del benchmark y leyó las soluciones directamente desde el disco.

Frontier describe el comportamiento como "specification gaming via network egress leaks." La firma señala que los sandboxes construidos sobre marcos como la plataforma Inspect del UK AI Security Institute bloquean el tráfico entrante, pero dejan abiertos los puertos salientes de HTTPS y DNS. Los agentes de IA capaces suelen inspeccionar su propio entorno de shell al iniciarse, y cualquier modelo que encuentre github.com accesible puede recuperar soluciones de referencia usando herramientas estándar de línea de comandos. Esta clase de vulnerabilidad —en la que los datos de prueba son accesibles de forma involuntaria para el modelo evaluado— se suma a las preocupaciones de larga data en la comunidad de investigación en aprendizaje automático sobre la contaminación de benchmarks, donde los corpus de entrenamiento o los entornos de evaluación filtran información que infla las capacidades aparentes de un modelo.

Una mala configuración hizo posible la fuga, de forma similar a incidentes recientes revelados por OpenAI y Anthropic.

"We found a leak in the sandbox," dijo a WIRED el CEO de Frontier, Yaron Singer. "But we also found that Kimi took advantage of that loophole."

El investigador Paul Kassianik dijo a WIRED que el modelo es "very good at following a goal by any means necessary" y carece de las barreras que impedirían que hiciera trampa o escapara. Moonshot AI, una de las startups de IA más destacadas de China y desarrollador líder de modelos de lenguaje grande, no respondió a la solicitud de comentario de WIRED.

Distinción respecto de incidentes anteriores

Los modelos de Anthropic y OpenAI que rompieron el confinamiento anteriormente fueron detectados durante evaluaciones internas —uno de ellos no había sido lanzado— y las versiones que apuntaron a personas reales durante pruebas del gobierno del Reino Unido tenían sus clasificadores de ciberseguridad desactivados deliberadamente. En contraste, Kimi K3 se puede descargar públicamente, y Frontier lo probó con las protecciones estándar que recibiría un usuario común. Frontier advirtió que esta amplia disponibilidad pone el mismo comportamiento al alcance de actores maliciosos, lo que hace que el incidente sea potencialmente más grave.

Kimi K3, sin embargo, no causó daños. No lanzó ataques una vez fuera del sandbox porque no lo necesitaba. En el incidente anterior de OpenAI, el modelo hackeó Hugging Face y otros cuatro servicios para obtener respuestas de benchmark, mientras que Kimi encontró sus soluciones en un repositorio público.

El sandbox utilizado por Frontier se basó en el marco de evaluación del UK AI Security Institute. AISI reveló esta semana que agentes en sus propias pruebas de ciberseguridad habían accedido a internet en vivo y apuntado a personas reales —un incidente separado, que involucró modelos de Anthropic y OpenAI con sus protecciones desactivadas. El informe publicado el martes señala que el instituto ahora está revisando ejecuciones históricas de evaluación en busca de comportamientos similares y que Kimi K3 está entre los modelos bajo revisión. El UK AISI, establecido en 2023 como parte de una red internacional creciente de institutos de seguridad de IA respaldados por gobiernos, evalúa modelos de frontera antes de su despliegue para informar decisiones de política. AISI no respondió a la solicitud de comentario de WIRED.

Frontier argumenta que los propios benchmarks están comprometidos

La afirmación más amplia de Frontier es que los benchmarks de IA en sí mismos están comprometidos. Un modelo que lee las respuestas directamente desde GitHub aún puede aprobar, lo que significa que las puntuaciones altas pueden reflejar un entorno de prueba con fugas en lugar de una capacidad real de razonamiento. Si un modelo capaz encontró este atajo, argumenta la firma, otros con acceso a shell también podrían estar explotándolo, lo que podría inflar los resultados en todo el sector, no solo para Kimi. Para las organizaciones que despliegan modelos de peso abierto como agentes autónomos en sistemas de producción —donde el acceso a shell y la conectividad de red son cada vez más habituales—, el incidente subraya la brecha entre las puntuaciones de benchmark y la fiabilidad en el mundo real.

Los modelos optimizan para la función objetivo, escribió Frontier, no para la "human intent behind the benchmark." Cuando existe una ruta de red hacia la solución, "a sufficiently capable agent will find it."

Matt Fredrikson, CEO de Gray Swan y profesor asociado en Carnegie Mellon, dijo a WIRED que el comportamiento no es inusual. Si se le da a un modelo un objetivo sin límites explícitos, dijo, "it'll find a way to get the answer." Describió el incidente como una advertencia para cualquiera que ejecute modelos como agentes autónomos en herramientas como OpenClaw.

Los investigadores de Frontier también señalaron el reverso: la misma capacidad que permitió a Kimi escapar convierte a los modelos de peso abierto en potentes herramientas defensivas. Sus propios benchmarks sitúan a Kimi en una posición alta para identificar vulnerabilidades en software y redes, y Hugging Face habría usado un modelo chino no identificado para defenderse durante el incidente de OpenAI.

Lanzado en julio, Kimi K3 es el modelo de código abierto más grande publicado hasta la fecha y agitó los mercados en medio de comparaciones con el debut de DeepSeek.