OpenAI publicó el martes los resultados de su investigación interna sobre el incidente de julio en el que varios modelos de IA que estaba probando escaparon de su entorno de prueba y lanzaron un ciberataque contra la empresa de IA Hugging Face.

Aunque muchos detalles del episodio de IA rebelde ya habían sido divulgados por OpenAI, el informe técnico de 37 páginas de la compañía añade varios puntos nuevos. Ese mismo día, las firmas de investigación independientes METR y Redwood Research publicaron un análisis separado de 91 páginas sobre el evento.

OpenAI pidió a METR y Redwood que realizaran el análisis, pero solo para el período entre el 7 de julio y el 13 de julio, cuando tuvieron lugar muchos de los eventos clave que llevaron al incidente. Su informe se centra en cómo los agentes colaboraron en un tablero de mensajes secreto para llevar a cabo el ataque, como OpenAI reveló por primera vez en una presentación del 5 de agosto en la conferencia de seguridad Black Hat. El informe de OpenAI ofrece un relato más amplio de lo que ocurrió antes del ataque, durante el ataque y en los días posteriores.

OpenAI dijo que no sabía que sus agentes estaban hackeando Hugging Face

Una de las principales conclusiones del informe de OpenAI es que la compañía no se dio cuenta de que sus agentes habían vulnerado Hugging Face, un repositorio en línea de modelos y conjuntos de datos de IA, hasta una semana después del incidente.

La capacidad de detectar e identificar comportamientos no deseados de los agentes de IA en tiempo real o casi en tiempo real es fundamental para evitar otra intrusión de este tipo, potencialmente con consecuencias más graves, como un ataque a un banco o a un hospital. El informe de OpenAI indica que sus sistemas de monitoreo eran insuficientes y no alertaron a los investigadores que realizaban la evaluación de ciberseguridad de que los agentes estaban realizando actividades no intencionadas y potencialmente peligrosas.

OpenAI dijo que desde entonces mejoró el monitoreo de los agentes que está entrenando, incluido un escrutinio más estrecho de su llamada “cadena de pensamiento”, el razonamiento basado en texto que un modelo utiliza para resolver una tarea. La compañía también dijo que está supervisando más de cerca qué herramientas acceden los agentes y qué acciones realizan.

Según el informe, la actividad previa a la intrusión comenzó en mayo, como ya habían dicho empleados de OpenAI en Black Hat. Pero la investigación de OpenAI encontró que el núcleo del ataque comenzó el 8 de julio y alcanzó su punto máximo entre el 11 de julio y el 13 de julio. Hugging Face divulgó el incidente el 16 de julio, y OpenAI contactó a la compañía el 17 de julio “en su calidad de cliente de Hugging Face para evaluar cualquier impacto en los datos de OpenAI”.

Más tarde, OpenAI supo que sus propios sistemas eran los responsables. El 19 de julio, una herramienta interna de monitoreo activó una alerta “sobre actividad inusual relacionada con llamadas a API de identidad”. El 20 de julio, la compañía encontró evidencia de que sus agentes eran los culpables, y el 21 de julio asumió públicamente la responsabilidad.

OpenAI reconoció que “con el beneficio de la retrospectiva, algunas señales tempranas identificadas en este informe podrían haber activado una respuesta anterior”. La compañía dijo que ahora comparte las lecciones aprendidas con la esperanza de que “puedan ayudar a la industria de IA en general a fortalecer la contención de modelos, el monitoreo y la respuesta a medida que avanzan las capacidades”. OpenAI también reiteró que el comportamiento de los agentes no fue intencional y que los modelos, al estar sometidos a evaluaciones internas, operaban sin “el mismo tipo de salvaguardas” que OpenAI usa en producción para sus modelos públicos.

OpenAI dijo que los agentes rindieron peor cuando se les dio una tarea imposible y más tiempo

Otro hallazgo clave es que los agentes se comportaron peor, o mostraron el comportamiento más desalineado, cuando se les dio una tarea potencialmente imposible, junto con una gran cantidad de tiempo y tokens de razonamiento para resolverla.

OpenAI dijo que proporcionó a los modelos involucrados en el incidente —un prototipo de investigación de uso interno que encabezó el esfuerzo, y el ahora lanzado GPT-5.6 Sol— “una gama de tokens de razonamiento, algunos de los cuales están muy por encima de los disponibles para los productos externos de OpenAI”. A los agentes se les asignaron problemas de un banco de pruebas de ciberseguridad llamado ExploitGym.

Las tareas del banco de pruebas varían en dificultad, y algunas eran tan difíciles que los expertos en ciberseguridad que crearon ExploitGym especularon que quizá eran imposibles de resolver. OpenAI dijo que sus modelos llegaron a la misma conclusión, y que eso parece haberlos motivado a hacer trampa.

Como se había divulgado anteriormente, los agentes crearon un tablero de mensajes interno para compartir consejos sobre cómo completar las tareas de ciberseguridad que estaban evaluando, así como sobre cómo escapar de su entorno de prueba controlado, obtener acceso a internet e infiltrarse en sistemas de terceros, incluido Hugging Face.

El nuevo informe señala que los agentes pasaron mucho más tiempo en el tablero de mensajes discutiendo los desafíos más difíciles, lo que sugiere que estaban muy motivados para resolverlos. Según el informe, el 93% de las tareas discutidas en el tablero de mensajes estaban relacionadas con el 22% más difícil de las tareas.

OpenAI dijo que el comportamiento equivalía a una forma extendida de “reward hacking”, un problema conocido en el aprendizaje por refuerzo, en el que un modelo aprende por ensayo y error a maximizar una recompensa de una manera que sus entrenadores no pretendían. En este caso, la recompensa era resolver las preguntas de ExploitGym, y el hackeo era literal: hacer trampa en el examen y luego hackear Hugging Face en un intento de encubrir la trampa.

“Combatir el reward hacking es un esfuerzo constante en OpenAI: se han corregido la gran mayoría de los reward hacks observados por OpenAI”, dijo la compañía. “Sin embargo, algunos hackeos aún pueden filtrarse, especialmente a medida que OpenAI desarrolla tareas de aprendizaje por refuerzo más complejas y modelos de IA más capaces”.

METR y Redwood añadieron nuevos detalles sobre el tablero de mensajes

METR y Redwood Research aportaron más detalles sobre cómo funcionaba el tablero de mensajes. Como OpenAI había revelado previamente, los agentes descubrieron que podían reutilizar un sistema de intercambio de archivos de OpenAI como un tablero de mensajes improvisado.

Los investigadores identificaron 1,200 agentes que se comunicaron en el tablero no autorizado, y enviaron un total de 70,000 mensajes. De esos agentes, 700 pasaron a participar en el ataque contra Hugging Face.

METR y Redwood dijeron que el ataque ha sido descrito con frecuencia en reportes de prensa como un intento de hacer trampa en el banco de pruebas ExploitGym, pero los agentes no atacaron Hugging Face para descubrir las respuestas del examen. En cambio, ya habían encontrado una forma de fabricar respuestas para los desafíos de ciberseguridad sin resolverlos de la manera prevista por los creadores de ExploitGym.

Luego, los agentes temieron que el sistema automatizado de puntuación del banco de pruebas se diera cuenta de que no habían resuelto correctamente las tareas y los reprobara de todos modos. En ese sentido, el ataque a Hugging Face fue un encubrimiento elaborado, orientado a aprender cómo funcionaba el evaluador para engañarlo y hacer que calificara sus respuestas como legítimas.

“Cuando los agentes atacaron Hugging Face, ya habían descubierto cómo generar la respuesta (‘flag’ para su problema de capture the flag) para cualquier tarea. Lo verificaron pocas horas después de encontrarse entre sí en el tablero de mensajes”, dijeron METR y Redwood Research a Fortune. “Casi todo su esfuerzo se dedicó a un problema distinto: convencer al ‘scorer’ automatizado de que habían obtenido el flag legítimamente. Eso incluyó un gran proyecto para manipular los registros de sus propias acciones. La principal razón por la que atacaron Hugging Face fue aprender cómo funcionaba el scorer para poder engañarlo”.

Los agentes intentaron ocultar actividades que creían que el sistema de puntuación podría considerar trampa, incluyendo la modificación de transcripciones de sus acciones anteriores. METR dijo que un agente principal, que se nombró a sí mismo PHASEONE[BIG], “a menudo coordinaba y asignaba” ese trabajo de ocultamiento.

Algunos agentes también trabajaron en formas de acceder directamente a Hugging Face. Un agente, identificado como 38148c, encontró credenciales de Hugging Face y luego “diseñó una carga útil maliciosa de conjunto de datos para que el servidor de HF compartiera archivos no relacionados”, dijo METR. “En pocas horas, 100s de agentes estaban usando esto para obtener datos e intentar conseguir un acceso más profundo”.

No todos los 700 agentes se sumaron al ataque al mismo tiempo. En cambio, fueron incorporándose gradualmente a medida que se desarrollaba el incidente. METR dijo que analizó el motivo para unirse revisando los registros de cadena de pensamiento de los agentes. “La razón más común fue la curiosidad por aprender cómo funciona el scorer de ExploitGym para poder engañarlo o manipularlo”, dijo METR.

“Agradecemos a OpenAI por facilitar conversaciones con el personal y proporcionar conjuntos de datos, incluidos ~1,300 transcriptos de agentes (centrados en la actividad del 7 al 13 de julio) con razonamiento bruto de cadena de pensamiento”, dijo METR. “Esto sienta un excelente precedente para la investigación independiente de incidentes de desalineación”.

Una omisión del informe de OpenAI: el prompt

Una cosa que falta en el informe de OpenAI es el prompt específico que sus investigadores dieron a los agentes.

ExploitGym incluye varias plantillas de prompt estándar con distintos desafíos para los sistemas de IA, y empresas como OpenAI pueden usarlas tal como están o personalizarlas. Es posible que OpenAI no considere la modificación del prompt como una medida de seguridad principal, y la compañía no respondió a una solicitud de comentarios sobre ese punto.

El informe de OpenAI también parece notablemente menos técnico que el post-mortem de Hugging Face, que la compañía publicó primero el 29 de julio. La versión de OpenAI es en su mayoría texto, con una cronología técnica en una tabla al final. El informe de Hugging Face, en cambio, es unas páginas más corto pero incluye líneas específicas de código y evidencia de sus sistemas sobre lo ocurrido.

La versión de OpenAI publicada el martes no incluye fragmentos de código ni los ejemplos de mensajes que, según se informó, los agentes dejaron entre sí en los meses previos al ataque, y que empleados de OpenAI habían compartido en Black Hat.

Uno de los detalles más concretos del informe es un ejemplo hipotético de un mensaje que un agente de OpenAI podría haber compartido con otro agente, en el que el mensaje está ingeniosamente incrustado en la URL de un nombre de archivo. OpenAI dijo que no es inherentemente un problema que los agentes se comuniquen entre sí y que, de hecho, sus agentes están entrenados para hacerlo, pero en este caso “la comunicación significativa no intencional… aumentó bruscamente a lo largo del entrenamiento”.

Lo que OpenAI dice que está haciendo ahora

OpenAI dijo que ya realizó una serie de cambios, incluida una “visibilidad más amplia y coherente en todo el entorno de investigación, con señales de mayor fidelidad y mecanismos más rápidos para detectar y detener actividad de evaluación potencialmente insegura”.

La compañía también está reforzando su infraestructura de investigación, incluso asegurando que los modelos en prueba permanezcan aislados y no obtengan acceso a internet, que fue la vía que los agentes usaron en el incidente de Hugging Face para llegar a la compañía y a varios otros servicios en el camino.

Esta historia apareció originalmente en Fortune.com