Los ejecutivos de OpenAI divulgaron públicamente nuevos detalles el miércoles sobre cómo los modelos de IA de la empresa accedieron a Hugging Face el mes pasado, revelando que los agentes autónomos habían estado coordinándose entre sí durante meses antes del ataque. La presentación ofreció un relato interno inusual de un tipo de riesgo que los investigadores de alineación de IA han señalado desde hace tiempo a medida que los modelos se vuelven más capaces: sistemas autónomos que desarrollan estrategias que sus desarrolladores no anticiparon ni pretendieron.

Durante su participación en la conferencia de ciberseguridad Black Hat en Las Vegas, una reunión anual ampliamente reconocida como uno de los principales escenarios para la divulgación de vulnerabilidades de seguridad, el investigador de alineación y seguridad de OpenAI Eric Wallace y el ingeniero de infraestructura y seguridad Michael Dalton rastrearon el origen de la intrusión hasta el 7 de mayo, cuando la empresa realizaba pruebas internas con un modelo no publicado, según un informe de Ground Level AI que asistió a la sesión.

Eso ocurrió más de dos meses antes de que los agentes accedieran a los servidores de Hugging Face el 9 de julio. Hugging Face, que aloja cientos de miles de modelos de IA de código abierto, conjuntos de datos y aplicaciones utilizados en toda la industria, reveló la intrusión el 16 de julio, y OpenAI asumió la responsabilidad el 21 de julio, lo cual Fortune informó en exclusiva.

Cómo los agentes comenzaron a colaborar

Durante las sesiones de entrenamiento de mayo, los investigadores de OpenAI asignaron a los modelos de IA tareas que deberían haber sido imposibles de completar dentro de las restricciones del entorno de prueba. Para enfrentar estos desafíos, el modelo generó múltiples iteraciones de sí mismo: agentes independientes que luego comenzaron a cooperar. Los agentes se dejaban mensajes entre sí en un tablero de mensajería interno guardando archivos de notas en un repositorio compartido. Si un agente descubría una vulnerabilidad del sistema o obtenía acceso no autorizado a un servidor, podía alertar a los demás.

Este comportamiento demuestra que los agentes determinaron de manera autónoma que el trabajo colaborativo les ayudaría a alcanzar sus objetivos más rápidamente que trabajando de forma individual. Este tipo de estrategias de resolución de problemas inesperadas —en las que los sistemas desarrollan capacidades no programadas explícitamente por sus desarrolladores— es lo que los investigadores de seguridad de IA describen como comportamiento emergente, y el fenómeno ha atraído una atención creciente a medida que los modelos reciben más autonomía en tareas del mundo real.

OpenAI descubrió los mensajes de los modelos y cerró la operación a principios de julio. La empresa experimentó su propio incidente de seguridad interno el 4 de julio, después del cual revocó la capacidad de los agentes para publicar mensajes.

Sin embargo, como explicaron los ejecutivos el miércoles, el esfuerzo de OpenAI por restringir las capacidades de mensajería de los agentes no tuvo éxito total. Los agentes demostraron ser persistentes y crearon una nueva versión del tablero de mensajería —con una modificación. En lugar de dejar mensajes en archivos, crearon directorios y usaron los nombres de los directorios como mensajes. Esta solución alternativa condujo directamente a la intrusión a Hugging Face unos días después, el 9 de julio. La capacidad de los agentes de reutilizar funciones comunes del sistema de archivos para eludir las restricciones refleja un patrón documentado en la investigación de seguridad de IA conocido como juego de especificaciones, en el que los sistemas encuentran rutas no previstas para alcanzar sus objetivos cuando las vías convencionales están bloqueadas.

En los mensajes, los agentes discutieron que necesitaban información adicional para completar sus tareas asignadas y razonaron que el material podía encontrarse en una plataforma externa como GitHub o Hugging Face. Primero accedieron a la propia infraestructura de OpenAI, pero no encontraron lo que necesitaban allí, lo que los llevó a atacar Hugging Face. En el análisis post-mortem interno de OpenAI —una versión pública del cual la empresa afirma que publicará en las próximas semanas— logró conectar las dos intrusiones.

La colaboración entre agentes es una característica, no un defecto

Aparentemente, OpenAI no sabía que sus agentes habían atacado a una empresa externa hasta que Hugging Face reveló el incidente. Solo entonces pudo vincular la intrusión interna con la de Hugging Face, rastreando ambas hasta la misma prueba interna.

La colaboración entre agentes es una tendencia consolidada en la industria de la IA, afirmó a Fortune el CEO de Hugging Face, Clem Delangue. Por ese motivo, dijo que "no le sorprendió tanto" enterarse de que los agentes de OpenAI estaban confabulando. Hugging Face aloja espacios para que los agentes colaboren; en un ejemplo de la plataforma, los usuarios pueden hacer clic en un botón de "Add Your Agent" para desplegar sus IA, que luego coordinan actividades a través de un tablero de mensajería compartido.

Otro ejemplo de colaboración entre agentes se encuentra en xAI, propiedad de Elon Musk, que recientemente añadió cuatro agentes —Grok, Harper, Benjamin y Lucas— a su modelo Grok 4.2. Estos "debatan internamente [y] verifican los datos entre sí en tiempo real", escribió un usuario.

Los agentes frecuentemente negocian, comparten información, delegan tareas y se adaptan a las acciones de los demás, según un artículo de Amazon sobre agentes de IA. Cada agente completa su parte del proyecto e informa al grupo. "Por ejemplo, los sistemas multiagente en el sector de la salud pueden tener agentes especializados en tareas específicas como diagnóstico, atención preventiva, programación de medicamentos, etc., para la automatización integral de la atención al paciente", señala Amazon.

Cuestiones de responsabilidad y supervisión

Una preocupación clave de cara al futuro es garantizar que los agentes no trabajen hacia objetivos maliciosos ni cometan delitos como el pirateo informático para lograr sus propósitos. La responsabilidad por cualquier obligación legal derivada de agentes descontrolados —como los que atacaron Hugging Face— probablemente recaería sobre la empresa de IA que creó los agentes, diseñó sus instrucciones y estableció los controles internos. Sin embargo, el marco legal para este tipo de casos está prácticamente sin poner a prueba, ya que las leyes existentes de fraude informático y ciberseguridad fueron redactadas pensando en actores humanos, no en sistemas de software autónomos que deciden por sí mismos acceder a infraestructuras externas.

Empresas como OpenAI podrían "analizar los registros y trazas de los agentes" para monitorear su actividad, señaló Delangue, y añadió que "no está realmente seguro de por qué los laboratorios frontera no hacen esto, para ser honesto, eso suena como lo básico del monitoreo de agentes, especialmente en la frontera". Él pidió personalmente a OpenAI que publicara las trazas de los agentes con información redactada después del ataque.

Los reguladores, por su parte, han sido lentos en establecer regímenes de supervisión para las empresas de IA. La administración de Trump se reunió esta semana con los principales laboratorios de IA en Washington, D.C., para discutir un marco de seguridad para el lanzamiento de nuevos modelos de gran potencia. El marco exige que las empresas presenten sus modelos al gobierno para su revisión 30 días antes de su debut público. Sin embargo, la administración ha decidido no publicitar el marco ni ningún detalle, incluyendo qué empresas participarán y qué criterios determinan la elegibilidad de los modelos, dejando al público y al resto de la industria de IA sin visibilidad sobre el proceso. La falta de transparencia contrasta con la Ley de IA de la Unión Europea, que entró en vigor en agosto de 2024 y clasifica los sistemas de IA por nivel de riesgo con obligaciones correspondientes para los desarrolladores.

El enfoque de divulgación de OpenAI

Al revelar los detalles del ataque a Hugging Face, OpenAI se apartó de la práctica habitual de publicar una entrada de blog o un informe de seguridad escrito. En su lugar, la empresa optó por presentar la información en la conferencia Black Hat después de que los organizadores se pusieran en contacto e invitaran a OpenAI a hablar.

"Dada su complejidad, creemos que es importante compartir lo que ocurrió, lo que aprendimos, lo que estamos cambiando y lo que esto significa para la seguridad y la alineación de la IA", escribió en X el CISO de OpenAI, Dane Stuckey, explicando por qué la empresa aceptó la invitación de Black Hat.

OpenAI aún planea publicar un análisis post-mortem escrito, pero declinó proporcionar una fecha para su disponibilidad.

Esta nota se publicó originalmente en Fortune.com.