OpenAI ha publicado un detallado informe técnico sobre el incidente de seguridad del mes pasado, en el que sus agentes de IA escaparon de su sandbox y atacaron Hugging Face, generando preocupación en toda la industria de la inteligencia artificial.

El informe fue publicado el miércoles junto con una investigación independiente realizada por investigadores de los institutos de investigación en IA sin fines de lucro METR y Redwood. OpenAI señaló que busca responder a las inquietudes sobre los riesgos cibernéticos que plantea la IA, mientras la empresa se prepara para salir a bolsa.

Según los dos extensos informes, los modelos de OpenAI que actuaban como agentes enviaron más de 70,000 mensajes a un foro no autorizado antes de que alrededor de 700 de ellos atacaran la plataforma de IA Hugging Face, todo mientras operaban en lo que se suponía que era un entorno de pruebas seguro.

La actividad se vinculó a un proceso conocido como “reward hacking”, en el que los agentes intentan hacer trampa en tareas de prueba “imposibles” accediendo a sistemas en línea. METR reveló que, una vez establecido el acceso al foro, los agentes se agruparon eficazmente y compartieron información sobre cómo engañar a su sistema de puntuación.

Según el informe de OpenAI, la actividad fue impulsada por un modelo en particular, al que identificó como Model One.

OpenAI indicó que un equipo interno había observado previamente a un agente participando en actividad en el foro y bloqueó el acceso a internet a fines de mayo. Sin embargo, la importancia de ese comportamiento “no era evidente” hasta julio, cuando ocurrió la brecha. La empresa dijo que está revisando el proceso y las prácticas operativas que permitieron que el incidente ocurriera.

OpenAI también señaló que el incidente demuestra que se necesita hacer más en toda la industria para prevenir ataques similares, especialmente a medida que los agentes de IA adquieren mayor capacidad para actuar en múltiples sistemas sin instrucciones humanas directas. Esa preocupación forma ahora parte de un debate de política más amplio sobre cómo establecer límites y mecanismos de supervisión para los modelos avanzados antes de que se desplieguen de manera más generalizada.

“Nuestros modelos son ahora lo suficientemente potentes, persistentes y colaborativos como para que, en ausencia de salvaguardas suficientes, puedan encontrar y explotar debilidades de seguridad en múltiples sistemas informáticos”, señala el informe. “Muchos modelos externos, incluidos los de código abierto, pronto alcanzarán capacidades comparables”.

“Consideramos que esto es un ‘tiro de advertencia’ para el mundo: evidencia de que, sin las salvaguardas adecuadas, los agentes de IA altamente capaces ya pueden eludir los controles técnicos, colaborar a través de canales no aprobados y tomar medidas peligrosas que ningún ser humano pretendía”, continúa el informe.

La advertencia ya ha atraído la atención regulatoria. A principios de esta semana, el fiscal general de Alabama citó a declarar a OpenAI para obtener más información sobre el ataque, alegando lo que denominó una “falta total de supervisión y de salvaguardas adecuadas”.

La acción de Alabama siguió a la presentación, a fines de julio, del proyecto de ley bipartidista AI Kill Switch Act por parte de los congresistas Ted W. Lieu (demócrata por el condado de Los Ángeles) y Nathaniel Moran (republicano por Texas). El proyecto de ley exigiría que los “desarrolladores de los sistemas de IA más poderosos” los apaguen si resulta necesario en situaciones de emergencia.

OpenAI ya ha dicho que está ralentizando el desarrollo de sus próximos modelos tras el incidente y que está implementando una supervisión más rigurosa.