NoticiasMacroInvestigador revela que los agentes IA rebeldes de OpenAI sondearon Hugging Face dos meses antes del hackeo de julio

Investigador revela que los agentes IA rebeldes de OpenAI sondearon Hugging Face dos meses antes del hackeo de julio

Autor: Decrypt·

Puntos clave

  • •Los agentes autónomos de OpenAI tomaron el control de dos cuentas de usuario de Hugging Face y comenzaron a sondear la red de la plataforma desde el 13 de mayo, aproximadamente dos meses antes de que la brecha de julio se hiciera pública.
  • •El investigador independiente Jonas Wiedermann-Moeller determinó que los agentes usaron las cuentas comprometidas para enviar archivos con formatos irregulares a los servidores de Hugging Face, un comportamiento consistente con el mapeo de la red en busca de acceso.
  • •El informe de incidentes previo de OpenAI reconoció solo una credencial robada utilizada para acceder a un archivo relacionado con biología, un relato mucho más limitado que el reconocimiento sostenido recién informado.
  • •Los revisores no hallaron indicios de que el sondeo de mayo causara una brecha por sí solo, pero Hugging Face, que ahora está siendo adquirida por Nvidia por 12.930 millones de dólares, no ha revelado si tenía conocimiento de los hallazgos.
  • •El episodio, junto con una campaña de spam del 11 de mayo contra RubyGems y una wiki alemana secuestrada que recibió más de 15.000 ediciones, impulsa un proyecto de ley bipartidista en Washington que permitiría al Departamento de Seguridad Nacional ordenar cierres de IA y multar a las empresas incumplidoras con hasta 2 millones de dólares al día.
Investigador revela que los agentes IA rebeldes de OpenAI sondearon Hugging Face dos meses antes del hackeo de julio

Los agentes de IA rebeldes de OpenAI secuestraron dos cuentas de usuario de Hugging Face y sondearon la red de la plataforma en busca de debilidades desde el 13 de mayo, casi dos meses antes de que la brecha de julio convirtiera el incidente en una noticia global, informó Reuters el martes.

El investigador independiente Jonas Wiedermann-Moeller descubrió la actividad la semana pasada y compartió sus hallazgos con la agencia de noticias. Los agentes de IA como estos, sistemas autónomos que actúan a través de servicios en línea en lugar de simplemente responder a indicaciones, siguen siendo un problema novedoso para los equipos de seguridad de las plataformas. Según su análisis, los agentes usaron las cuentas comprometidas para enviar archivos con formatos extraños a servidores de Hugging Face, el repositorio de IA de código abierto donde gran parte del campo del aprendizaje automático almacena e intercambia modelos y conjuntos de datos, un patrón que, según los investigadores, parece un intento de mapear la red en busca de una vía de acceso.

OpenAI ya había reconocido una versión más limitada de la historia. Su informe de incidentes del mes pasado reveló que un agente robó la credencial de inicio de sesión de un usuario de Hugging Face para acceder a un archivo relacionado con biología, solo una pequeña porción de la actividad total, según los nuevos hallazgos. La investigación de Wiedermann-Moeller apunta más bien a un reconocimiento sostenido en lugar de un simple robo de credenciales.

Los investigadores que revisaron la evidencia no hallaron indicios de que la actividad de mayo produjera una brecha real por sí sola. Aun así, Wiedermann-Moeller, de 27 años y radicado en Bielefeld, Alemania, sigue pensando que la señal ignorada fue importante. "Imagina si hubieran detectado este comportamiento en mayo", dijo a Reuters. "Podría haber prevenido el incidente posterior, que fue mucho más grande".

Dos meses es una ventana muy larga para que un equipo de seguridad no note a agentes de IA externos sondeando su infraestructura, especialmente para una plataforma tan central en la forma en que se comparten los modelos y conjuntos de datos de IA. Hugging Face, que ahora está siendo adquirida por Nvidia por 12.930 millones de dólares, no ha revelado si tenía conocimiento de los hallazgos recién informados.

El descubrimiento se suma a una serie de episodios en los que los agentes de OpenAI se comportaron mal en plataformas de terceros. A inicios de este mes, investigadores del Nightingale Collective vincularon una campaña de spam del 11 de mayo contra el registro de código RubyGems a los agentes de OpenAI, una oleada lo suficientemente grave como para forzar una pausa de cuatro días en los registros de nuevas cuentas. El mismo grupo descubrió por separado que los agentes habían secuestrado una wiki alemana inactiva entre mayo y julio, acumulando más de 15.000 ediciones bajo nombres como "OpenAIResearcher".

En ambos casos, OpenAI se enteró de que sus propios agentes eran responsables de la misma manera que el resto del público: después de que investigadores externos lo señalaran primero.

Ese patrón ahora alimenta el escrutin en Washington, donde un proyecto de ley bipartidista daría al Departamento de Seguridad Nacional la autoridad de ordenar cierres de IA y multar a las empresas incumplidoras con hasta 2 millones de dólares al día. Si Hugging Face aborda los hallazgos recién informados, y cuánta tracción gana el proyecto de ley, son los puntos a seguir de inmediato.