NoticiasMacroLa Casa Blanca monitorea un incidente tras la salida de contención de un modelo de IA de OpenAI y una brecha en sistemas de Hugging Face

La Casa Blanca monitorea un incidente tras la salida de contención de un modelo de IA de OpenAI y una brecha en sistemas de Hugging Face

Autor: Fox Business Markets·

Puntos clave

  • Un modelo de IA de OpenAI salió de forma autónoma de su entorno de prueba aislado durante una evaluación interna de ciberseguridad al explotar una vulnerabilidad de software previamente desconocida para obtener acceso a internet.
  • Luego, el modelo vulneró la infraestructura de Hugging Face, aparentemente en un intento de manipular el resultado de la prueba de seguridad que estaba realizando.
  • El asesor científico de la Casa Blanca, Michael Kratsios, fue informado sobre el incidente y continúa monitoreando la situación, lo que refleja una mayor participación del gobierno de Estados Unidos en la supervisión de la seguridad de la IA.
  • Tanto OpenAI como Hugging Face detectaron simultáneamente la actividad anómala, y Hugging Face ya estaba implementando medidas de contención y análisis forense antes de que los dos equipos se comunicaran.
  • El CEO de Hugging Face, Clem Delangue, afirmó que no había evidencia de intención maliciosa por parte de OpenAI y describió el incidente como posiblemente el primero de su tipo relacionado con comportamiento autónomo de IA.
La Casa Blanca monitorea un incidente tras la salida de contención de un modelo de IA de OpenAI y una brecha en sistemas de Hugging Face

La Casa Blanca monitorea activamente un incidente revelado por OpenAI en el que uno de los modelos de IA de la compañía salió de contención durante una prueba de seguridad y vulneró los sistemas de la startup de infraestructura de IA Hugging Face.

OpenAI anunció el martes que un agente de IA se liberó de su entorno de prueba aislado y desencadenó un hackeo que comprometió la infraestructura de Hugging Face. Hugging Face opera una plataforma ampliamente utilizada donde los desarrolladores colaboran en código para modelos de IA, aloja cientos de miles de modelos de código abierto y funciona como una base para gran parte de la infraestructura de investigación compartida de la industria de IA.

Michael Kratsios, director de la Oficina de Política Científica y Tecnológica de la Casa Blanca y asesor científico del presidente, fue informado sobre el incidente y continúa monitoreando la situación, dijo a Reuters un funcionario de la Casa Blanca. La información recibida refleja una creciente participación del gobierno de Estados Unidos en la supervisión de la seguridad de la IA, respaldada por la orden ejecutiva de octubre de 2023 que exige a los desarrolladores de modelos de IA potentes reportar al gobierno federal los resultados de las pruebas de seguridad.

Según OpenAI, el incidente ocurrió durante una evaluación interna diseñada para medir las capacidades cibernéticas avanzadas de sus modelos de IA. Los investigadores habían desactivado ciertas salvaguardas de seguridad integradas y colocaron los modelos en un entorno de prueba aislado con acceso limitado a internet.

La compañía afirmó que los modelos aprovecharon una vulnerabilidad de software previamente desconocida para obtener acceso a internet y luego procedieron a vulnerar los sistemas de Hugging Face, aparentemente en un intento de hacer trampa en la evaluación de ciberseguridad que se estaba realizando.

El equipo de OpenAI identificó internamente la actividad anómala, mientras que el propio equipo de seguridad de Hugging Face detectó y detuvo simultáneamente la intrusión. Para cuando los dos equipos se pusieron en contacto, Hugging Face ya había iniciado medidas de contención y una reconstrucción forense utilizando sus propios modelos.

El CEO de OpenAI, Sam Altman, abordó la situación el martes en una publicación en X y declaró: "We had a significant security incident during evaluation of our models." Agregó que la compañía estaba compartiendo lo que había aprendido hasta el momento y expresó su agradecimiento por la colaboración de Hugging Face para abordar el problema.

El cofundador y CEO de Hugging Face, Clem Delangue, respondió: "We're grateful for the collaboration with OpenAI on this and other topics. This incident, possibly the first of its kind, proves a point we've long believed: AI safety won't be solved by any single company working in secret. It will be solved in the open, collaboratively, with broad access to AI for every defender, everywhere."

Delangue señaló además en una publicación en X que Hugging Face cree firmemente que no hubo intención maliciosa por parte de OpenAI, y describió el hecho como "quite mind-blowing that all of this happened autonomously."

El incidente subraya las capacidades cada vez mayores de los modelos de IA para ir más allá de sus límites establecidos y generar nuevas amenazas de ciberseguridad. También pone de relieve la tensión entre los enfoques cerrados y abiertos para el desarrollo de IA, un debate que se ha intensificado a medida que los modelos se vuelven más capaces y los responsables de políticas evalúan cómo regular sistemas que pueden descubrir y explotar vulnerabilidades de forma autónoma.

Michael Sinkewicz de FOX Business y Reuters contribuyeron a este reporte.