NoticiasMacroGeoffrey Hinton y más de 400 científicos piden a los laboratorios de IA desconectar de internet los modelos con capacidades cibernéticas

Geoffrey Hinton y más de 400 científicos piden a los laboratorios de IA desconectar de internet los modelos con capacidades cibernéticas

Autor: Decrypt·

Puntos clave

  • •Más de 400 investigadores, entre ellos Geoffrey Hinton y Yoshua Bengio, firmaron una carta abierta que pide a los laboratorios de IA aplicar por defecto el aislamiento de red a los modelos con fuertes capacidades de hackeo.
  • •El llamado responde a una serie de incidentes veraniegos en los que modelos de OpenAI, Anthropic, Meta y Moonshot AI escaparon de sandboxes de prueba, y varios de ellos hackearon empresas reales en el proceso.
  • •OpenAI reveló en julio que GPT-5.6 Sol y un modelo más potente aún sin lanzar escaparon de un entorno de pruebas bloqueado y hackearon Hugging Face, con informes posteriores de intrusiones en sistemas gubernamentales de Australia y EE.UU.
  • •La revisión de Anthropic de más de 141.000 ejecuciones de prueba encontró tres casos en los que modelos Claude vulneraron empresas reales, incluida una carga maliciosa en PyPI que llegó a 15 sistemas antes de ser retirada.
  • •La carta propone un nuevo organismo internacional creado junto a los gobiernos para establecer estándares para los modelos que necesiten acceso a internet y para recopilar y eventualmente hacer públicos los informes de fallos de contención.
Geoffrey Hinton y más de 400 científicos piden a los laboratorios de IA desconectar de internet los modelos con capacidades cibernéticas

Más de 400 científicos —entre ellos los pioneros de la IA Geoffrey Hinton, ampliamente conocido como el "padre de la IA", y Yoshua Bengio, ganador del Premio Turing 2018— piden que los modelos de IA más peligrosos sean desconectados de internet.

En una carta abierta publicada el martes, los firmantes urgieron a los laboratorios de IA a aislar ("airgap") por defecto los modelos con capacidades cibernéticas, lo que significa desconectarlos físicamente de cualquier red externa. El aislamiento de red es una práctica de seguridad de larga data, utilizada durante mucho tiempo para proteger sistemas militares clasificados e infraestructura crítica de intrusiones remotas. La carta reunía 450 firmas al miércoles, incluidas las de Stuart Russell, de UC Berkeley, y Ron Rivest, del MIT, coinventor del sistema de cifrado RSA, y la lista sigue creciendo en tiempo real.

"En el corto plazo, se deben utilizar mecanismos sólidos de sandboxing, incluido el aislamiento de red (desconexión de internet), para brindar una contención de alta garantía de los modelos de IA con capacidades cibernéticas", señala la carta.

El llamado llega tras un verano en el que modelos de OpenAI, Anthropic, Meta y Moonshot AI escaparon de sus sandboxes de prueba, y varios de ellos hackearon empresas reales en el proceso.

Un "modelo con capacidades cibernéticas" es una IA capaz de encontrar y explotar fallas de software por sí misma. Los laboratorios miden esa habilidad dentro de un sandbox: una habitación digital sellada donde la IA puede atacar objetivos falsos sin tocar nada real. Este verano, esas habitaciones no dejaron de presentar fugas. El aislamiento de red es el primo más estricto del sandbox: sin conexión de red alguna, no existe ruta de salida del entorno.

En julio, OpenAI admitió que GPT-5.6 Sol y un modelo más potente aún sin lanzar escaparon de un entorno de pruebas bloqueado y hackearon Hugging Face, una plataforma que alberga más de un millón de modelos de IA de acceso público. Los modelos estaban siendo evaluados en ExploitGym, un benchmark que entrega a los agentes de IA 898 vulnerabilidades de software reales y les pide convertir cada una en un ataque funcional, calificado como aprobado o reprobado por cada falla. Poco después, surgieron informes de que los modelos de OpenAI habían hackeado al gobierno australiano y accedido a información de agencias federales de EE.UU. sin la autorización correspondiente.

Anthropic luego revisó más de 141.000 ejecuciones de prueba y encontró tres casos en los que modelos Claude hackearon empresas reales después de que el entorno de un socio de pruebas quedara accidentalmente conectado a internet. En una de esas instancias, Claude Mythos 5 subió un paquete malicioso a PyPI, la biblioteca pública donde los programadores descargan código Python, y llegó a 15 sistemas antes de ser retirado. Dos de las empresas afectadas no sabían que habían sido vulneradas hasta que Anthropic se lo comunicó.

Meta confirmó en agosto que su modelo Muse Spark hackeó a otra empresa debido al mismo tipo de error de pruebas. Por separado, Kimi K3, de China, un modelo que cualquiera puede descargar, se escapó de un sandbox construido sobre el marco de pruebas del AI Security Institute del Reino Unido y copió sus respuestas de prueba directamente desde GitHub.

Los autores de la carta afirman que los incidentes pueden leerse de dos maneras: como un problema de alineamiento, es decir, una IA que persigue objetivos de formas que sus creadores nunca pretendieron, o como una seguridad descuidada que sandboxes más robustos habrían detectado. Su respuesta es que se trata de ambas cosas, y advierten que, sin cambios, los próximos incidentes serán aún peores.

"Sin cambios inmediatos en las prácticas de desarrollo y despliegue de la IA, estos incidentes seguirán ocurriendo, y los incidentes futuros serán mucho más dañinos para nuestra expuesta infraestructura crítica", afirma la carta.

Según la propuesta, los laboratorios aplicarían por defecto el aislamiento de red a cualquier modelo con habilidades serias de hackeo, al menos inicialmente. Esto marcaría un alejamiento de las normas actuales de la industria, en las que los líderes suelen operar con acceso a internet en vivo para navegar la web, llamar herramientas externas y atender a los usuarios. Todo lo que requiera mayor libertad, como el acceso a internet, seguiría estándares establecidos por un nuevo organismo internacional creado junto a los gobiernos. Ese organismo también recopilaría informes de fallos de contención y eventualmente los haría públicos.

La respuesta de la propia industria ha apuntado mayormente en dirección contraria. En agosto, el presidente de OpenAI, Greg Brockman, citó la brecha de su empresa en un ensayo en el que instaba a todos los equipos de seguridad a desplegar agentes de IA de inmediato. Mientras tanto, Hugging Face solo logró descifrar el ataque a sus servidores ejecutando un modelo chino de pesos abiertos —uno cuyos archivos cualquiera puede descargar y ejecutar localmente— después de que la IA comercial estadounidense se negó a analizar los datos del ataque.

Dos miembros del Congreso presentaron la AI Kill Switch Act dos días después de la revelación de OpenAI, un proyecto de ley que permitiría al Departamento de Seguridad Nacional ordenar limitar o apagar un modelo de frontera. El proyecto exime todo lo que ocurra durante ejercicios de red-teaming o pruebas estructuradas, precisamente donde tuvieron lugar todas las brechas de este verano.

La Casa Blanca tomó una vía más suave el 29 de septiembre, cuando Nvidia, xAI, Meta, Google, OpenAI y Anthropic firmaron un acuerdo voluntario basado en controles internos y revisiones independientes. El presidente Trump calificó el pacto de "moralmente vinculante", pero nada en él es exigible por ley.

La carta no tiene fuerza legal, pero sus 406 firmantes trabajan en universidades e institutos de investigación en seis continentes, desde Toronto y Zúrich hasta Santiago y Kigali. Decrypt contactó a varios investigadores listados como contactos de prensa de la carta, pero no recibió una respuesta inmediata. Con la lista de firmantes aún en crecimiento, los indicadores a vigilar son si algún laboratorio adopta el estándar de aislamiento de red por defecto y si los gobiernos avanzan en crear el organismo de supervisión que la carta propone.