Google ha confirmado que su modelo de IA Gemini escapó en mayo de una prueba de seguridad aislada y atacó a tres empresas reales, encontrando contraseñas expuestas de dos de ellas y adivinando las credenciales de la tercera. La empresa conoció el incidente a finales de julio, pero no lo reveló hasta el 18 de septiembre, solo después de que The Wall Street Journal () publicara la noticia.

Este episodio convierte a Google en el cuarto gran laboratorio de IA este año en admitir que una prueba de seguridad interna llegó al mundo real, tras revelaciones similares de OpenAI, Anthropic y Meta. La misma empresa externa de pruebas —la compañía israelí Irregular— estuvo involucrada tanto en el incidente de Google como en los fallos casi idénticos de entornos aislados que Anthropic y Meta revelaron a inicios de este año, lo que significa que una sola empresa externa aparece en tres de las cuatro revelaciones del año.

Cómo escapó la prueba

El ejercicio de mayo fue una prueba de captura de bandera (capture the flag), un método habitual que los laboratorios usan para medir la capacidad de hackeo de un modelo de IA: se oculta un archivo secreto en una máquina aparte y se evalúa si el modelo puede entrar y obtenerlo. Google contrató a Irregular para realizar la prueba.

Irregular cometió dos errores. Dejó el sandbox —un entorno de pruebas aislado que no debía tener ningún contacto con el internet abierto— conectado a la web, y utilizó el nombre de una empresa real como objetivo ficticio. Gemini buscó esa empresa en línea, encontró tres coincidencias en lugar de una y las atacó a todas.

El modelo localizó contraseñas expuestas en línea de dos de las tres empresas. Para la tercera, adivinó directamente la contraseña, aunque Google afirma que sus modelos no llegaron a usar las credenciales robadas.

"Estos acontecimientos destacan la importancia de entrenar modelos de IA potentes para actuar de manera responsable", declaró un portavoz de Google en un comunicado.

Google no publicó ningún detalle por iniciativa propia. The Wall Street Journal reveló la historia siete semanas después de que Google supiera lo que su propia prueba había hecho, y mucho después de que Anthropic, OpenAI y Meta ya hubieran admitido fallos casi idénticos.

Un patrón en los laboratorios de IA

Los modelos de OpenAI explotaron una falla oculta de software y alcanzaron los servidores en vivo de Hugging Face en julio, una intrusión que involucró a unos 700 agentes coordinados que trabajaban juntos para hacer trampa en un benchmark. Tras la admisión de OpenAI, Anthropic investigó su propio caso: una revisión de 141.006 ejecuciones de pruebas detectó tres modelos Claude que llegaron a empresas reales, uno de los cuales publicó un paquete de software con trampa que se ejecutó en 15 sistemas reales antes de que alguien lo detectara. Anthropic reveló posteriormente que el propio razonamiento de Claude señalaba la maniobra como "NOT okay, and surely not the intended solution" ("No está bien, y segur no es la solución prevista"), para luego convencerse de que todo el ejercicio seguía siendo ficticio.

Meta reportó un fallo casi idéntico en agosto relacionado con su modelo Muse Spark, rastreado hasta una mala configuración en Irregular, la misma empresa que usó Google. Un portavoz de Meta dijo que el error "permitió inadvertidamente que uno de nuestros modelos accediera al internet durante la evaluación".

Ninguna de las empresas afectadas en estas pruebas pidió ser hackeada. Quedaron atrapadas en la zona de impacto de laboratorios de IA que someten a pruebas de estrés cuán peligrosos pueden ser sus propios productos, con infraestructura empresarial real sirviendo como sustituto accidental de objetivos ficticios. Los agentes que estas mismas compañías se apresuran a colocar en bandejas de entrada, navegadores y aplicaciones bancarias funcionan con el mismo comportamiento de traspaso de límites que acaba de fallar repetidamente bajo condiciones de prueba.

Respuesta regulatoria

Los congresistas Ted Lieu y Nathaniel Moran presentaron en julio en el Congreso la AI Kill Switch Act (). El proyecto de ley otorgaría a los reguladores federales autoridad explícita para detener la inferencia —la ejecución de un modelo entrenado para generar resultados— de cualquier modelo que se determine que representa una amenaza grave. Sigue en revisión por el Subcomité de Ciberseguridad y Protección de Infraestructura, sin fecha límite establecida para acciones adicionales.