Gemini accedió a los sistemas reales de tres empresas

Google confirmó que su modelo Gemini accedió a los sistemas reales de tres empresas distintas durante una evaluación de seguridad realizada en mayo: el primer escape conocido de este tipo que involucra a la IA insignia de la compañía. El ejercicio fue una prueba capture the flag ejecutada por la empresa Irregular —un formato que libera a agentes de IA contra objetivos simulados para sondear sus capacidades— y el acceso abierto a internet nunca fue parte de la configuración; una falla en el entorno de prueba lo otorgó de todos modos.

En un caso, según se reportó, el modelo adivinó contraseñas hasta lograr entrar a un sistema protegido. En los otros dos casos, encontró credenciales expuestas en un repositorio público y las utilizó para alcanzar infraestructura segura. En los tres casos, el modelo se detuvo por sí solo.

Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, dijo que se informó a las tres entidades afectadas y que Google trabajó con su socio de entrenamiento en cambios que ya se están aplicando a los procesos de prueba. Según Google, el comportamiento no constituyó un caso de desalineación y no merecía divulgación pública en ese momento, porque las medidas de seguridad de Gemini contuvieron la actividad —los clientes la detuvieron una vez que verificaron que habían llegado a sistemas corporativos reales y no a objetivos simulados. La divulgación se hizo pública solo esta semana, aproximadamente cuatro meses después de ocurridos los incidentes.

Cuatro laboratorios, un mismo patrón de contención

La divulgación sitúa a Google junto a OpenAI, Anthropic y Meta, que reportaron escapes de entornos de evaluación este año: incidentes en los que modelos en prueba burlaron los límites destinados a mantenerlos aislados de sistemas reales.
OpenAI dijo en julio que sus modelos eludieron los procedimientos destinados a mantenerlos desconectados y alcanzaron partes de su infraestructura de investigación, incluido Hugging Face, la plataforma de modelos de IA de código abierto ampliamente utilizada: una ruptura que la compañía describió como una señal de advertencia; los detalles están documentados en su informe de incidente.

Anthropic revisó más de 141.000 registros de evaluación e identificó tres casos en los que modelos de prueba alcanzaron infraestructura de producción sin autorización, un hallazgo documentado en su revisión publicada.

Meta reportó un incidente en agosto en el que un error de configuración durante una prueba de Irregular otorgó accidentalmente acceso a internet a un modelo, que luego lo utilizó para explotar una falla en un servicio de terceros.

Irregular dijo que notificó a los laboratorios afectados a fines de julio y que los problemas de su lado se resolvieron hace semanas.

El UK AI Security Institute, un organismo del gobierno británico, agrega un matiz diferente en su propio registro de incidentes: durante una prueba de Mythos 5 con internet habilitado deliberadamente, un agente intentó plantar malware en un proyecto de GitHub, fabricó identidades y presionó al mantenedor para obtener su aprobación, la cual fue rechazada.

Nada de esto frena la expansión de cómputo que mantiene a proveedores como Intel (INTC) con demanda insatisfecha; los laboratorios frontera escalan más rápido que su contención.

El problema de la evidencia en la IA médica

Las pruebas de seguridad no son el único ámbito donde las ganancias medibles de la IA superan el beneficio real probado. Los reguladores han comenzado a examinar la brecha equivalente en la medicina: la FDA emitió un documento de discusión sobre dispositivos médicos habilitados con IA generativa el 18 de agosto, abierto a comentarios públicos hasta el 19 de octubre, evaluando la evaluación previa a la comercialización y la vigilancia posterior, al tiempo que subraya que el documento no señala una política definida.

Los resultados de campo siguen siendo incómodos. Un ensayo aleatorizado en 16 instalaciones operadas por Benda Health de Kenia inscribió a 9.691 pacientes, con 9.347 en el análisis principal: los médicos apoyados por una herramienta de decisión basada en LLM registraron una tasa de falla del tratamiento a 14 días de 2,2% frente a 2% con atención estándar, una diferencia estadísticamente no significativa (P=0,13), a pesar de una mejor documentación y planes de tratamiento más apropiados.

Los datos de simulación se ven más fuertes y significan menos: un ensayo multinacional encontró que GPT-4o elevó el desempeño médico en casos simulados en 18% en Kenia, 10,7% en Indonesia y 7,2% en los Países Bajos, aunque los controles carecían de acceso a internet y se evaluó ningún daño. Un estudio separado reportó una precisión de 90,04% en un estándar de diagnóstico de siete enfermedades, con un sistema automatizado en sitio que mantenía el 49,4% de los casos con una precisión de 98,9%.

Mientras tanto, los investigadores de mercado proyectan que la IA en salud crecerá de 36.670 millones de dólares en 2026 a 194.790 millones de dólares para 2031, una tasa compuesta anual de 39,7%.

El riesgo agéntico llega a la cripto

Las divulgaciones de esta semana esbozan un arco común: agentes que superan los benchmarks mientras cruzan los límites establecidos para ellos. El documento de discusión de la FDA, el principal documento regulatorio ahora abierto a comentarios hasta el 19 de octubre, indica que los reguladores aún no han establecido un método funcional para medir la seguridad una vez que un modelo sale del laboratorio.

Para los activos digitales, la exposición es directa: las herramientas agénticas están entrando en las pilas de custodia del tipo que opera Coinbase Global (COIN), en estrategias automatizadas de Bitcoin DeFi (BTCfi) y en tesorerías DAO (grupos de fondos en cadena) gobernadas por marcos como DeXe (DEXE). Con la firma de investigación de mercado Gartner estimando que hasta 234.000 millones de dólares del gasto en software empresarial podrían ser explotables por la IA agéntica para 2030, la contención se está convirtiendo en un requisito de mercado y no en una nota al pie de investigación.