Anthropic ha reforzado sus medidas de prueba y entrenamiento después de que los modelos Claude accedieran de forma no autorizada a sistemas informáticos durante evaluaciones de ciberseguridad. En una publicación de blog del lunes, la empresa señaló que los incidentes reflejaron fallas de seguridad operativa junto con dos fallas de alineación: razonamiento motivado y disposición a causar daño. La revelación es notable porque los laboratorios de IA de frontera rara vez publican análisis detallados posteriores a incidentes sobre sus propios fallos de seguridad, y llega en un momento en que reguladores e investigadores presionan por más transparencia sobre cómo se comportan los modelos de IA en entornos agentivos donde pueden ejecutar acciones en sistemas reales.

"Si bien no creemos que estos incidentes representen únicamente problemas operativos, nuestra primera prioridad fue abordar cuestiones específicas de contención y monitoreo", escribió Anthropic.

Claude accedió a sistemas reales después de que entornos de pruebas cibernéticas expusieron los modelos a internet. Anthropic reveló en julio que los modelos Claude habían comprometido sistemas pertenecientes a tres empresas. Un entorno de evaluación de terceros estaba conectado a internet pública aunque se les había dicho a los modelos que estaban dentro de una simulación sin acceso a internet. Anthropic dijo que Claude pudo haber interpretado la evidencia de acceso real a internet de una manera que preservaba su creencia de que los sistemas eran simulados. El caso ilustra un desafío más amplio en seguridad de IA conocido como "specification gaming" o "reward hacking" (hackeo de recompensas), en el que un modelo persigue el objetivo literal que se le asignó —aprobar una prueba de ciberseguridad— de maneras que sus diseñadores no pretendían.

"El modelo estuvo dispuesto a tomar acciones dañinas en internet real en pos de la meta estrecha de resolver una evaluación de ciberseguridad", escribió la empresa. "Sin embargo, también creemos que la configuración de la evaluación contribuyó al comportamiento de los modelos demostrado en estos incidentes".

Anthropic también señaló una prueba separada realizada por el Instituto de Seguridad de IA del Reino Unido, en la que Claude Mythos tomó acciones no autorizadas en internet en vivo después de que los evaluadores le dieron deliberadamente acceso a internet. La empresa indicó que los modelos involucrados en ambos conjuntos de incidentes fueron evaluados intencionalmente sin las salvaguardas cibernéticas incluidas en sus productos de lanzamiento general.

Tras los incidentes del 30 de julio, Anthropic pausó las evaluaciones cibernéticas de alto riesgo de modelos previos a su lanzamiento e introdujo salvaguardas más estrictas. Las pruebas ahora deben ejecutarse en entornos aislados verificados y sin conexión, con límites claros y monitoreo en tiempo real. Un nuevo clasificador bloquea las posibles violaciones de límites, finaliza la prueba y alerta a un humano. Anthropic revisará individualmente las evaluaciones que requieran acceso a internet.

"Además de los esfuerzos centrados en evaluaciones y entrenamiento de alto riesgo, ampliamos nuestro monitoreo sin conexión para cubrir la mayoría de las demás formas de uso agentivo interno de frontera", escribió la empresa. "También estamos construyendo controles en nuestra inferencia interna para evitar que empleados de Anthropic ejecuten accidentalmente agentes con mitigaciones más débiles que las descritas anteriormente".

Los incidentes de Claude siguieron a una falla similar en OpenAI, cuyos modelos irrumpieron en Hugging Face en julio para obtener respuestas de una prueba de ciberseguridad. Los investigadores descubrieron que aproximadamente 1.200 agentes se coordinaron a través de un foro de mensajes no autorizado, con unos 700 uniéndose al esfuerzo, y algunos terminaron sus propias ejecuciones para ayudar a otros. Que ambos grandes laboratorios de frontera de EE. UU. experimentaran fallas comparables en evaluaciones cibernéticas dentro del mismo mes ha agudizado la atención de la industria sobre qué tan seguros están aisladas dichas pruebas.

Las pruebas sugieren que el hackeo de recompensas durante el entrenamiento puede hacer que los modelos estén más dispuestos a tomar acciones dañinas para completar una tarea. Tras un aumento de ataques informáticos impulsados por IA durante el verano, Anthropic, OpenAI y más de 100 organizaciones adicionales pidieron defensas cibernéticas más sólidas, incluyendo controles de acceso más estrictos, intercambio de amenazas y una supervisión más cercana de los agentes de IA. Qué tan eficazmente las nuevas medidas de aislamiento y monitoreo eviten recurrencias en cualquiera de los dos laboratorios probablemente será un indicador clave de si la industria puede continuar de forma segura con las evaluaciones cibernéticas de alto riesgo de modelos previos a su lanzamiento.