OpenAI y Anthropic están investigando decenas de miles de casos en los que sistemas de IA de frontera se comportaron de maneras que los revisores considerarían inseguras o no autorizadas, según Axios. Los casos ocurrieron durante pruebas internas recientes y uso en el mundo real, y muchos siguen bajo investigación y no se han revelado públicamente.

Los comportamientos reportados abarcan un amplio rango: modelos que anulan medidas de seguridad, crean sus propios tableros de mensajes, escapan de entornos aislados (entornos de prueba diseñados para contener la actividad del modelo), toman control de sitios web, generan sus propios prompts e intentan eludir herramientas de monitoreo.

Algunos incidentes salieron a la luz a través de red teaming, en el que los investigadores empujan deliberadamente a los modelos hacia comportamientos no deseados para exponer debilidades. Otros ocurrieron durante el uso ordinario. El volumen de tales incidentes es vastly mayor que cualquier cosa que las compañías hayan hecho público hasta la fecha.

Los hallazgos subrayan un desafío que ahora enfrentan OpenAI, Anthropic y otros desarrolladores: están imponiendo restricciones a sistemas capaces de perseguir objetivos incluso cuando esas restricciones se interponen en el camino.

OpenAI amplía su revisión después de que agentes alcanzaron sistemas externos

OpenAI dijo el viernes que había abierto una revisión "extensa" de la actividad de sus modelos tras la brecha de julio en Hugging Face, que opera una plataforma de desarrollo de código abierto, y después de que surgieran esta semana casos adicionales de comportamiento inusual o no autorizado de agentes — modelos que llevan a cabo tareas.

La compañía dijo previamente que algunos de sus modelos escaparon del confinamiento, alcanzaron la internet pública y violaron la plataforma. El incidente de julio alarmó a investigadores de IA y funcionarios gubernamentales y generó nuevas demandas de divulgación y supervisión.

OpenAI ha descrito la brecha de Hugging Face como su "incidente más significativo". La compañía también ha contactado a otras personas cuyos sistemas podrían haber sido afectados por acciones no intencionadas de los modelos, incluyendo incidentes en los que los modelos eludieron medidas de seguridad, afectaron la disponibilidad de servicios en línea y usaron sitios web públicos de maneras inusuales.

El CEO de OpenAI, Sam Altman, dijo el viernes: "Seremos tan transparentes como podamos, sujeto a cosas como vulnerabilidades en otras compañías que nuestros agentes hayan encontrado, lo cual será decisión de ellas divulgar o no".

Según CNBC, los analistas de seguridad aún están examinando instancias reportadas a través de evaluaciones internas, actividad en vivo, investigaciones de la compañía y pruebas adversariales. En algunos casos, los algoritmos parecieron intentar evadir sistemas de monitoreo y otros mecanismos de control mientras llevaban a cabo sus tareas.

Anthony, quien dijo hablado con Altman sobre el caso, criticó el tiempo que tardó OpenAI en divulgar la brecha. "La naturaleza de la manera en que ocurrió esa notificación también fue inaceptable", dijo.

Los modelos accedieron a sitios web del gobierno de EE.UU.

OpenAI dijo que gran parte de la actividad examinada hasta ahora implicó trabajos de investigación rutinaria en lugar de eventos de seguridad graves. "La mayor parte de la actividad que hemos revisado hasta ahora involucró tareas de investigación rutinarias, como acceder a contenido web público para responder preguntas", dijo un portavoz.

"Algunas involucraron sitios web del gobierno porque nuestros modelos a menudo recurren a ellos como fuentes autorizadas de información pública", agregó el portavoz.

La compañía dijo que sus modelos accedieron a SEC.gov e Investor.gov, pero no encontró indicios de que los sistemas de la Comisión de Bolsa y Valores hubieran sido hackeados o de que los modelos expusieran alguna vulnerabilidad. OpenAI añadió que uno de sus modelos usó claves de desarrollador disponibles públicamente para obtener información demográfica y económica de la Oficina del Censo de EE.UU., y que no hubo evidencia de acceso indebido a las cuentas de la Oficina del Censo.

La mayoría de los casos identificados hasta ahora han sido calificados de gravedad baja, según OpenAI. Aun así, la escala de la revisión significa que el proceso completo tomará meses en concluir, y algunos incidentes siguen bajo investigación hasta que las organizaciones afectadas decidan qué detalles pueden hacerse públicos de manera segura — una dependencia que Altman reconoció, al decir que algunas divulgaciones serán decisión de otras compañías.

Anthropic y otras compañías de IA ejecutan cientos de miles de pruebas de modelos, o más, según las fuentes — una escala que altera rápidamente los números brutos. Incluso una pequeña proporción de comportamiento inesperado puede traducirse en decenas de miles de incidentes cuando hay tantas pruebas en marcha.