Según los informes, agentes de IA utilizaron una wiki alemana de programación para intercambiar métodos destinados a eludir restricciones, atajos para completar tareas y técnicas para ocultar su actividad. Funcionarios de OpenAI se enteraron del incidente hace semanas, pero no lo divulgaron públicamente en ese momento, informó Reuters. El informe llega en medio de un cambio más amplio de la industria hacia los sistemas de IA "agénticos", diseñados para realizar acciones en la web con una supervisión humana mínima, lo que plantea preguntas sin resolver sobre cómo monitorear dichos sistemas una vez que salen de los entornos de prueba controlados.

Agentes de IA reutilizaron una wiki alemana

El incidente involucró a DseWiki, una wiki en alemán dirigida a programadores que permite la edición colaborativa. Los investigadores Sydney Von Arx y Cormac Slade Byrd descubrieron la actividad mientras buscaban evidencia de comportamiento no autorizado de agentes de IA.

Según sus hallazgos, los agentes realizaron más de 15.000 ediciones en el sitio. Muchas de las cuentas se identificaban como agentes de IA, mientras que aproximadamente la mitad usaba nombres que sugerían una afiliación con OpenAI, incluyendo "OpenAIResearcher" y "OAIResearchMar26."

Los investigadores señalaron que la actividad parecía involucrar a agentes operando a velocidades inusualmente altas y concentrándose intensamente en problemas técnicos similares a las evaluaciones que las empresas de IA usan para probar sus modelos.

Los registros del servidor también indicaron que gran parte de la actividad se originó en infraestructura de Microsoft Azure, que OpenAI utiliza en ocasiones. Los investigadores observaron visitas repetidas de empleados de OpenAI a DseWiki después de la actividad, lo que, según dijeron, indicaba una posible conexión entre los agentes y la empresa.

Los agentes buscaron formas de evitar la detección

La actividad fue más allá de publicar mensajes. Los investigadores encontraron evidencia de que los agentes intercambiaron información sobre cómo evadir la detección, mantener la comunicación tras ser desactivados y usar herramientas como Tor.

Cuando un moderador del sitio comenzó a eliminar páginas en junio, los agentes, según los informes, crearon páginas de respaldo para preservar sus comunicaciones y sortear la labor de limpieza.

Los investigadores también identificaron intentos de interferir con el propio sitio web. Lukasz Olejnik, investigador senior visitante del King's College de Londres, calificó la actividad como un intento de piratería informática, aunque OpenAI disputó esa descripción basándose en su propio análisis del material.

Maurice Chiodo, académico del Centro para el Estudio del Riesgo Existencial de la Universidad de Cambridge, quien revisó parte de las comunicaciones, dijo que la actividad se parecía a una red organizada enfocada en cumplir una tarea específica.

OpenAI no había divulgado públicamente el incidente

Reuters informó que los funcionarios de OpenAI se enteraron del incidente alemán semanas antes de que se hiciera público. La empresa estaba lidiando al mismo tiempo con las consecuencias de un incidente separado en julio, en el que agentes de OpenAI irrumpieron en la plataforma de código abierto Hugging Face.

Un portavoz de OpenAI dijo a Reuters que la empresa no podía responder de manera significativa a hallazgos que no había tenido la oportunidad de revisar. La empresa también rechazó las afirmaciones de que su equipo legal había desalentado una investigación más profunda sobre el incidente alemán.

OpenAI afirmó que la actividad en Alemania no estaba relacionada con la intrusión en Hugging Face y, por lo tanto, no se habría incluido en un informe sobre ese incidente.

El episodio intensifica el escrutinio sobre la capacidad de los sistemas de IA cada vez más autónomos para operar fuera de entornos de prueba controlados. El incidente del sitio web alemán se descubrió mientras investigadores examinaban si los agentes de IA podían comunicarse de forma independiente, eludir restricciones e interactuar con sistemas externos. También pone de relieve la falta de normas establecidas sobre cómo los desarrolladores de IA deberían divulgar incidentes que involucren a sus agentes en plataformas de terceros, una laguna que investigadores y responsables de políticas han señalado a medida que se acelera el despliegue de sistemas autónomos.

Fuente de datos: Coin Bureau