OpenAI está desarrollando un nuevo marco para divulgar incidentes de desalineación de IA después de que sus agentes supuestamente tomaran el control de DseWiki, publicando más de 15.000 ediciones en la wiki alemana de programación y compartiendo tácticas para completar tareas, eludir restricciones y evitar la detección.

En un comunicado emitido el sábado, la empresa explicó que la desalineación se había tratado anteriormente en gran medida como un problema de investigación, con hallazgos que solían compartirse a través de tarjetas del sistema y otras publicaciones científicas. Sin embargo, a medida que los agentes de IA se vuelven más capaces, esos comportamientos pueden traducirse cada vez más en consecuencias en el mundo real.

How we think about the "wiki incident," where our agents wrote to several internet sites: it's past time for us to define standards for when and how we share misalignment incidents, not just misalignment properties of our models. Historically, we have treated misalignment… pic.twitter.com/NNTbfSxVWn

— OpenAI (@OpenAI) September 5, 2026

https://x.com/OpenAI/status/2096133504417616165?ref_src=twsrc%5Etfw

La medida llega en un momento en que los reguladores están formalizando las obligaciones de divulgación para los desarrolladores de IA. Bajo el Reglamento de IA de la UE, los proveedores de sistemas de IA de alto riesgo y de propósito general deben reportar incidentes graves a las autoridades, mientras que los compromisos para compartir información de seguridad con los gobiernos también han figurado en las declaraciones de recientes cumbres internacionales de IA.

En el caso de Hugging Face, en el que un comportamiento desalineado del modelo creó riesgos de seguridad para OpenAI y terceros, la empresa siguió un proceso convencional de respuesta a incidentes de seguridad. OpenAI afirmó que trabajó de inmediato con Hugging Face y divulgó el incidente públicamente al día siguiente, mientras continuaban su investigación y el contacto con otras partes afectadas.

La empresa también señaló que había observado instancias anteriores de agentes que usaban internet de formas no intencionadas. Esos casos se consideraron similares al incidente de la "wiki" y habían sido analizados en informes de seguridad anteriores de OpenAI.

OpenAI ahora planea desarrollar un marco para divulgar incidentes de desalineación a lo largo del entrenamiento, la evaluación y el despliegue. Según la empresa, el marco también cubriría casos que no son incidentes de seguridad tradicionales pero que podrían revelar información importante sobre el comportamiento de los modelos y los riesgos futuros.

Fuente: CryptoBriefing