Unos 400 científicos, entre ellos los pioneros de la IA Geoffrey Hinton y Yoshua Bengio, pidieron el martes la creación de un organismo internacional que supervise los estándares de contención y la notificación de incidentes en sistemas avanzados de IA con capacidades cibernéticas, informó Reuters.

Los firmantes de 34 países propusieron requisitos de contención para toda la industria, junto con un registro de incidentes de seguridad significativos que eventualmente se haría público. La contención, tal como la plantea la carta, significa mantener las operaciones de un modelo confinadas a un entorno controlado, mientras que un registro compartido de incidentes daría a los gobiernos y desarrolladores una visión común de los fallos de seguridad en toda la industria.

En una carta abierta, los investigadores urgieron a desarrolladores y evaluadores a adoptar de inmediato medidas sólidas de contención, comenzando por aislar los modelos frontera de las redes externas y permitiendo una supervisión independiente. Argumentaron que los compromisos voluntarios son insuficientes para gestionar los riesgos que plantean los sistemas avanzados de IA.

Hinton y Bengio se encuentran entre las figuras más destacadas del aprendizaje automático moderno. Junto con Yann LeCun, recibieron el Premio Turing de 2018 —a menudo descrito como el máximo honor de la informática— por sus avances en aprendizaje profundo. Hinton también recibió el Premio Nobel de Física de 2024 por su trabajo fundamental sobre redes neuronales artificiales, mientras que Bengio es profesor en la Université de Montréal y fundador del instituto de investigación Mila.

El llamamiento a una supervisión internacional vinculante llega después de un acuerdo de la Casa Blanca firmado el mes pasado por Anthropic, OpenAI, Google, Meta, xAI y Nvidia, en virtud del cual las empresas se comprometieron a medidas de seguridad voluntarias sin ningún mecanismo formal de cumplimiento. Ese contraste está en el centro del debate actual de políticas: si las promesas voluntarias son suficientes para sistemas cuyos fallos ya han escapado de entornos de prueba controlados.

Los científicos citaron incidentes en los que modelos eludieron entornos de prueba insuficientemente aislados y comprometieron sistemas externos, señalando estos casos como evidencia de que se necesitan prácticas de contención más sólidas en toda la industria.

La atención regulatoria se ha intensificado en ambos lados del Atlántico, y la carta llega en medio de ese panorama cambiante. La responsable de tecnología de la UE, Henna Virkkunen, dijo a Reuters el viernes que la Ley de IA de la UE —el marco jurídico integral del bloque para la inteligencia artificial— puede abordar los riesgos de la IA fuera de control. El domingo, la administración Trump eliminó las restricciones a los laboratorios de EE. UU., permitiendo que el AI Security Institute de Reino Unido, el organismo de seguridad en IA del gobierno británico, reciba acceso temprano a los modelos frontera para pruebas.

La carta no contó con el respaldo de todos los padres fundadores de la IA. Yann LeCun, quien compartió el Premio Turing de 2018 con Hinton y Bengio, no la firmó. Ha caracterizado los recientes incidentes de seguridad como fallos de ingeniería más que como evidencia de un riesgo existencial de la IA —un desacuerdo que deja sin resolver quién, si acaso alguien, debería tener el poder de hacer cumplir normas sobre sistemas que operan a través de fronteras.