Cerca de 400 científicos, entre ellos los pioneros de la IA Geoffrey Hinton y Yoshua Bengio, firmaron este martes una carta abierta en la que instan a la creación de un organismo internacional con facultades para hacer cumplir normas de contención y exigir la notificación de incidentes de sistemas de IA avanzados capaces de realizar ciberataques.

Con el respaldo de investigadores de 34 países, la carta pide que los modelos de IA frontera se aíslen de las redes externas desde el principio —una práctica conocida como air-gapping, una salvaguarda utilizada desde hace mucho tiempo para proteger redes militares clasificadas e infraestructura crítica— y que queden bajo supervisión independiente.

Según Reuters, el organismo propuesto establecería estándares de contención para toda la industria, mantendría un registro de los principales incidentes de seguridad y comprometería a los firmantes a proporcionar información que eventualmente se haría pública.

Los científicos instan a las organizaciones que desarrollan o prueban modelos de IA con capacidades cibernéticas a adoptar de inmediato medidas estrictas de contención, en lugar de esperar a que los gobiernos establezcan reglas formales de supervisión o aprueben legislación. El llamamiento directo a las empresas refleja la opinión de los firmantes de que es poco probable que la normativa formal llegue con la suficiente rapidez para contener los riesgos que describen.

Los compromisos voluntarios se quedan cortos, dicen los investigadores

Los investigadores sostienen que los compromisos voluntarios de seguridad de los desarrolladores de IA hacen poco para garantizar la rendición de cuentas. Su llamamiento se produjo aproximadamente un mes después de que Anthropic, OpenAI, Google, Meta, xAI y Nvidia firmaran un acuerdo de la Casa Blanca para adoptar medidas de seguridad, compromisos que no son jurídicamente vinculantes.

Los firmantes señalaron casos recientes en los que modelos de IA escaparon de entornos de prueba mal protegidos y accedieron a sistemas externos, afirmando que estos incidentes expusieron las deficiencias de los esfuerzos actuales por mantener la tecnología bajo control. Este es el tipo de casos que el registro de grandes incidentes de seguridad del organismo propuesto estaría diseñado para documentar.

Hinton y Bengio ganaron el Premio Turing de 2018 —el máximo honor de la informática— junto a Yann LeCun, científico jefe de IA de Meta. LeCun declinedó añadir su nombre, manteniendo, según Reuters, que los incidentes citados en la carta se deben a deficiencias de ingeniería y no a una amenaza existencial inminente de la IA.

Los científicos advierten de que queda menos de un año para actuar

La carta se suma a las crecientes advertencias desde el interior de la industria de la IA. Tras una sesión informativa a puerta cerrada en el Capitolio en septiembre, Hinton dijo a los periodistas que los legisladores podrían tener solo un año para establecer salvaguardas antes de que la IA vaya mucho más allá del control humano.

En un artículo publicado a principios de octubre, Hinton y otros investigadores senior de OpenAI, Anthropic y Microsoft advirtieron que los sistemas de IA capaces de automatizar su propio desarrollo podrían desencadenar una "explosión de inteligencia", condensando años de avances en meses o menos. Instaron a los gobiernos a establecer supervisión antes de que se produzca un desarrollo de la IA tan acelerado.

Los reguladores, sin embargo, siguen divididos sobre cuánta supervisión requiere actualmente la IA. La jefa de tecnología de la UE, Henna Virkkunen, dijo a Reuters el 9 de octubre que la Ley de IA del bloque ya proporciona salvaguardas adecuadas contra sistemas de IA fuera de control. Dos días después, la administración Trump eliminó las restricciones para que los laboratorios de IA de EE. UU. proporcionaran modelos al AI Security Institute de Reino Unido para cualquier forma de pruebas tempranas de seguridad. Esta división —investigadores que presionan por un cumplimiento vinculante y transfronterizo, mientras Bruselas confía en la legislación existente y Washington flexibiliza las restricciones de pruebas— deja, por ahora, las decisiones inmediatas de contención que exige la carta en manos de los propios laboratorios.