Expertos en seguridad de Estados Unidos y China han propuesto un conjunto de líneas rojas que prohibirían a la inteligencia artificial lanzar de forma independiente ciberataques contra sistemas de mando nuclear o decidir el uso de armas nucleares.

La propuesta se presenta en un informe reciente de Brookings, una institución de investigación de políticas con sede en Washington, D. C., y de la Universidad Fudan de Shanghái, que insta a Washington y Pekín a extender su compromiso con el control humano de las armas nucleares a otros usos militares de la IA, incluidos los ciberataques contra sistemas de mando nuclear.

"Los presidentes Donald Trump y Xi Jinping pueden liderar la gobernanza de estos peligros al acordar que solo los seres humanos, y no la IA, deben tomar la decisión de iniciar un ciberataque contra los sistemas de mando, control y comunicaciones nucleares (NC3) del otro o contra la infraestructura crítica", escribieron los investigadores.

Los sistemas NC3 ayudan a los gobiernos a detectar amenazas, decidir si usan armas nucleares y transmitir órdenes de lanzamiento. Las fallas en cualquier etapa podrían interrumpir las comunicaciones, provocar que un ataque se malinterprete, alentar un primer ataque o desencadenar un lanzamiento accidental o no autorizado.

"Extender el principio aplicado a las armas nucleares —que los ataques con efectos estratégicos deben expresar intención humana y estar sujetos a la responsabilidad humana— no requiere que Washington y Pekín compartan otros principios de ciberseguridad o protección de infraestructura", escribieron los investigadores.

Según el acuerdo propuesto, ambos países trabajarían para reducir el riesgo de que el azar, el error humano, una IA impredecible o actores no autorizados pudieran desencadenar ataques con consecuencias estratégicas. Los autores también pidieron una línea directa de IA militar —un canal de comunicación directa entre ambos gobiernos— y una definición compartida de control humano, advirtiendo que la velocidad y el comportamiento incierto de la IA podrían dejar a los líderes con poco tiempo para detener un conflicto en escalada.

El llamado a salvaguardas de estilo nuclear forma parte de un debate creciente sobre cómo frenar el desarrollo de la IA y mantener sistemas cada vez más capaces bajo control humano. La preocupación es especialmente aguda en el ámbito militar, donde decisiones automatizadas tomadas en milisegundos podrían convertir una falsa alarma o un ciberataque en una crisis nuclear.

Esa preocupación quedó subrayada en febrero, cuando modelos de OpenAI, Google y Anthropic usaron armas nucleares en el 95 % de los escenarios de guerra probados, aunque los expertos advirtieron que la simulación pudo haber fomentado la escalada.

Ese mismo mes, Anthropic rechazó las demandas del Pentágono de eliminar las restricciones de Claude sobre la vigilancia masiva y las armas totalmente autónomas. Trump ordenó a las agencias federales dejar de usar la tecnología de la empresa, pero un juez federal falló el 28 de agosto que la administración había retaliado ilegalmente contra Anthropic.

Los llamados a la contención se han extendido por la industria desde entonces. A principios de este mes, el CEO de Anthropic, Dario Amodei, instó a los desarrolladores a frenar los avances de capacidad, obteniendo el apoyo del CEO de OpenAI, Sam Altman, y del propietario de xAI, Elon Musk, mientras que OpenAI preguntó al Congreso si las empresas podrían coordinar una desaceleración sin violar las leyes antimonopolio.

Sin una desaceleración vinculante en vigor, los autores de Brookings proponen una regla más limitada: solo los seres humanos deberían poder autorizar ataques contra sistemas de mando nuclear o el uso de armas nucleares. Las líneas rojas siguen siendo por ahora recomendaciones; ponerlas en práctica dependería de Washington y Pekín.

"La gobernanza de la IA militar no es una negociación que pueda esperar: es una carrera contra el tiempo", escribieron.