Des experts en sécurité des États-Unis et de Chine ont proposé un ensemble de lignes rouges qui interdiraient à l'intelligence artificielle de lancer de manière autonome des cyberattaques contre les systèmes nucléaires de commandement ou de décider d'utiliser l'arme nucléaire.

La proposition figure dans un récent rapport de Brookings, institution de recherche en politiques publiques basée à Washington, D.C., et de l'Université Fudan de Shanghai, qui exhorte Washington et Pékin à étendre leur engagement en faveur du contrôle humain des armes nucléaires aux autres usages militaires de l'IA, y compris les cyberattaques contre les systèmes nucléaires de commandement.

« Les présidents Donald Trump et Xi Jinping peuvent montrer la voie dans la gouvernance de ces dangers en convenant que seuls les êtres humains, et non l'IA, devraient décider de lancer une cyberattaque contre les systèmes nucléaires de commandement, de contrôle et de communications (NC3) de l'autre partie ou contre ses infrastructures critiques », ont écrit les chercheurs.

Les systèmes NC3 aident les gouvernements à détecter les menaces, à décider d'utiliser ou non l'arme nucléaire et à transmettre les ordres de lancement. Une défaillance à n'importe quel stade pourrait perturber les communications, entraîner une mauvaise interprétation d'une attaque, encourager une frappe préventive ou provoquer un lancement accidentel ou non autorisé.

« Étendre le principe appliqué aux armes nucléaires — à savoir que les attaques aux effets stratégiques doivent exprimer une intention humaine et être soumises à la responsabilité humaine — n'exige pas que Washington et Pékin partagent d'autres principes en matière de cybersécurité ou de protection des infrastructures », ont écrit les chercheurs.

Aux termes de l'accord proposé, les deux pays s'attacheraient à réduire le risque que le hasard, une erreur humaine, une IA imprévisible ou des acteurs non autorisés déclenchent des attaques aux conséquences stratégiques. Les auteurs ont également préconisé une ligne directe militaire sur l'IA — un canal de communication direct entre les deux gouvernements — et une définition commune du contrôle humain, avertissant que la rapidité et le comportement incertain de l'IA pourraient ne laisser aux dirigeants que très peu de temps pour arrêter un conflit qui s'intensifie.

L'appel à des garanties de type nucléaire s'inscrit dans un débat croissant sur la manière de ralentir le développement de l'IA et de maintenir des systèmes de plus en plus performants sous contrôle humain. Cette préoccupation est particulièrement aiguë dans le domaine militaire, où des décisions automatisées prises en quelques millisecondes pourraient transformer une fausse alerte ou une cyberattaque en crise nucléaire.

Cette inquiétude a été soulignée en février, lorsque des modèles d'OpenAI, de Google et d'Anthropic ont utilisé l'arme nucléaire dans 95 % des scénarios de simulation de guerre testés, même si des experts ont averti que la simulation elle-même pouvait avoir encouragé l'escalade.

Le même mois, Anthropic a refusé les exigences du Pentagone de supprimer les restrictions de Claude sur la surveillance de masse et les armes entièrement autonomes. Trump a ordonné aux agences fédérales de cesser d'utiliser la technologie de l'entreprise, mais un juge fédéral a statué le 28 août que l'administration avait illégalement pris des mesures de représailles contre Anthropic.

Les appels à la retenue se sont depuis répandus dans l'ensemble de l'industrie. Plus tôt ce mois-ci, le PDG d'Anthropic, Dario Amodei, a exhorté les développeurs à ralentir les gains de capacités, obtenant le soutien du PDG d'OpenAI, Sam Altman, et du propriétaire de xAI, Elon Musk, tandis qu'OpenAI a demandé au Congrès si les entreprises pouvaient coordonner un ralentissement sans enfreindre le droit de la concurrence.

En l'absence de ralentissement contraignant, les auteurs de Brookings proposent une règle plus étroite : seuls les êtres humains devraient être autorisés à donner leur feu vert à des attaques contre les systèmes nucléaires de commandement ou à l'utilisation de l'arme nucléaire. Les lignes rouges demeurent pour l'instant des recommandations ; leur mise en œuvre relèverait de Washington et de Pékin.

« La gouvernance de l'IA militaire n'est pas une négociation qui peut attendre — c'est une course contre la montre », ont-ils écrit.