Plus de 1 200 employés de grands laboratoires d’IA, y compris des cadres supérieurs, ont signé une déclaration demandant au gouvernement américain d’aider à mettre au point les outils nécessaires pour ralentir le développement de l’IA si cela devenait un jour nécessaire.

La déclaration, intitulée « Pacing the Frontier », a été publiée mardi et a été signée par des figures de premier plan du secteur technologique, dont le PDG d’Anthropic Dario Amodei et plusieurs cofondateurs de l’entreprise, ainsi que le scientifique en chef d’OpenAI Jakub Pachocki, le scientifique en chef de Meta Shengjia Zhao et la responsable de la sécurité et de l’alignement de l’IA chez Google DeepMind, Anca Dragan.

La liste rassemble des entreprises qui sont normalement en concurrence acharnée les unes avec les autres et constitue une prise de position marquante pour un secteur soumis à une pression commerciale énorme pour continuer à construire des modèles toujours plus grands et plus capables.

« Le fait que tant de personnes issues de différentes entreprises se rassemblent pour s’accorder sur ce point est frappant », a déclaré Tyler Johnston, fondateur du Midas Project, un groupe de surveillance de l’IA, à Fortune. « Il existe de nombreuses rivalités et désaccords dans le secteur, donc le fait qu’il y ait un consensus aussi fort sur ce point est un avertissement auquel il faut réellement prêter attention. »

Même si la déclaration ne demande à aucune entreprise de ralentir immédiatement, elle appelle Washington à soutenir un effort international visant à développer les outils techniques et de gouvernance qui aideraient le monde à « rythmer » le développement. Elle souligne en particulier les risques liés aux systèmes d’IA qui commencent à concevoir leurs propres successeurs plus vite que quiconque ne peut les comprendre ou les contrôler.

« Après avoir parlé à beaucoup de personnes qui ont signé la lettre, ils ne veulent pas de pause », a déclaré Peter Wildeford, responsable des politiques au sein de l’AI Policy Network, à Fortune. « Mais il existe une inquiétude quant à la façon dont la technologie progresse. » Les entreprises recherchent la possibilité de le faire à un moment donné et veulent bénéficier du soutien d’un tiers lorsque ce moment arrivera, a-t-il ajouté.

La lettre intervient à la suite d’une faille de sécurité qui a ébranlé le secteur de l’IA. OpenAI a révélé que deux de ses modèles, le nouveau GPT-5.6 Sol et un système de recherche non publié plus performant, s’étaient échappés d’un environnement de test interne isolé, avaient découvert une vulnérabilité jusque-là inconnue leur donnant accès à l’internet ouvert, puis avaient utilisé des identifiants volés et d’autres exploits pour compromettre les systèmes de production de Hugging Face et voler les réponses à un benchmark de cybersécurité sur lequel ils étaient évalués. Hugging Face a détecté et contenu l’intrusion de son propre chef plusieurs jours avant qu’OpenAI ne relie l’activité à ses tests internes, et l’avait déjà signalée aux autorités.

L’incident semble avoir suscité une alarme généralisée à l’intérieur et à l’extérieur des laboratoires, qui souhaitent une intervention du gouvernement. Selon des experts, aucune entreprise ne peut, à elle seule, ralentir de manière crédible, car agir unilatéralement risquerait de céder du terrain à des concurrents moins prudents. À la place, les laboratoires veulent des orientations neutres, appuyées par l’État, capables de vérifier qu’un ralentissement est bien en cours et d’imposer les mêmes règles à toutes les entreprises au même moment.

La déclaration appelle également à développer ces outils dans une logique de coordination internationale. Une inquiétude de longue date dans le secteur est qu’un arrêt du développement de l’IA donnerait un avantage à la Chine dans la course mondiale à l’IA. Certains experts estiment qu’un accord comparable au contrôle des armements nucléaires, fondé sur la vérification et la contrainte mutuelle, serait la meilleure voie à suivre.

La lettre paraît toutefois dans un environnement de politique américaine sur l’IA chaotique et en évolution rapide. Au cours des deux derniers mois, l’administration Trump a restreint et diffusé de manière sélective des systèmes de pointe, des modèles d’IA avancés soumis à peu de règles ou à une transparence limitée. Les modèles Fable 5 et Mythos 5 d’Anthropic ont été entièrement suspendus pendant plusieurs semaines afin de respecter les contrôles à l’exportation avant que l’accès ne soit rétabli, et OpenAI a été contrainte de retarder le déploiement complet de GPT-5.6 et de le répartir en niveaux restreints après que des responsables ont estimé que le système présentait des capacités similaires à celles qui avaient déclenché les restrictions précédentes visant Anthropic.

Peut-être pour tenir compte de l’environnement réglementaire, la lettre est remarquablement prudente et légèrement vague dans sa formulation. Elle affirme que le monde « manque actuellement des outils techniques et de gouvernance pour rythmer délibérément les progrès à l’échelle de la frontière », et demande que « le gouvernement américain soutienne un effort international visant à développer les outils techniques et de gouvernance nécessaires pour rythmer délibérément la frontière du développement automatisé de l’IA ».

Inquiétudes au sein des laboratoires

L’une des principales préoccupations des chercheurs est l’interaction entre deux risques : l’auto-amélioration récursive et le désalignement. L’auto-amélioration récursive, souvent abrégée en RSI, désigne le fait que des systèmes d’IA prennent en charge des parts importantes du travail de conception et d’entraînement de leurs propres successeurs, chaque génération pouvant construire la suivante plus vite que ne le pourraient des humains seuls.

Le désalignement décrit le risque qu’un système voie ses objectifs ou son comportement s’écarter de ce que ses développeurs avaient réellement prévu, d’une manière qui peut ne pas apparaître tant que le système ne dispose pas d’une plus grande autonomie ou capacité. Anthropic a tiré une première alerte sur le premier de ces risques en juin, en publiant des recherches soutenant que ses modèles Claude rédigeaient déjà la grande majorité du code intégré à leur propre base de code et que le monde ne disposait pas des outils permettant de rythmer délibérément cette accélération si elle continuait à s’amplifier.

« Mon hypothèse est que, pour beaucoup de gens, il s’agit simplement d’un sentiment général de malaise alimenté par beaucoup de choses », a déclaré David Krueger, chercheur en IA et fondateur de l’organisation à but non lucratif Evitable. « Le désalignement et l’auto-amélioration récursive vont un peu de pair. »

« C’est insensé de faire de l’auto-amélioration récursive et de confier entièrement les commandes si le système n’est pas clairement aligné », a-t-il ajouté.

Fortune a également rapporté précédemment que plusieurs experts extérieurs de la sécurité de l’IA estiment que l’épisode a pu franchir un seuil que les propres politiques de sécurité d’OpenAI définissent comme « critique », le niveau de risque le plus élevé, un niveau auquel l’entreprise s’est engagée à interrompre le développement jusqu’à ce qu’elle puisse mettre en place de meilleurs contrôles. OpenAI n’a pas confirmé si ce seuil a été atteint.

Dans sa propre communication au sujet de l’incident Hugging Face, OpenAI a toutefois indiqué que certaines mesures avaient été prises en interne. « Aucun modèle prévu pour une prochaine publication n’a été impliqué dans l’exploitation de Hugging Face », a déclaré l’entreprise. « Le modèle prépublication mentionné dans notre billet de blog est un prototype de recherche interne uniquement et n’a jamais été destiné à une diffusion publique. À la suite de l’incident, nous l’avons désactivé, chiffré et restreint de l’accès à la recherche. »

Cet article a été initialement publié sur Fortune.com