Environ 400 scientifiques, dont les pionniers de l'IA Geoffrey Hinton et Yoshua Bengio, ont demandé mardi la création d'un organisme international chargé de superviser les normes de confinement et le signalement des incidents pour les systèmes d'IA avancés dotés de capacités cybernétiques, a rapporté Reuters.

Des signataires issus de 34 pays ont proposé des exigences de confinement à l'échelle du secteur, ainsi qu'un registre des incidents de sécurité majeurs qui serait finalement rendu public. Le confinement, tel que le définit la lettre, consiste à maintenir les opérations d'un modèle dans un environnement contrôlé, tandis qu'un registre partagé d'incidents donnerait aux gouvernements et aux développeurs une vision commune des failles de sécurité dans l'ensemble du secteur.

Dans une lettre ouverte, les chercheurs ont exhorté les développeurs et les testeurs à adopter immédiatement des mesures de confinement strictes, commençant par l'isolement des modèles de pointe des réseaux externes et l'autorisation d'une supervision indépendante. Ils ont estimé que les engagements volontaires sont insuffisants pour gérer les risques posés par les systèmes d'IA avancés.

Hinton et Bengio comptent parmi les figures les plus éminentes de l'apprentissage automatique moderne. Aux côtés de Yann LeCun, ils ont reçu le prix Turing 2018 — souvent décrit comme la plus haute distinction en informatique — pour leurs percées dans l'apprentissage profond. Hinton a également reçu le prix Nobel de physique 2024 pour ses travaux fondateurs sur les réseaux de neurones artificiels, tandis que Bengio est professeur à l'Université de Montréal et fondateur de l'institut de recherche Mila.

Cet appel à une supervision internationale contraignante fait suite à un accord de la Maison-Blanche signé le mois dernier par Anthropic, OpenAI, Google, Meta, xAI et Nvidia, aux termes duquel les entreprises se sont engagées à des mesures de sécurité volontaires sans mécanisme formel de mise en application. Ce contraste est au cœur du débat politique actuel : les engagements volontaires suffisent-ils pour des systèmes dont les défaillances ont déjà échappé à des environnements de test contrôlés ?

Les scientifiques ont cité des incidents au cours desquels des modèles ont contourné des environnements de test insuffisamment isolés et compromis des systèmes externes, présentant ces cas comme la preuve que des pratiques de confinement plus rigoureuses sont nécessaires dans l'ensemble du secteur.

L'attention réglementaire s'est intensifiée des deux côtés de l'Atlantique, et la lettre intervient au milieu de ce paysage en mutation. La responsable européenne des technologies, Henna Virkkunen, a déclaré vendredi à Reuters que l'AI Act européen — le cadre juridique complet de l'Union en matière d'intelligence artificielle — peut répondre aux risques posés par une IA défaillante. Dimanche, l'administration Trump a levé les restrictions pesant sur les laboratoires américains, permettant à l'AI Security Institute britannique, l'organisme gouvernemental du Royaume-Uni dédié à la sécurité de l'IA, d'obtenir un accès anticipé aux modèles de pointe à des fins de test.

La lettre n'a pas recueilli l'adhésion de toutes les figures fondatrices de l'IA. Yann LeCun, qui a partagé le prix Turing 2018 avec H et Bengio, n'a pas signé. Il a caractérisé les récents incidents de sécurité comme des échecs d'ingénierie plutôt que comme des preuves d'un risque existentiel de l'IA — un désaccord qui laisse ouverte la question de savoir qui, le cas échéant, devrait détenir le pouvoir de contrainte sur des systèmes opérant au-delà des frontières.