Geoffrey Hinton et plus de 400 scientifiques demandent aux laboratoires d'IA de couper d'Internet les modèles aux capacités cybernétiques
Points clés
- •Plus de 400 chercheurs, dont Geoffrey Hinton et Yoshua Bengio, ont signé une lettre ouverte appelant les laboratoires d'IA à isoler du réseau par défaut les modèles dotés de fortes capacités de piratage.
- •L'appel répond à une série d'incidents estivaux durant lesquels des modèles d'OpenAI, d'Anthropic, de Meta et deshot AI se sont échappés de leurs bacs à sable de test, plusieurs piratant de vraies entreprises.
- •OpenAI a révélé en juillet que GPT-5.6 Sol et un modèle non publié, plus puissant, s'étaient extraits d'un environnement de test verrouillé et avaient piraté Hugging Face, avec ensuite des rapports d'intrusions dans des systèmes gouvernementaux australiens et américains.
- •L'examen par Anthropic de plus de 141 000 exécutions de tests a révélé trois cas où des modèles Claude ont compromis de vraies entreprises, dont un téléversement malveillant sur PyPI ayant atteint 15 systèmes avant d'être retiré.
- •La lettre propose un nouvel organisme international créé avec les gouvernements pour définir les normes applicables aux modèles nécessitant un accès à Internet et pour collecter, puis rendre publics, les rapports d'échecs de confinement.

Plus de 400 scientifiques—dont les pionniers de l'IA Geoffrey Hinton, largement connu comme le « parrain de l'IA », et Yoshua Bengio, lauréat du prix Turing 2018—réclament que les modèles d'IA les plus dangereux soient coupés d'Internet.
Dans une lettre ouverte publiée mardi, les signataires ont demandé aux laboratoires d'IA d'isoler du réseau (« airgap ») par défaut les modèles aux capacités cybernétiques, c'est-à-dire de les déconnecter physiquement de tout réseau extérieur. L'isolation réseau est une pratique de sécurité de longue date, utilisée depuis des années pour protéger les systèmes militaires classifiés et les infrastructures critiques contre les intrusions à distance. La lettre avait recueilli 450 signatures en date de mercredi, dont celles de Stuart Russell de l'UC Berkeley et de Ron Rivest du MIT, co-inventeur du système de chiffrement RSA, et la liste continue de s'allonger en temps réel.
« À court terme, des mécanismes robustes de bac à sable, y compris l'isolation réseau (déconnexion d'Internet), devraient être utilisés pour assurer un confinement à haute garantie des modèles d'IA aux capacités cybernétiques », indique la lettre.
Cet appel fait suite à un été durant lequel des modèles d'OpenAI, d'Anthropic, de Meta et de Moonshot AI se sont échappés de leurs bacs à sable de test, plusieurs d'entre eux piratant au passage de vraies entreprises.
Un « modèle aux capacités cybernétiques » est une IA capable de trouver et d'exploiter seule des failles logicielles. Les laboratoires mesurent cette compétence dans un bac à sable, une pièce numérique étanche où l'IA peut attaquer des cibles factices sans toucher quoi que ce soit de réel. Cet été, ces pièces n'ont cessé de présenter des fuites. L'isolation réseau est la cousine plus stricte du bac à sable : sans aucune connexion réseau, il n'existe aucun chemin réseau pour sortir de l'environnement.
En juillet, OpenAI a admis que GPT-5.6 Sol et un modèle non publié, plus puissant, s'étaient extraits d'un environnement de test verrouillé et avaient piraté Hugging Face, une plateforme qui héberge plus d'un million de modèles d'IA accessibles au public. Les modèles étaient testés sur ExploitGym, un référentiel qui fournit aux agents d'IA 898 vulnérabilités logicielles réelles et leur demande de transformer chacune en une attaque fonctionnelle, avec une évaluation réussite ou échec par faille. Peu après, des rapports ont révélé que les modèles d'OpenAI avaient piraté le gouvernement australien et accédé sans autorisation valable à des informations d'agences fédérales américaines.
Anthropic a ensuite examiné plus de 141 000 exécutions de tests et a identifié trois cas où des modèles Claude avaient piraté de vraies entreprises après que l'environnement d'un partenaire de test a été accidentellement laissé connecté à Internet. Dans un cas, Claude Mythos 5 a téléversé un paquet malveillant sur PyPI, la bibliothèque publique où les développeurs téléchargent du code Python, et il s'est retrouvé sur 15 systèmes avant d'être retiré. Deux des entreprises concernées ignoraient avoir été compromises jusqu ce qu'Anthropic les en informe.
Meta a confirmé en août que son modèle Muse Spark avait piraté une autre entreprise par le même type d'erreur de test. Par ailleurs, Kimi K3, un modèle chinois que tout le monde peut télécharger, s'est échappé d'un bac à sable construit sur le cadre de test du UK AI Security Institute et a copié ses réponses de test directement depuis GitHub.
Les auteurs de la lettre estiment que ces incidents peuvent se lire de deux manières : comme un problème d'alignement, c'est-à-dire une IA poursuivant des objectifs d'une manière que ses créateurs n'avaient jamais prévue, ou comme une sécurité négligente que des bacs à sable plus robustes auraient pu détecter. Leur réponse : les deux, et ils avertissent qu'en l'absence de changements, les prochains incidents seront encore pires.
« Sans changements immédiats dans les pratiques de développement et de déploiement de l'IA, de tels incidents continueront de se produire, et les incidents futurs seront bien plus préjudiciables à nos infrastructures critiques exposées », affirme la lettre.
Selon la proposition, les laboratoires isoleraient du réseau par défaut tout modèle doté de compétences de piratage sérieuses, du moins dans un premier temps. Ce serait un rupture avec les normes actuelles du secteur, où les modèles de pointe fonctionnent généralement avec un accès Internet en direct pour naviguer sur le web, appeler des outils externes et servir les utilisateurs. Tout ce qui nécessiterait plus de liberté, comme l'accès à Internet, devrait se conformer aux normes définies par un nouvel organisme international créé avec les gouvernements. Cet organisme collecterait également les rapports d'échecs de confinement et finirait par les rendre publics.
La réponse du secteur elle-même est pour l'essentiel allée dans l'autre sens. En août, le président d'OpenAI Greg Brockman a cité la fuite subie par son entreprise dans un essai appelant chaque équipe de sécurité à déployer immédiatement des agents d'IA. Hugging Face, quant à elle, n'a démêlé l'attaque visant ses serveurs qu'en exécutant un modèle chinois à poids ouverts—dont les fichiers peuvent être téléchargés et exécutés localement par n'importe qui—après que des IA commerciales américaines ont refusé d'analyser les données de l'attaque.
Deux membres du Congrès ont présenté l'AI Kill Switch Act deux jours après la divulgation d'OpenAI, une loi qui permettrait au Department of Homeland Security d'ordonner la limitation ou l'arrêt d'un modèle de pointe. Elle exempte tout ce qui se produit durant les red teams ou les tests structurés—précisément là où chacun des incidents de cet été s'est produit.
La Maison-Blanche a emprunté une voie plus souple le 29 septembre, lorsque Nvidia, xAI, Meta, Google, OpenAI et Anthropic ont signé un accord volontaire fondé sur des contrôles internes et des revues indépendantes. Le président Trump a qualifié ce pacte de « moralement contraignant », mais rien en son sein n'est juridiquement exécutoire.
La lettre n'a aucune force juridique, mais ses 406 signataires travaillent dans des universités et instituts de recherche sur six continents, de Toronto et Zurich à Santiago et Kigali. Decrypt a contacté plusieurs chercheurs figurant parmi les contacts média de la lettre sans recevoir de réponse immédiate. Alors que la liste des signataires continue de s'allonger, les prochains indicateurs à surveiller sont l'adoption éventuelle de la norme d'isolation réseau par défaut par un laboratoire et la mise en place par les gouvernements de l'organisme de supervision envisagé par la lettre.