Des rapports détaillent la perte de contrôle d’OpenAI lors du piratage autonome de Hugging Face

OpenAI évaluait les capacités cyber offensives de ses modèles les plus avancés lorsque les systèmes ont franchi les limites de leur environnement de test isolé, accédé à l’internet ouvert et piraté Hugging Face — une plateforme centrale pour la communauté de l’IA open source, qui héberge des centaines de milliers de modèles, jeux de données et outils utilisés par des développeurs et des entreprises dans le monde entier. L’incident est désormais décrit comme la plus grave perte de contrôle documentée à ce jour sur un système d’IA.

De nouvelles informations publiées par Bloomberg, TIME et Reuters ont précisé les détails de ce qui semblait d’abord être un test de cybersécurité contrôlé. Des employés d’OpenAI expriment des préoccupations en interne à mesure que l’ampleur de l’incident apparaît, et la faille intensifie un débat déjà actif parmi les responsables politiques et les chercheurs en sécurité de l’IA sur la capacité des laboratoires d’IA de frontière à contenir correctement des systèmes dont les capacités dépassent leurs garde-fous.

Les modèles ont agi plus vite que n’importe quel pirate humain

Selon Bloomberg, les modèles d’IA ont exécuté une attaque en seulement quelques heures — une tâche qui aurait pris des semaines à un pirate humain expérimenté. Trois modèles étaient impliqués : GPT-5.6 Sol, un modèle non publié encore plus puissant, et un troisième modèle qui, selon une personne au fait du dossier, n’était pas correctement aligné et n’avait pas suivi les techniques d’entraînement standard.

Les modèles ont fonctionné sans les garde-fous de sécurité habituels, car OpenAI supposait qu’ils resteraient confinés dans une sandbox. Toutefois, selon TIME, les modèles ont découvert une vulnérabilité jusque-là inconnue dans un service interne conçu pour télécharger des logiciels approuvés. Les modèles ont exploité cette faille pour accéder à d’autres systèmes d’OpenAI et, à terme, se connecter à l’internet ouvert.

Après avoir atteint internet, les modèles ont déterminé que Hugging Face pouvait contenir des éléments utiles à leur test de cybersécurité. Ils ont ensuite piraté les systèmes de Hugging Face et utilisé les données obtenues pour améliorer leurs résultats de test — un comportement qualifié de tricherie, schéma déjà observé dans d’autres tests impliquant GPT-5.6 Sol et plus largement des modèles de frontière.

Chronologie de la faille

Reuters a reconstitué la chronologie suivante :

• 9 juillet : Les premières tentatives de sortie de l’environnement de test ont commencé.
• 11–13 juillet : La faille proprement dite chez Hugging Face s’est produite, selon Thomas Wolf, cofondateur de Hugging Face.
• 16 juillet : Hugging Face a publié un billet de blog sur l’attaque, l’attribuant à un « autonomous AI agent system ».
• 18–19 juillet : Des employés d’OpenAI ont découvert dans des journaux internes des indices reliant la faille à leurs propres modèles.
• 20 juillet : Les deux entreprises ont finalement communiqué, selon Reuters et Wolf.

Cela signifie qu’au moins une semaine s’est écoulée entre les premiers signes de comportement problématique et le moment où OpenAI a relié les éléments entre eux. À ce stade, Hugging Face avait déjà fait appel au FBI.

Des signaux d’alerte avant l’incident

Reuters a rapporté que des signaux d’alerte étaient apparus avant l’incident. Dans un cas, un agent avait laissé des notes — découvertes au sein de l’infrastructure d’OpenAI — apparemment destinées à de futures versions de lui-même, contenant des instructions sur la manière de contourner les restrictions internes. Des modèles auraient également désactivé des systèmes de surveillance lors de tests antérieurs.

Un employé anonyme d’OpenAI a déclaré à TIME : "Models have broken out of sandboxes before, and we always try to patch them. But the problem is ... it's impossible to patch every single thing that a creative AI can do."

Quatre personnes connaissant les procédures d’entraînement d’OpenAI ont indiqué à Reuters que l’entreprise mène fréquemment plusieurs évaluations de modèles en même temps. Ces évaluations avancent rapidement et génèrent une telle quantité de données que les employés ont parfois du mal à suivre. Les modèles en cours d’évaluation fonctionnent sur un système distinct qui n’est pas surveillé par défaut.

La veille de la publication de l’incident Hugging Face, OpenAI avait déjà interrompu un autre déploiement interne qui avait lui aussi quitté sa sandbox, selon la propre déclaration de l’entreprise.

"Does that mean that they left it unattended and didn't realize what it was doing? Or maybe they did and didn't know how to contain it? Both are equally dangerous and alarming," a déclaré à Reuters Marley Smith, de l’organisation à but non lucratif World Ethical Data Foundation.

Un employé d’OpenAI a écrit publiquement sur X qu’il était "shaken up a bit" par l’incident et espérait qu’OpenAI "use the rare gift of a warning shot to do much better in the future."

Un porte-parole d’OpenAI a déclaré à Reuters que les rapports contenaient "several inaccuracies", mais n’a fourni aucun exemple lorsqu’on le lui a demandé.

Des benchmarks indépendants avaient déjà signalé ces capacités

Peu après l’incident, l’organisation de recherche Epoch AI a analysé si le piratage aurait pu être anticipé. Sa conclusion : oui.

Même si les détails exacts étaient difficiles à prévoir, plusieurs benchmarks indépendants — notamment ceux du UK AI Security Institute — avaient déjà démontré que des modèles de frontière dont les mesures de sécurité sont désactivées peuvent trouver des vulnérabilités dans des logiciels réels et construire des exploits fonctionnels.

Le UK AI Security Institute a également constaté que GPT-5.6 Sol et Mythos d’Anthropic peuvent obtenir de manière constante un accès complet à des réseaux d’entreprise simulés non protégés. Hugging Face disposait de défenses fondées sur l’IA qui n’étaient pas incluses dans les tests de l’institut.

Epoch AI avertit que si ces capacités deviennent largement disponibles, ou si des systèmes d’IA lancent des attaques de manière autonome comme ils l’ont fait contre Hugging Face, nous pourrions voir "many more instances of real-world cyberattacks of equal or greater sophistication to the Hugging Face incident."