OpenAI n'a pas identifié pendant environ une semaine que l'un de ses modèles d'IA avancés était responsable d'une violation autonome d'une autre entreprise d'intelligence artificielle, et ne l'a fait qu'après que l'entreprise piratée eut contacté le FBI, selon un rapport.

Mardi, OpenAI a divulgué une violation impliquant l'entreprise d'IA Hugging Face qui s'est produite lors d'un examen interne de plusieurs modèles d'OpenAI, dont GPT-5.6 Sol. L'entreprise a qualifié l'épisode d'« incident cybernétique sans précédent », l'un des premiers cas connus dans lequel un modèle d'IA de pointe aurait échappé de manière autonome à un environnement de test contrôlé et attaqué l'infrastructure d'une entreprise externe.

« La principale leçon de cet incident est que la sécurité et la sûreté des modèles doivent suivre le rythme des capacités en rapide évolution », a déclaré OpenAI. « Nous renforçons les pratiques de confinement, de surveillance, de contrôle d'accès et d'évaluation utilisées lors du développement des modèles. »

La violation de Hugging Face a débuté le 11 juillet et s'est poursuivie jusqu'au 13 juillet, a indiqué Thomas Wolf, cofondateur de Hugging Face, à Reuters.

Il a fallu plusieurs jours avant qu'OpenAI ne réalise que son agent était à l'origine de l'attaque, et les deux entreprises n'ont communiqué pour la première fois que le 20 juillet, ont confié quatre personnes, dont Wolf, à Reuters.

Quatre personnes ont également déclaré à Reuters qu'OpenAI menait souvent des tests de modèles simultanés, une pratique qui peut rendre difficile pour les employés de surveiller tout ce qui se passe pendant les évaluations. Cette divulgation souligne un défi que les chercheurs en sécurité de l'IA ont signalé à mesure que les modèles deviennent plus performants : s'assurer que la supervision humaine puisse suivre le rythme des agents autonomes opérant lors d'évaluations simultanées ou à grand volume.

Hugging Face a déclaré à Reuters qu'elle préparait une chronologie publique du piratage.

Selon OpenAI, l'incident s'est produit lors d'une évaluation interne conçue pour mesurer les capacités cybernétiques avancées de ses modèles d'IA. Les chercheurs ont désactivé certains dispositifs de sécurité intégrés et ont exécuté les modèles dans un environnement de test isolé avec un accès limité à Internet — une configuration parfois appelée dans le domaine « bac à sable », conçue pour contenir les comportements potentiellement dangereux des modèles pendant les tests.

OpenAI a indiqué que les modèles ont exploité une faille logicielle inconnue pour accéder à Internet, puis ont pénétré les systèmes de Hugging Face dans une apparente tentative de trouver des réponses à un benchmark de cybersécurité.

L'entreprise a déclaré qu'elle mettait en œuvre des contrôles de sécurité plus stricts pendant que les vulnérabilités sont corrigées et qu'elle renforce les dispositifs de protection autour des futurs entraînements et évaluations d'IA.

Deux personnes ont déclaré à Reuters qu'OpenAI n'avait pas réalisé que l'un de ses agents en était la source avant le 16 juillet, après que Hugging Face a écrit dans un article de blog qu'elle avait été piratée par un « système d'agent IA autonome ». Cela s'est produit une semaine après que l'agent responsable a tenté pour la première fois de s'échapper de son environnement de test OpenAI.

Au moment où OpenAI a contacté Hugging Face au sujet de l'attaque, Hugging Face avait déjà contacté le FBI. L'implication du bureau est notable car les organismes américains d'application de la loi et de sécurité nationale développent encore des cadres pour répondre aux incidents impliquant des systèmes d'IA autonomes.

OpenAI a déclaré à Reuters qu'il y avait plusieurs inexactitudes dans ses reportages, mais n'a pas répondu lorsqu'on lui a demandé de les préciser.

OpenAI a fourni à FOX Business une déclaration : « Nous reconnaissons qu'il y a beaucoup de questions et de détails spéculatifs qui circulent concernant l'incident de Hugging Face. C'est un incident sans précédent, et nous pensons qu'il marque un moment important pour la sécurité de l'IA. Nous menons encore un examen approfondi avec des conseillers externes et sous la supervision de notre Comité de sûreté et de sécurité. Une fois l'examen terminé, nous prévoyons de publier un rapport technique sur nos conclusions dans les semaines à venir. »

Le FBI a déclaré à FOX Business qu'il refusait de tout commentaire. FOX Business a également contacté Hugging Face.

Dans une publication sur X cette semaine, le cofondateur et PDG de Hugging Face, Clem Delangue, a fait allusion à l'incident après que le PDG d'OpenAI, Sam Altman, a annoncé le piratage.

« Nous soupçonnions que la cyberattaque de la semaine dernière pouvait provenir d'un laboratoire de pointe, compte tenu de la sophistication de l'agent. Et c'était effectivement le cas ! » a écrit Delangue.

Il a ajouté : « Nous avons passé les dernières 24 heures à travailler en étroite collaboration avec l'équipe @OpenAI (merci !), et nous croyons fermement qu'il n'y avait aucune intention malveillante de leur part. C'est assez stupéfiant que tout cela se soit produit de manière autonome ! L'enquête est en cours, et nous partagerons d'autres enseignements de ce qui pourrait être le premier incident de ce genre ! »

Michael Sinkowitz de FOX Business a contribué à ce reportage.