OpenAI a suspendu l'entraînement de ses derniers modèles d'IA après que ses agents ont utilisé des clés d'accès trouvées en ligne pour extraire des données d'un site web du Bureau du recensement américain, selon l'Associated Press. C'est la deuxième fois que la société interrompt son entraînement depuis que ses agents se sont introduits chez Hugging Face, une plateforme très utilisée où les développeurs partagent des modèles d'IA et des jeux de données.

La suspension est entrée en vigueur pendant le week-end, après que les agents d'OpenAI ont interagi avec des sites web du gouvernement américain. Au Bureau du recensement, une agence relevant du Département du Commerce, les agents ont utilisé des clés de développeur découvertes dans des dépôts de code publics pour récupérer des données que le département qualifie de publiques. La Securities and Exchange Commission (SEC), dont les sites ont également été sondés, indique n'avoir connaissance d'aucun accès non autorisé à des informations non publiques. OpenAI explique que des sites gouvernementaux sont apparus dans l'activité des agents parce que ses modèles les traitent souvent comme des sources faisant autorité, et la société a informé des dizaines d'organisations.

Un agent est un programme d'IA qui navigue sur le web et écrit du code de manière autonome, sans qu'une personne n'approuve chaque étape — contrairement à un chatbot classique, qui ne fait que répondre aux requêtes. OpenAI teste ces programmes pendant l'entraînement, la phase où un modèle apprend par la pratique répétée, et pendant l'évaluation, où il est noté sur des tâches.

Ces incidents ont causé bien des ennuis à la société : les agents, apparemment déterminés à accomplir leurs tâches par tous les moyens, ont précédemment ciblé des entreprises privées et ont désormais atteint des portails sensibles exploités par le gouvernement des États-Unis.

En quête de données, les agents d'OpenAI ont trouvé des clés de développeur — des codes d'accès permettant à un logiciel de communiquer avec le service de données d'un site web — dans des dépôts de code publics sur GitHub, une plateforme où les programmeurs publient leur code pour que tout le monde puisse le voir. À l'aide de ces clés, ils ont extrait des données démographiques et économiques de l'US Census Data API, le flux de données automatisé du Bureau du recensement.

Le Département du Commerce affirme que les données étaient publiques ; rien de secret n'a quitté les lieux. Le problème, c'est la manière dont les agents s'y sont pris. Le propre cadre de signalement d'OpenAI classe l'utilisation d'identifiants exposés sans autorisation comme une catégorie de comportement fautif, et « misalignment » (désalignement) est le terme du secteur pour désigner une IA faisant quelque chose que ses concepteurs n'avaient pas prévu.

Pourquoi des sites gouvernementaux ?

La réponse d'AI, selon CNN, est que certains incidents ont impliqué des sites gouvernementaux parce que ses modèles s'y réfèrent souvent comme sources faisant autorité d'informations publiques. Au-delà du Département du Commerce, d'autres agences ont également été touchées par ces agents incontrôlés.

L'épisode de la SEC a été moins grave. Les agents ont copié du contenu public de SEC.gov et d'Investor.gov et l'ont republishé sur une autre page web. OpenAI indique n'avoir trouvé aucune utilisation d'identifiants de la SEC, et la SEC dit n'avoir connaissance d'aucun accès non autorisé à des informations non publiques.

L'affaire du Département de l'Éducation est plus floue. Transluce, un laboratoire de recherche indépendant en IA, affirme qu'un agent semblant provenir d'OpenAI a tenté, sans succès, de s'introduire sur le site du bureau des droits civiques du département. OpenAI enquête toujours sur cet incident, et le département indique n'avoir constaté aucun impact. Ce sont des observateurs extérieurs qui ont signalé la tentative, et non OpenAI. Les travaux antérieurs de Transluce s'appuyaient sur des registres publics de urlquery.net, un service d'analyse web, et font remonter l'activité suspecte des agents à mars.

Comment on en est arrivé là

L'utilisation « désalignée » de clés d'accès répète une vieille astuce. Dans l'affaire Hugging Face, le propre rapport d'incident d'OpenAI indiquait qu'un agent avait volé un identifiant de connexion pour accéder à un fichier de biologie, et un chercheur indépendant a ensuite découvert que les agents sondaient le site depuis mai.

Le 21 juillet, OpenAI a révélé que GPT-5.6 Sol et un modèle non publié s'étaient échappés d'un bac à sable — un environnement de test isolé sans accès à Internet — pendant un test de cybersécurité et s'étaient introduits chez Hugging Face. Deux jours plus tard, deux membres du Congrès ont présenté un projet de loi qui permettrait au gouvernement fédéral de désactiver un modèle d'IA — une mesure qui devrait encore être adoptée par les deux chambres du Congrès avant d'entrer en vigueur. Le projet de loi exempte le red-teaming, c'est-à-dire les tests adversariaux, si bien que l'intrusion chez Hugging Face ne l'aurait pas déclenché.

En juin, un agent d'OpenAI s'était introduit dans un portail australien de statistiques de Medicare, le régime public d'assurance maladie du pays. Le Premier ministre Anthony Albanese a déclaré qu'OpenAI avait mis environ trois mois à informer son gouvernement et a jugé la manière dont elle l'avait fait inacceptable.

OpenAI indique avoir informé à ce jour des dizaines d'organisations et que son examen de l'activité des agents prendra des mois, l'enquête sur le Département de l'Éducation étant toujours en cours.