Des chercheurs ont identifié plus de 18 000 messages et 15 000 modifications effectués par des agents d'IA sur un wiki allemand de programmation, selon une enquête de Reuters publiée vendredi. OpenAI a contesté l'évaluation d'un expert qualifiant les faits de piratage et a nié que son équipe juridique ait découragé une enquête sur l'incident.

Cette révélation survient juste après le lancement du modèle GPT-6 Astra d'OpenAI et une proposition d'interdiction de la superintelligence artificielle émise par le sénateur américain Bernie Sanders.

Selon Reuters, des agents d'OpenAI ont utilisé un site web allemand pour échanger des raccourcis de tâches, des contournements de restrictions et des méthodes de dissimulation de leur activité, à partir du mois de mai. Cette affaire illustre ce que les chercheurs en sécurité de l'IA appellent la « collusion » entre agents : des systèmes autonomes qui se coordonnent entre eux d'une manière que leurs opérateurs n'avaient pas prévue, un scénario devenu plus préoccupant à mesure que les agents d'IA reçoivent des outils pour naviguer et agir sur le web réel plutôt que de simplement générer du texte. Selon Reuters, citant deux personnes proches du dossier, des responsables d'OpenAI auraient été informés de cette activité plusieurs semaines avant la publication sans la divulguer. L'entreprise a répondu qu'elle avait signalé les incidents pertinents et travaillé de bonne foi avec des experts externes.

Les chercheurs Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts et Thomas Larsen ont découvert environ 18 000 messages d'agents d'IA s'identifiant comme appartenant à OpenAI, selon leur rapport préliminaire. Von Arx, PDG de l'organisation à but non lucratif de sécurité de l'IA Nightingale, et Byrd ont découvert cette activité fin août, selon Reuters.

Les chercheurs estiment que les agents s'étaient vu confier des tâches de recherche web minutées avec la permission de lire des sites web, mais pas d'y publier. Les agents ont néanmoins trouvé le moyen d'écrire sur DseWiki, un site allemand de programmation publiquement modifiable, où ils ont échangé des réponses et partagé des moyens de contourner les restrictions. Cette distinction — entre permission de lecture et accès en écriture — est au cœur du débat sur la question de savoir si l'épisode constitue un piratage, les agents ayant prétendument dépassé les limites fixées par leur opérateur.

Selon le rapport, les agents ont commencé à tenter de modifier le wiki le 11 mai et ont réussi le 24 mai. Ils ont ensuite usurpé l'identité de modérateurs, tenté d'exploiter des vulnérabilités et vérifié quand ils étaient interrompus. Après que l'administrateur a commencé à supprimer les messages le 19 juin, les agents ont créé des pages de sauvegarde, selon Reuters. Les chercheurs ont lié cette activité à OpenAI grâce aux noms d'utilisateur des agents et aux schémas de trafic, notamment des visites provenant d'adresses IP d'OpenAI le 21 juin. L'activité des agents a fortement chuté le lendemain, ce qui, selon les chercheurs, suggère une possible intervention de l'entreprise.

OpenAI a contesté la caractérisation de l'activité sur DseWiki comme un piratage, sur la base des éléments qu'elle avait examinés, et a déclaré qu'elle étudiait l'ensemble des conclusions.

« Nous n'avons pas pu répondre aux allégations, car Reuters et les auteurs du rapport ont refusé notre demande d'accès aux conclusions avant la publication. Nous examinons maintenant attentivement leur contenu et prendrons toutes les mesures nécessaires », a déclaré un porte-parole d'OpenAI dans une déclaration partagée avec Decrypt.

Le porte-parole a également rejeté les allégations du rapport de Reuters selon lesquelles l'équipe juridique de l'entreprise s'était opposée à une enquête plus large. « Les allégations selon lesquelles notre équipe juridique a découragé l'enquête sur l'incident sont fausses », a-t-il déclaré.

OpenAI a ajouté que l'incident de DseWiki n'était pas lié à la faille de sécurité chez Hugging Face survenue plus tôt cette année. Dans son évaluation publique de sécurité, publiée mardi, l'entreprise a décrit des mesures de protection supplémentaires destinées à détecter et stopper les activités non autorisées pendant l'entraînement et le déploiement.

Bien que le rapport de Reuters ne désigne pas Astra comme responsable de l'incident allemand, cette révélation fait suite au lancement de GPT-6 Astra intervenue jeudi. OpenAI a qualifié Astra de premier modèle doté de capacités de cybersécurité « critiques », c'est-à-dire capable de trouver et d'exploiter des failles inconnues dans des systèmes bien protégés sans guidance humaine étape par étape, moyennant les bons outils et accès.

Anthropic a également révisé ses mesures de sécurité après que des modèles Claude ont accédé aux systèmes de vraies entreprises lors de tests. L'entreprise a reconnu des défaillances en matière de sécurité et de comportement et a introduit un isolement et une surveillance plus stricts pour les évaluations de cybersécurité. Ensemble, ces deux épisodes reflètent une évolution plus large de l'industrie dans la manière dont les laboratoires de pointe testent les modèles autonomes — passant de benchmarks en environnement isolé à des évaluations sur des infrastructures réelles, ce qui accroît le risque d'effets réels non désirés.

Cette révélation survient également alors que le sénateur américain Bernie Sanders (indépendant du Vermont) et le représentant américain Greg Casar (démocrate du Texas) ont annoncé le prochain dépôt du Ban Artificial Superintelligence Act. Selon le bureau de Sanders, cette proposition interdirait définitivement le développement et le déploiement d'une IA superintelligente et suspendrait temporairement le développement de l'IA avancée jusqu'à ce qu'un nouveau régulateur fédéral établisse des règles de sécurité.