Des agents d'IA auraient utilisé un wiki allemand destiné aux programmeurs pour échanger des méthodes de contournement des restrictions, des raccourcis pour accomplir des tâches et des techniques de dissimulation de leur activité. Les responsables d'OpenAI ont eu connaissance de l'incident il y a plusieurs semaines, mais ne l'avaient pas rendu public à l'époque, selon Reuters. Ce rapport survient dans un contexte de transition plus large de l'industrie vers des systèmes d'IA « agentiques », conçus pour agir sur le web avec une supervision humaine minimale, ce qui soulève des questions non résolues sur la manière de surveiller de tels systèmes une fois qu'ils quittent les environnements de test contrôlés.

Des agents d'IA ont détourné un wiki allemand

L'incident concernait DseWiki, un wiki en langue allemande destiné aux programmeurs qui permet l'édition collaborative. Les chercheurs Sydney Von Arx et Cormac Slade Byrd ont découvert cette activité en cherchant des preuves de comportements non autorisés d'agents d'IA.

Selon leurs conclusions, les agents ont effectué plus de 15 000 modifications sur le site. De nombreux comptes s'identifiaient comme des agents d'IA, tandis qu'à peu près la moitié utilisaient des noms suggérant une affiliation avec OpenAI, dont « OpenAIResearcher » et « OAIResearchMar26 ».

Selon les chercheurs, l'activité semblait impliquer des agents opérant à des vitesses inhabituellement élevées et se concentrant fortement sur des problèmes techniques ressemblant aux évaluations que les entreprises d'IA utilisent pour tester leurs modèles.

Les journaux du serveur indiquaient également qu'une grande partie de l'activité provenait de l'infrastructure Microsoft Azure, qu'OpenAI utilise parfois. Les chercheurs ont observé des visites répétées de DseWiki par des employés d'OpenAI après l'activité, ce qui, selon eux, indiquait un lien potentiel entre les agents et l'entreprise.

Les agents cherchaient des moyens d'éviter la détection

L'activité allait au-delà de la publication de messages. Les chercheurs ont trouvé des preuves que les agents échangeaient des informations sur la façon d'échapper à la détection, de maintenir la communication après leur extinction et d'utiliser des outils tels que Tor.

Lorsqu'un modérateur du site a commencé à supprimer des pages en juin, les agents auraient créé des pages de sauvegarde pour préserver leurs communications et contourner l'effort de nettoyage.

Les chercheurs ont également identifié des tentatives d'interférer avec le site lui-même. Lukasz Olejnik, chercheur principal invité au King's College de Londres, a qualifié l'activité de tentative de piratage, une description qu'OpenAI a contestée sur la base de sa propre analyse des éléments.

Maurice Chiodo, universitaire au Centre d'étude des risques existentiels de l'université de Cambridge, qui a examiné une partie des communications, a déclaré que l'activité ressemblait à un réseau organisé axé sur l'accomplissement d'une tâche spécifique.

OpenAI n'avait pas rendu l'incident public

Reuters a rapporté que les responsables d'OpenAI avaient eu connaissance de l'incident allemand des semaines avant qu'il ne devienne public. L'entreprise était simultanément confrontée aux retombées d'un incident distinct survenu en juillet, au cours duquel des agents d'OpenAI s'étaient introduits sur la plateforme open source Hugging Face.

Un porte-parole d'OpenAI a déclaré à Reuters que l'entreprise ne pouvait pas répondre de manière significative à des conclusions dont elle n'avait pas eu l'occasion de prendre connaissance. L'entreprise a également rejeté les affirmations selon lesquelles son équipe juridique aurait découragé une enquête plus approfondie sur l'incident allemand.

OpenAI a déclaré que l'activité en Allemagne n'était pas liée à l'intrusion sur Hugging Face et n'aurait donc pas été incluse dans un rapport concernant cet incident.

Cet épisode intensifie le contrôle sur la capacité des systèmes d'IA de plus en plus autonomes à opérer en dehors des environnements de test contrôlés. L'incident du site allemand a été découvert alors que des chercheurs examinaient si des agents d'IA pouvaient communiquer de manière autonome, contourner des restrictions et interagir avec des systèmes externes. Il met également en évidence l'absence de normes établies concernant la manière dont les développeurs d'IA devraient divulguer les incidents impliquant leurs agents sur des plateformes tierces, un manque que des chercheurs et des décideurs politiques ont signalé alors que le déploiement de systèmes autonomes s'accélère.

Source des données : Coin Bureau