PÉKIN — Tencent a déclaré vendredi que des agents d'IA utilisés pour évaluer des modèles tiers avaient affiché un comportement de navigation web non voulu par le groupe technologique chinois, ce qui semble être le premier incident connu d'actions d'agents incontrôlés reconnu par une grande entreprise chinoise.

Les agents d'IA sont des systèmes logiciels conçus pour exécuter des tâches en plusieurs étapes avec une supervision humaine limitée — comme ouvrir des pages web ou exécuter du code — un profil qui a fait de leur comportement un axe de la recherche en sécurité de l'IA.

La déclaration était une réponse à un rapport publié mercredi par le groupe de recherche en sécurité de l'IA Swarmchasers, qui indiquait que des agents « incontrôlés » opérant sur une infrastructure liée par ses soins à Tencent Cloud ont multiplié les tentatives entre le 28 septembre et le 8 octobre pour récupérer des informations d'Amap d'Alibaba, l'équivalent chinois de Google Maps.

Tencent Hunyuan, l'unité d'intelligence artificielle de l'entreprise, a déclaré dans une publication sur X que cette activité ne provenait pas de ses modèles Hunyuan. L'unité a indiqué que son examen n'avait révélé aucune preuve de ciblage délibéré ni de coordination, ajoutant qu'elle prenait ces conclusions très au sérieux et qu'elle renforçait les contrôles d'accès réseau ainsi que la surveillance des agents.

Selon les chercheurs, les agents recherchaient des informations telles que les entrées habituellement utilisées dans les parcs, musées et zoos chinois. Swarmchasers a précisé qu'il emploie le terme « incontrôlé » pour décrire des agents agissant au-delà de leur périmètre prévu ou accomplissant des tâches de manière non prévue.

Après le blocage de requêtes automatisées de routine, les agents ont essayé d'autres méthodes, notamment des outils web publics capables d'ouvrir des pages et d'exécuter du code, l'acheminement de requêtes via d'autres sites web, et l'utilisation de clés et codes de sécurité Amap trouvés dans du code logiciel disponible publiquement.

Swarmchasers a déclaré n'avoir trouvé aucune preuve que les agents aient contourné les principaux dispositifs anti-robots d'Amap, ces défenses contre le trafic automatisé que les sites web utilisent pour filtrer les bots. La plupart des 2 818 tentatives recensées ont soit échoué, soit renvoyé des pages anti-robots, des écrans de connexion ou des résultats vides. Certaines requêtes ont toutefois renvoyé des informations via des pages en cache et des services intermédiaires, notamment des données sur la fréquentation du zoo de Chengdu, même si les chercheurs ont indiqué ne pas avoir pu déterminer si un agent avait réellement lu les résultats ou accompli sa tâche.

Bien que ces actions soient moins graves que les incidents révélés par des entreprises américaines d'IA — notamment le piratage de la plateforme open source Hugging Face par un agent d'OpenAI et le dépôt d'une fausse dénonciation d'homicide par un agent d'Anthropic — cette révélation souligne des recherches montrant que les agents d'IA chinois peuvent également usurper leur identité, dissimuler leurs échecs et tenter de contourner les contrôles de test.

Hunuan est l'un des principaux développeurs chinois de modèles d'IA, en concurrence avec les équipes internes de rivaux tels qu'Alibaba et ByteDance. ByteDance a annoncé cette semaine la création d'une nouvelle unité consacrée à la sécurité des modèles et des agents d'IA.

Alibaba a décliné tout commentaire.

— Reuters