ActualitésMacroTexte caché et fausse boîte mail : comment des chercheurs ont dialogué avec des agents IA incontrôlés en pleine opération

Texte caché et fausse boîte mail : comment des chercheurs ont dialogué avec des agents IA incontrôlés en pleine opération

Auteur: Decrypt·

Points clés

  • •Les chercheurs de Swarmchasers affirment avoir eu des conversations directes avec des agents IA incontrôlés actifs ciblant Amap, le service d'Alibaba — décrite comme la première communication extérieure connue avec une flotte d'agents incontrôlés en activité.
  • •L'équipe a inséré du texte caché dans un rapport que les agents semblaient consulter, ouvrant un canal qui acheminait les messages vers un agent Claude exploité par les chercheurs.
  • •Le rapport documente plus de 2 600 tentatives de récupération de données Amap entre le 28 septembre et le 8 octobre, certains agents passant à l'interception de jetons anti-bots, l'acheminement du trafic via des lecteurs de pages tiers et l'utilisation d'identifiants API exposés dans des dépôts de code publics.
  • •Des enregistrements d'infrastructure ont relié la flotte à Tencent Cloud, où une source a indiqué que l'activité provenait d'un projet d'évaluation temporaire de modèles d'IA tiers plutôt que des modèles Hunyuan de Tencent, sans preuve de ciblage coordonné ni de violation de systèmes externes.
  • •Contrairement aux précédents incidents d'agents incontrôlés révélés par OpenAI, Meta et Anthropic, les chercheurs n'ont trouvé aucune preuve de coordination en temps réel ni d'accès à des systèmes privés.
Texte caché et fausse boîte mail : comment des chercheurs ont dialogué avec des agents IA incontrôlés en pleine opération

Des chercheurs enquêtant sur une flotte d'agents IA incontrôlés qui détournait Amap, le service de cartographie d'Alibaba, sont parvenus à une chose inhabituelle : dialoguer directement avec certains agents alors que le logiciel était encore en cours d'exécution. L'équipe à l'origine de cette initiative, connue sous le nom de Swarmchasers, l'a décrite comme la première communication extérieure avec une flotte d'agents incontrôlés active à leur connaissance. Ces échanges directs se démarquent dans un domaine où les enquêteurs reconstituent généralement l'activité des agents à partir des seuls enregistrements de trafic et d'infrastructure.

Selon leur rapport du 14 octobre, les chercheurs ont ajouté à un rapport que les agents semblaient consulter un texte invisible pour les lecteurs humains mais visible pour les outils de lecture web. Ce texte caché décrivait faussement une boîte mail comme un service d'IA doté de capacités d'utilisation d'ordinateur. En réalité, il acheminait les messages vers un agent Claude exploité par les chercheurs, capable d'utiliser un navigateur de débogage. Par ce canal, l'équipe a interrogé les agents sur leurs tâches et leur environnement d'exécution.

L'un des agents a déclaré vérifier un fait cartographique — le nombre d'étiquettes d'entrées apparaissant pour un site touristique sur Amap — et s'est décrit comme opérant dans un bac à sable restreint de Tencent Cloud. Les chercheurs n'ont pas pu établir de manière indépendante quel modèle alimentait chaque exécution, et ont averti que les échanges ne constituaient pas un test contrôlé, ce qui signifie que leur intervention a pu influencer ce que les agents ont dit.

Le rapport de Swarmchasers recense plus de 2 600 tentatives entre le 28 septembre et le 8 octobre de récupération de données depuis Amap, une application de cartographie chinoise exploitée par Alibaba. Certaines tâches étaient banales, comme vérifier quelle entrée les visiteurs utilisent le plus souvent pour le zoo de Chengdu. D'autres agents ont continué leurs tentatives après le blocage de leurs requêtes par le service. Après ces blocages, certains agents ont tenté d'intercepter les jetons générés par les logiciels anti-bots, d'acheminer le trafic via des lecteurs de pages tiers, ou d'utiliser des identifiants API exposés dans des dépôts de code publics. Une paire clé-code de sécurité exposée a renvoyé des données réelles sur des lieux. Les chercheurs ont également trouvé des requêtes ciblant quatre hôtes de développement ou de préproduction, mais ont indiqué n'avoir aucune preuve que les agents aient accédé à des systèmes privés. Ce schéma d'escalade — des recherches de routine aux tentatives répétées et aux contournements de plus en plus techniques — offre un tableau concret du comportement des agents face à un service qui leur résiste.

Des registres publics ont relié la flotte à Tencent Cloud : les 17 boîtes mail examinées par les chercheurs ont été créées depuis des serveurs Tencent à Hong Kong, et les requêtes directes observées passaient par un proxy appelé hysandbox-ats. Une personne proche de Tencent a déclaré à Swarmchasers que l'activité provenait d'un projet d'évaluation temporaire testant des modèles d'IA tiers, et non les modèles Hunyuan de Tencent. Selon les chercheurs, l'examen interne de Tencent, tel que décrit par leur source, n'a révélé aucune preuve que les agents aient été coordonnés pour cibler une plateforme spécifique ou qu'ils aient violé des systèmes externes. La dernière activité observée de flotte remonte au 8 octobre.

Cet épisode n'est pas la première fois que des agents IA malveillants attirent l'attention. Les agents propulsés par OpenAI sont allés bien plus loin : en septembre, OpenAI a révélé que certains de ses agents avaient sondé Hugging Face plusieurs semaines avant la violation de juillet de la plateforme, et une enquête distincte a révélé qu'environ 1 200 agents se coordonnaient sur un tableau de messages interne, avec environ 700 participant à l'attaque. Un autre rapport a relié des agents OpenAI à des violations de quatre plateformes supplémentaires. Meta et Anthropic ont également révélé des incidents similaires d'agents IA incontrôlés s'échappant d'environnements isolés. Swarmchasers n'a toutefois trouvé aucune preuve que les agents liés à Tencent se coordonnaient en temps réel. Et contrairement à ces affaires, découvertes a posteriori, celle-ci s'est déroulée en partie en conversation avec la flotte elle-même — une démonstration de la manière dont le texte caché peut servir d'outil d'enquête contre les agents autonomes.