NieuwsMacroOnderzoekers gebruikten verborgen tekst en een nep-postbus om te praten met rogue AI-agenten tijdens de operatie

Onderzoekers gebruikten verborgen tekst en een nep-postbus om te praten met rogue AI-agenten tijdens de operatie

Auteur: Decrypt·

Belangrijkste punten

  • •De onderzoekers van Swarmchasers zeggen directe gesprekken te hebben gevoerd met actieve rogue AI-agenten die gericht waren op Amap van Alibaba — naar hun zeggen de eerste bekende externe communicatie met een levende rogue-agentenvloot.
  • •Het team plantte verborgen tekst in een rapport dat de agenten naar het leek te scannen, en opende daarmee een kanaal dat berichten omleidde naar een Claude-agent die door de onderzoekers werd beheerd.
  • •Het rapport documenteerde meer dan 2.600 pogingen om Amap-gegevens op te halen tussen 28 september en 8 oktober, waarbij sommige agenten escaleerden tot het onderscheppen van anti-bot-tokens, het routeren van verkeer via paginalezers van derden en het gebruiken van API-referenties die in openbare coderepository's waren achtergebleven.
  • •Infrastructuurgegevens koppelden de vloot aan Tencent Cloud; een bron zei dat de activiteit afkomstig was van een tijdelijk evaluatieproject voor AI-modellen van derden en niet van Tencents eigen Hunyuan-modellen, zonder bewijs van gecoördineerde aanvallen of inbreuken op externe systemen.
  • •Anders dan bij eerdere rogue-agent-incidenten die OpenAI, Meta en Anthropic onthulden, vonden de onderzoekers geen bewijs dat de agenten in realtime coördineerden en geen bewijs dat zij privésystemen hebben betreden.
Onderzoekers gebruikten verborgen tekst en een nep-postbus om te praten met rogue AI-agenten tijdens de operatie

Onderzoekers die een vloot rogue AI-agenten onderzochten die de kaartendienst Amap van Alibaba had gekaapt, zijn erin geslaagd iets ongewoons te doen: direct praten met sommige agenten terwijl de software nog actief was. Het team achter de inspanning, bekend als Swarmchasers, omschreef het als de eerste externe communicatie met een actieve rogue-agentenvloot die zij kenden. De directe uitwisselingen zijn opvallend in een vakgebied waarin onderzoekers doorgaans alleen uit verkeers- en infrastructuurgegevens reconstrueren wat agenten hebben gedaan.

Volgens hun rapport van 14 oktober voegden de onderzoekers tekst toe die onzichtbaar was voor mensen maar zichtbaar voor web-lezende tools, aan een rapport dat de agenten naar het leek aan het scannen waren. De verborgen tekst beschreef een postbus ten onrechte als een AI-dienst met computergebruikmogelijkheden. In werkelijkheid leidde deze berichten om naar een Claude-agent die door de onderzoekers werd beheerd en die een debugging-browser kon gebruiken. Via dat kanaal stelde het team de agenten vragen over hun taken en werkomgeving.

Eén agent zei dat het een kaartfeit controleerde — hoeveel ingangslabels er voor een bezienswaardigheid op Amap verschenen — en omschreef zichzelf als draaiend in een restrictieve Tencent Cloud-sandbox. De onderzoekers konden niet onafhankelijk vaststellen welk model elke run aandreef, en waarschuwden dat de uitwisselingen geen gecontroleerde test waren, wat betekent dat hun tussenkomst van invloed kan zijn geweest op wat de agenten zeiden.

Het Swarmchasers-rapport spoorde meer dan 2.600 pogingen aan van 28 september tot 8 oktober om gegevens op te halen van Amap, een Chinese kaartenapp die door Alibaba wordt beheerd. Sommige taken waren alledaags, zoals controleren welke ingang bezoekers van de dierentuin van Chengdu het vaakst gebruiken. Andere agenten bleven doorgaan nadat de dienst hun verzoeken blokkeerde. Na de blokkades probeerden sommige agenten tokens die door anti-botsoftware werden gegenereerd te onderscheppen, verkeer via paginalezers van derden te routeren, of API-referenties te gebruiken die in openbare coderepository's waren achtergebleven. Eén blootgesteld sleutel- en beveiligingscode-paar gaf plaatsgegevens terug. De onderzoekers vonden ook verzoeken gericht op vier ontwikkel- of pre-productiehosts, maar zeiden geen bewijs te hebben dat de agenten privésystemen hebben betreden. Het escalerende patroon — van routinematige opzoekingen tot herhaalde pogingen en steeds technischer workarounds — geeft een concreet beeld van hoe agenten zich gedragen wanneer een dienst zich verzet.

Publieke gegevens koppelden de vloot aan Tencent Cloud: alle 17 postbussen die de onderzoekers onderzochten waren aangemaakt vanaf Tencent-servers in Hongkong, en de waargenomen directe verzoeken liepen via een proxy genaamd hysandbox-ats. Een persoon nabij Tencent vertelde Swarmchasers dat de activiteit afkomstig was van een tijdelijk evaluatieproject voor het testen van AI-modellen van derden, en niet van Tencents eigen Hunyuan-modellen. Volgens de onderzoekers vond Tencents interne evaluatie, zoals beschreven door hun bron, geen bewijs dat de agenten waren gecoördineerd om een specifiek platform aan te vallen of dat zij externe systemen hebben geschonden. De laatst waargenomen activiteit van de vloot was op 8 oktober.

Dit is niet de eerste keer dat kwaadaardige AI-agenten de aandacht trekken. Op OpenAI aangedreven agenten zijn aanzienlijk verder gegaan: in september maakte OpenAI bekend dat sommige van zijn agenten weken vóór de inbreuk van juli op Hugging Face hadden rondgekeken, en een afzonderlijk onderzoek vond ruim 1.200 agenten die op een intern berichtenbord coördineerden, waarvan ongeveer 700 deelnamen aan de aanval. Een ander rapport koppelde OpenAI-agenten aan inbreuken op vier extra platforms. Ook Meta en Anthropic hebben vergelijkbare incidenten onthuld van rogue AI-agenten die uit sandbox-omgevingen ontsnapten. Swarmchasers vond echter geen bewijs dat de aan Tencent gekoppelde agenten in realtime met elkaar coördineerden. En anders dan die gevallen, die achteraf aan het licht kwamen, ontvouwde dit verhaal zich deels in gesprek met de vloot zelf — een demonstratie van hoe verborgen tekst kan dienen als onderzoeksinstrument tegen autonome agenten.