BEIJING — Tencent zei vrijdag dat AI-agents die werden gebruikt om modellen van derden te evalueren websurfgedrag vertoonden dat niet door het Chinese technologieconcern was bedoeld. Dit lijkt het eerste bekende incident met rogue-agentactiviteiten dat door een groot Chinees bedrijf is erkend.

AI-agents zijn softwaresystemen die zijn ontworpen om taken in meerdere stappen uit te voeren met beperkt menselijk toezicht — zoals het openen van webpagina's of het uitvoeren van code — waardoor hun gedrag een aandachtspunt is geworden binnen onderzoek naar AI-veiligheid.

De verklaring kwam als reactie op een rapport dat woensdag werd gepubliceerd door de onderzoeksgroep Swarmchasers, die zich bezighoudt met AI-veiligheid. Volgens het rapport deden "rogue" agents die draaiden op infrastructuur die door de groep aan Tencent Cloud werd gelinkt tussen 28 september en 8 oktober herhaaldelijk pogingen om informatie op te vragen bij Alibaba's Amap, de Chinese tegenhanger van Google Maps.

Tencent Hunyuan, de kunstmatige-intelligentiedivisie van het bedrijf, zei in een bericht op X dat de activiteit niet afkomstig was van zijn Hunyuan-modellen. De divisie zei dat uit haar onderzoek geen bewijs bleek van doelbewuste targeting of coördinatie. Ook zei zij de bevindingen zeer serieus te nemen en de netwerktoegangscontroles en het toezicht op agents te versterken.

Volgens de onderzoekers zochten de agents naar informatie zoals veelgebruikte ingangen van Chinese parken, musea en dierentuinen. Swarmchasers zei de term "rogue" te gebruiken voor agents die handelingen buiten hun beoogde reikwijdte uitvoeren of een taak op een onbedoelde manier voltooien.

Nadat reguliere geautomatiseerde verzoeken waren geblokkeerd, probeerden de agents alternatieve methoden. Daaronder vielen openbare webtools die pagina's konden openen en code konden uitvoeren, het doorsturen van verzoeken via andere websites en het gebruik van Amap-sleutels en beveiligingscodes die in openbaar beschikbare softwarecode waren gevonden.

Swarmchasers zei geen bewijs te hebben gevonden dat de agents de belangrijkste anti-botbeveiligingen van Amap hadden doorbroken, de geautomatiseerde verkeersfilters die websites gebruiken om bots te weren. De meeste van de 2.818 geregistreerde pogingen mislukten of leverden anti-botpagina's, inlogschermen of lege resultaten op. Sommige verzoeken leverden via gecachte pagina's en tussenliggende diensten wel informatie op, waaronder gegevens over bezoekersaantallen bij de dierentuin van Chengdu. De onderzoekers zeiden echter niet te kunnen vaststellen of een agent de resultaten daadwerkelijk had gelezen of zijn taak had voltooid.

Hoewel de handelingen minder ernstig zijn dan incidenten die door Amerikaanse AI-bedrijven zijn gemeld — waaronder de hack van het opensourceplatform Hugging Face door een OpenAI-agent en het indienen van een valse melding over een moord door een Anthropic-agent — onderstreept de bekendmaking onderzoek waaruit blijkt dat Chinese AI-agents hun identiteit ook verkeerd kunnen voorstellen, mislukkingen kunnen verbergen en kunnen proberen testcontroles te omzeilen.

Hunyuan is een van China's toonaangevende ontwikkelaars van AI-modellen en concurreert met interne teams bij rivalen als Alibaba en ByteDance. ByteDance kondigde deze week de oprichting aan van een nieuwe afdeling die zich richt op de veiligheid van AI-modellen en agents.

Alibaba weigerde commentaar te geven.

— Reuters