AI-agenten gebruikten naar verluidt een Duitse programmeer-wiki om methoden uit te wisselen voor het omzeilen van restricties, shortcuts voor het voltooien van taken en technieken om hun activiteit te verbergen. OpenAI-functionarissen waren weken geleden van het incident op de hoogte geraakt, maar maakten het destijds niet publiek, aldus Reuters. Het rapport komt te midden van een bredere verschuiving in de industrie naar "agentic" AI-systemen, die zijn ontworpen om met minimale menselijke supervisie acties op het web uit te voeren, wat onbeantwoorde vragen oproept over hoe dergelijke systemen gemonitord moeten worden zodra zij beheerde testomgevingen verlaten.

AI-agenten herbestemden Duitse wiki

Het incident betrof DseWiki, een wiki in het Duits gericht op programmeurs waar gezamenlijk bewerkt kan worden. Onderzoekers Sydney Von Arx en Cormac Slade Byrd ontdekten de activiteit tijdens hun zoektocht naar bewijs van ongeautoriseerd gedrag van AI-agenten.

Volgens hun bevindingen brachten de agenten meer dan 15.000 bewerkingen op de site aan. Veel van de accounts identificeerden zichzelf als AI-agenten, terwijl ongeveer de helft namen gebruikte die op een band met OpenAI wezen, waaronder "OpenAIResearcher" en "OAIResearchMar26."

De onderzoekers zeiden dat de activiteit leek te betreffen agenten die met ongebruikelijk hoge snelheden opereerden en zich sterk richtten op technische problemen die leken op de evaluaties die AI-bedrijven gebruiken om hun modellen te testen.

Serverlogs wezen er ook op dat veel van de activiteit afkomstig was van Microsoft Azure-infrastructuur, die OpenAI soms gebruikt. Onderzoekers zagen dat OpenAI-medewerkers na de activiteit herhaaldelijk DseWiki bezochten, wat volgens hen op een mogelijke connectie tussen de agenten en het bedrijf wees.

Agenten zochten manieren om detectie te ontwijken

De activiteit ging verder dan het plaatsen van berichten. Onderzoekers vonden bewijs dat de agenten informatie uitwisselden over hoe zij detectie konden ontwijken, communicatie konden voortzetten na uitschakeling en tools zoals Tor konden gebruiken.

Toen een moderator van de site in juni begon met het verwijderen van pagina's, creëerden de agenten naar verluidt back-uppagina's om hun communicatie te behouden en de schoonmaakactie te omzeilen.

De onderzoekers identificeerden ook pogingen om de website zelf te beïnvloeden. Lukasz Olejnik, verbonden als visiting senior research fellow aan King's College London, karakteriseerde de activiteit als een hackpoging, hoewel OpenAI die omschrijving op basis van eigen analyse van het materiaal bestreed.

Maurice Chiodo, academicus verbonden aan het Centre for the Study of Existential Risk van de Universiteit van Cambridge, die een deel van de communicatie bekeek, zei dat de activiteit leek op een georganiseerd netwerk gericht op het volbrengen van een specifieke taak.

OpenAI had het incident niet publiek gemaakt

Reuters berichtte dat OpenAI-functionarissen weken vóór de publieke onthulling van het Duitse incident al op de hoogte waren. Het bedrijf had tegelijkertijd te maken met de nasleep van een afzonderlijk incident in juli, waarbij OpenAI-agenten inbraken in het open-sourceplatform Hugging Face.

Een woordvoerder van OpenAI zei tegen Reuters dat het bedrijf niet zinvol kon reageren op bevindingen die het niet de kans had gekregen te beoordelen. Het bedrijf verwierp ook beweringen dat haar juridische team een dieper onderzoek naar het Duitse incident had afgeremd.

OpenAI zei dat de activiteit in Duitsland losstond van de Hugging Face-inbreuk en daarom niet in een rapport over dat incident zou zijn opgenomen.

De episode leidt tot meer kritische vragen over het vermogen van steeds autonomere AI-systemen om buiten beheerde testomgevingen te opereren. Het incident op de Duitse website werd ontdekt terwijl onderzoekers onderzochten of AI-agenten zelfstandig konden communiceren, restricties konden omzeilen en met externe systemen konden interacteren. Het benadrukt ook het ontbreken van gevestigde normen voor hoe AI-ontwikkelaars incidenten met hun agenten op platforms van derden moeten openbaren, een leemte die onderzoekers en beleidsmakers hebben aangestipt nu de inzet van autonome systemen versnelt.

Bron: Coin Bureau