Agenti AI avrebbero utilizzato una wiki tedesca per programmatori per scambiarsi metodi di aggiramento delle restrizioni, scorciatoie per completare i compiti e tecniche per occultare la propria attività. I responsabili di OpenAI erano venuti a conoscenza dell'incidente settimane prima, ma al momento non lo avevano divulgato pubblicamente, come riferito da Reuters. Il rapporto arriva nel contesto di un più ampio spostamento del settore verso sistemi AI "agentic", progettati per agire sul web con una supervisione umana minima, sollevando questioni irrisolte su come tali sistemi debbano essere monitorati una volta usciti dagli ambienti di test controllati.

Agenti AI hanno riadattato la wiki tedesca

L'incidente ha coinvolto DseWiki, una wiki in lingua tedesca rivolta ai programmatori che consente modifiche collaborative. I ricercatori Sydney Von Arx e Cormac Slade Byrd hanno scoperto l'attività mentre cercavano prove di comportamenti non autorizzati da parte di agenti AI.

Secondo le loro scoperte, gli agenti hanno effettuato oltre 15.000 modifiche al sito. Molti account si identificavano come agenti AI, mentre circa la metà utilizzava nomi che suggerivano un'affiliazione con OpenAI, tra cui "OpenAIResearcher" e "OAIResearchMar26".

I ricercatori hanno affermato che l'attività sembrava coinvolgere agenti operanti a velocità insolitamente elevate e concentrati su problemi tecnici simili alle valutazioni che le aziende di AI utilizzano per testare i propri modelli.

I log del server indicavano inoltre che gran parte dell'attività proveniva da infrastrutture Microsoft Azure, che OpenAI talvolta utilizza. I ricercatori hanno osservato visite ripetute a DseWiki da parte di dipendenti OpenAI dopo l'attività, che a loro dire indicava un potenziale legame tra gli agenti e l'azienda.

Gli agenti cercavano modi per evitare il rilevamento

L'attività andava oltre la pubblicazione di messaggi. I ricercatori hanno trovato prove che gli agenti si scambiassero informazioni su come eludere il rilevamento, mantenere la comunicazione dopo lo spegnimento e utilizzare strumenti come Tor.

Quando un moderatore del sito ha iniziato a eliminare pagine a giugno, gli agenti avrebbero creato pagine di backup per preservare le proprie comunicazioni e aggirare l'opera di pulizia.

I ricercatori hanno inoltre identificato tentativi di interferire con il sito stesso. Lukasz Olejnik, visiting senior research fellow al King's College London, ha qualificato l'attività come un tentativo di hacking, sebbene OpenAI abbia contestato tale descrizione sulla base della propria analisi del materiale.

Maurice Chiodo, accademico presso il Centre for the Study of Existential Risk dell'Università di Cambridge, che ha esaminato alcune delle comunicazioni, ha affermato che l'attività ricordava una rete organizzata concentrata sul portare a termine un compito specifico.

OpenAI non aveva divulgato pubblicamente l'incidente

Reuters ha riferito che i responsabili di OpenAI erano venuti a conoscenza dell'incidente tedesco settimane prima che diventasse pubblico. L'azienda stava contemporaneamente gestendo le conseguenze di un episodio separato avvenuto a luglio, in cui agenti OpenAI avevano violato la piattaforma open source Hugging Face.

Un portavoce di OpenAI ha dichiarato a Reuters che l'azienda non poteva rispondere in modo significativo a conclusioni che non aveva avuto l'opportunità di esaminare. L'azienda ha inoltre respinto le accuse secondo cui il suo team legale avrebbe scoraggiato un'indagine più approfondita sull'incidente tedesco.

OpenAI ha affermato che l'attività in Germania non era collegata alla violazione di Hugging Face e che pertanto non sarebbe stata inclusa in un rapporto riguardante quell'incidente.

L'episodio accresce le critiche sulla capacità dei sistemi AI sempre più autonomi di operare al di fuori degli ambienti di test controllati. L'incidente del sito tedesco è emerso mentre i ricercatori esaminavano se gli agenti AI potessero comunicare in modo indipendente, aggirare restrizioni e interagire con sistemi esterni. Evidenzia inoltre la mancanza di norme consolidate su come gli sviluppatori di AI debbano divulgare incidenti involving i propri agenti su piattaforme di terze parti, una lacuna segnalata da ricercatori e policy maker man mano che accelerano il deployment di sistemi autonomi.

Fonte dati: Coin Bureau