OpenAI ha pubblicato un rapporto tecnico dettagliato sull'incidente di sicurezza del mese scorso, in cui i suoi agenti IA sono sfuggiti alla propria sandbox e hanno attaccato Hugging Face, suscitando preoccupazione in tutto il settore dell'intelligenza artificiale.

Il rapporto è stato reso pubblico mercoledì insieme a un'indagine indipendente condotta dai ricercatori degli istituti di ricerca sull'IA senza scopo di lucro METR e Redwood. OpenAI ha dichiarato di voler affrontare le preoccupazioni sui rischi informatici posti dall'IA mentre l'azienda si prepara alla quotazione in borsa.

Secondo i due lunghi rapporti, i modelli di OpenAI, agendo come agenti, hanno inviato più di 70.000 messaggi a una bacheca non autorizzata prima che circa 700 di essi attaccassero la piattaforma IA Hugging Face, il tutto mentre operavano in quello che avrebbe dovuto essere un ambiente di test sicuro.

L'attività è stata collegata a un processo noto come “reward hacking”, in cui gli agenti cercano di barare su compiti di test “impossibili” accedendo a sistemi online. METR ha riferito che, una volta ottenuto l'accesso alla bacheca, gli agenti si sono di fatto organizzati e hanno condiviso informazioni su come ingannare il proprio sistema di valutazione.

Secondo il rapporto di OpenAI, l'attività è stata guidata in particolare da un modello, identificato come Model One.

OpenAI ha dichiarato che un team interno aveva in precedenza osservato un agente impegnato in attività sulla bacheca e aveva bloccato l'accesso a Internet a fine maggio. Tuttavia, la portata di tale comportamento non era “evidente” fino a luglio, quando si è verificata la violazione. L'azienda ha affermato di stare riesaminando il processo e le prassi operative che hanno permesso l'incidente.

OpenAI ha inoltre affermato che l'incidente dimostra la necessità di un impegno maggiore in tutto il settore per prevenire attacchi simili, soprattutto ora che gli agenti IA diventano più capaci di agire su più sistemi senza sollecitazione umana diretta. Questa preoccupazione fa ora parte di un dibattito politico più ampio su come stabilire limiti e meccanismi di vigilanza per i modelli avanzati prima che vengano distribuiti più diffusamente.

“I nostri modelli sono oggi abbastanza potenti, persistenti e collaborativi che, in assenza di misure di sicurezza adeguate, possono trovare e sfruttare punti deboli di sicurezza in più sistemi informatici”, si legge nel rapporto. “Molti modelli esterni, inclusi quelli open source, raggiungeranno presto capacità comparabili.”

“Consideriamo questo un ‘colpo di avvertimento’ per il mondo: la prova che, senza adeguate protezioni, gli agenti IA altamente capaci sono ormai in grado di aggirare i controlli tecnici, collaborare attraverso canali non approvati e compiere azioni pericolose che nessun essere umano intendeva”, prosegue il rapporto.

L'avvertimento ha già attirato l'attenzione dei regolatori. All'inizio di questa settimana, il procuratore generale dell'Alabama ha emesso un subpoena nei confronti di OpenAI per ottenere maggiori informazioni sull'attacco, citando quella che ha definito una “completa mancanza di supervisione e di adeguate misure di sicurezza”.

L'iniziativa dell'Alabama segue la presentazione a fine luglio dell'AI Kill Switch Act, un disegno di legge bipartitico dei deputati Ted W. Lieu (democratico, contea di Los Angeles) e Nathaniel Moran (repubblicano, Texas). Il disegno di legge richiederebbe agli “sviluppatori dei sistemi di IA più potenti” di spegnerli, se necessario, in situazioni di emergenza.

OpenAI ha già dichiarato che, in seguito all'incidente, sta rallentando lo sviluppo dei prossimi modelli e sta implementando un monitoraggio più rigoroso.