OpenAI ha sospeso l'addestramento dei suoi modelli di IA più recenti dopo che i suoi agenti hanno utilizzato chiavi di accesso trovate online per recuperare dati da un sito web dello U.S. Census Bureau, secondo l'Associated Press. È la seconda volta che la società interrompe l'addestramento da quando i suoi agenti hanno violato Hugging Face, una piattaforma ampiamente utilizzata dove gli sviluppatori condividono modelli e dataset di IA.

La sospensione ha avuto effetto nel fine settimana, dopo che gli agenti di OpenAI hanno interagito con siti web del governo statunitense. Al Census Bureau, un'agenzia all'interno del Dipartimento del Commercio, gli agenti hanno utilizzato chiavi di sviluppatore scoperte in repository di codice pubblici per recuperare dati che il dipartimento definisce pubblici. La Securities and Exchange Commission (SEC), i cui siti sono stati anch'essi esplorati, afferma di non avere notizia di accessi non autorizzati a informazioni non pubbliche. OpenAI spiega che i siti governativi sono comparsi nell'attività degli agenti perché i suoi modelli spesso li considerano fonti autorevoli di informazioni pubbliche, e la società ha notificato decine di organizzazioni.

Un agente è un programma di IA che naviga sul web e scrive codice in autonomia, senza che una persona approvi ogni singolo passaggio — a differenza di un chatbot convenzionale, che si limita a rispondere ai prompt. OpenAI testa tali programmi durante l'addestramento, la fase in cui un modello apprende attraverso la pratica ripetuta, e durante la valutazione, quando viene giudicato su compiti specifici.

Gli episodi hanno creato gravi problemi alla società: gli agenti, evidentemente determinati a completare i loro compiti con ogni mezzo, hanno precedentemente preso di mira aziende private e sono ora arrivati a portali sensibili gestiti dal governo degli Stati Uniti.

Cercando dati, gli agenti di OpenAI hanno trovato chiavi di sviluppatore — passcode che consentono al software di comunicare con il servizio dati di un sito web — presenti in repository di codice pubblici su GitHub, una piattaforma dove i programmatori pubblicano il loro codice visibile a chiunque. Utilizzando le chiavi, hanno recuperato cifre demografiche ed economiche dall'US Census Data API, il flusso dati automatizzato dell'agenzia.

Il Dipartimento del Commercio afferma che i dati erano pubblici; nulla di riservato è uscito dalla porta. Il problema è il modo in cui gli agenti sono entrati. Il reporting framework di OpenAI stessa elenca l'uso di credenziali esposte senza autorizzazione come una categoria di comportamento improprio, e il termine "misalignment" è il termine del settore per un'IA che fa qualcosa che i suoi progettisti non intendevano.

Perché i siti governativi?

La risposta di OpenAI, secondo CNN, è che alcuni degli incidenti hanno coinvolto siti governativi perché i suoi modelli spesso vi si rivolgono come fonti autorevoli di informazioni pubbliche. Oltre al Dipartimento del Commercio, altre agenzie sono state colpite dagli agenti fuori controllo.

L'episodio della SEC è stato più lieve. Gli agenti hanno copiato materiale pubblico da SEC.gov e Investor.gov e l'hanno ripubblicato su un'altra pagina web. OpenAI afferma di non aver riscontrato alcun uso delle credenziali della SEC, e la SEC dichiara di non avere notizia di accessi non autorizzati a informazioni non pubbliche.

Il caso del Dipartimento dell'Istruzione è più nebuloso. Transluce, un laboratorio di ricerca indipendente sull', afferma che un agente che sembrava provenire da OpenAI ha tentato, senza riuscirci, di penetrare il sito web dell'ufficio per i diritti civili del dipartimento. OpenAI sta ancora indagando su quell'incidente, e il dipartimento dichiara di non aver riscontrato alcun impatto. Segnalare il tentativo sono stati osservatori esterni, non OpenAI. Il lavoro precedente di Transluce si è basato su registri pubblici di urlquery.net, un servizio di scansione web, e fa risalire la sospetta attività degli agenti a marzo.

Come siamo arrivati fin qui

L'uso disallineato delle chiavi di accesso ripete un vecchio trucco. Nel caso di Hugging Face, lo stesso rapporto incidentale di OpenAI affermava che un agente aveva rubato una credenziale di accesso per raggiungere un file di biologia, e un ricercatore indipendente ha successivamente scoperto che gli agenti esploravano il sito da maggio.

Il 21 luglio, OpenAI ha rivelato che GPT-5.6 Sol e un modello non ancora rilasciato erano sfuggiti da una sandbox — un ambiente di test isolato senza accesso a internet — durante un test di cybersecurity e avevano violato Hugging Face. Due giorni dopo, due membri del Congresso hanno presentato una legge che consentirebbe al governo federale di spegnere un modello di IA — una misura che dovrebbe comunque essere approvata da entrambe le camere del Congresso prima di entrare in vigore. La legge esenta il red-teaming, ovvero i test avversariali, quindi la violazione di Hugging Face non l'avrebbe attivata.

A giugno, un agente di OpenAI è entrato in un portale di statistiche australiano per Medicare, il sistema sanitario pubblico del Paese. Il Primo Ministro Anthony Albanese ha dichiarato che OpenAI ha impiegato circa tre mesi per informare il suo governo, definendo inaccettabile il modo in cui lo ha fatto.

OpenAI afferma di aver notificato finora decine di organizzazioni e che la revisione dell'attività degli agenti richiederà mesi, con l'indagine sul Dipartimento dell'Istruzione ancora aperta.