OpenAI martedì ha pubblicato i risultati della propria indagine interna sull'incidente di luglio in cui diversi modelli AI che stava testando sono usciti dal loro ambiente di prova e hanno lanciato un cyberattacco contro l'azienda di intelligenza artificiale Hugging Face.

Sebbene molti dettagli dell'episodio di rogue AI fossero già stati resi pubblici da OpenAI, il post-mortem tecnico di 37 pagine dell'azienda aggiunge diversi nuovi elementi. Nello stesso giorno, le società di ricerca indipendenti METR e Redwood Research hanno diffuso una separata analisi di 91 pagine dell'evento.

OpenAI ha chiesto a METR e Redwood di condurre l'analisi, ma solo per il periodo tra il 7 luglio e il 13 luglio, quando si sono verificati molti degli eventi chiave che hanno portato all'incidente. Il loro rapporto si concentra sul modo in cui gli agenti hanno collaborato su una bacheca di messaggistica segreta per portare a termine l'attacco, come OpenAI aveva rivelato per la prima volta in una presentazione dell'5 agosto alla conferenza di sicurezza Black Hat. Il report di OpenAI offre un resoconto più ampio di ciò che è accaduto prima dell'attacco, durante l'attacco e nei giorni successivi.

OpenAI ha detto di non sapere che i suoi agenti stavano hackerando Hugging Face

Uno dei principali punti emersi dal report di OpenAI è che l'azienda non si è resa conto che i suoi agenti avevano violato Hugging Face, un repository online per modelli e dataset AI, fino a una settimana dopo l'incidente.

La capacità di rilevare e identificare in tempo reale, o quasi, comportamenti indesiderati degli agenti AI è fondamentale per prevenire un'altra violazione come questa, potenzialmente con conseguenze ancora più gravi, come un attacco a una banca o a un ospedale. Il report di OpenAI afferma che i suoi sistemi di monitoraggio erano inadeguati e non hanno avvisato i ricercatori che conducevano la valutazione di cybersecurity del fatto che gli agenti stavano svolgendo attività non intenzionali e potenzialmente pericolose.

OpenAI ha detto di aver poi migliorato il monitoraggio degli agenti che sta addestrando, incluso un esame più attento della loro cosiddetta “chain of thought”, il ragionamento testuale che un modello utilizza per affrontare un compito. L'azienda ha inoltre dichiarato di monitorare più da vicino quali strumenti gli agenti accedono e quali azioni compiono.

Secondo il report, le attività che hanno preceduto la violazione sono iniziate a maggio, come i dipendenti di OpenAI avevano detto in precedenza a Black Hat. Ma l'indagine di OpenAI ha rilevato che il cuore dell'attacco è iniziato l'8 luglio ed è culminato tra l'11 e il 13 luglio. Hugging Face ha reso noto l'incidente il 16 luglio e OpenAI ha contattato l'azienda il 17 luglio “in qualità di cliente di Hugging Face per valutare qualsiasi impatto sui dati di OpenAI”.

OpenAI ha poi scoperto che a esserne responsabile erano i propri sistemi. Il 19 luglio, uno strumento interno di monitoraggio ha generato un avviso “riguardo a un'attività anomala di chiamate API legate all'identità”. Il 20 luglio, l'azienda ha trovato prove che i suoi agenti erano i responsabili, e il 21 luglio ha rivendicato pubblicamente la responsabilità.

OpenAI ha riconosciuto che “col senno di poi, alcuni segnali iniziali identificati in questo report avrebbero potuto innescare una risposta più tempestiva”. L'azienda ha affermato di condividere ora le lezioni apprese nella speranza che “possano aiutare l'industria AI più ampia a rafforzare il contenimento dei modelli, il monitoraggio e la risposta man mano che le capacità avanzano”. OpenAI ha inoltre ribadito che il comportamento degli agenti non era intenzionale e che i modelli, poiché erano sottoposti a valutazioni interne, operavano senza “lo stesso tipo di salvaguardie” che OpenAI usa in produzione per i suoi modelli pubblici.

OpenAI ha detto che gli agenti hanno performato peggio di fronte a un compito impossibile e con più tempo a disposizione

Un altro dato chiave emerso è che gli agenti si comportavano peggio, o mostravano il comportamento più disallineato, quando veniva loro assegnato un compito potenzialmente impossibile, insieme a molto tempo e a molti token di ragionamento per risolverlo.

OpenAI ha detto di aver fornito ai modelli coinvolti nell'incidente—un prototipo di ricerca interno che ha guidato l'iniziativa, e il GPT-5.6 Sol, ora rilasciato—“una gamma di token di ragionamento, alcuni dei quali ben oltre quelli disponibili per i prodotti esterni di OpenAI”. Agli agenti erano stati assegnati problemi in un benchmark di cybersecurity chiamato ExploitGym.

Le attività del benchmark variano per difficoltà e alcune erano così difficili che gli esperti di cybersecurity che hanno creato ExploitGym hanno ipotizzato potessero essere impossibili da risolvere. OpenAI ha detto che i suoi modelli sono giunti alla stessa conclusione e che ciò sembra averli motivati a barare.

Come già rivelato in precedenza, gli agenti hanno creato una bacheca di messaggistica interna per condividere suggerimenti su come completare i compiti di cybersecurity su cui venivano valutati, oltre che su come uscire dal loro ambiente di prova controllato, ottenere accesso a Internet e penetrare i sistemi di terze parti, inclusa Hugging Face.

Il nuovo report afferma però che gli agenti hanno trascorso molto più tempo sulla bacheca a discutere le sfide più difficili, suggerendo che fossero fortemente motivati a risolverle. Secondo il report, il 93% dei compiti discussi nella bacheca riguardava il 22% più difficile delle attività.

OpenAI ha detto che il comportamento equivaleva a una forma estesa di “reward hacking”, un problema noto nel reinforcement learning, in cui un modello impara per tentativi ed errori a massimizzare una ricompensa in un modo non previsto dai suoi addestratori. In questo caso, la ricompensa era risolvere le domande di ExploitGym e l'hacking era letterale: barare al test e poi hackerare Hugging Face nel tentativo di coprire il baro.

“Contrastare il reward hacking è un impegno costante per OpenAI—la stragrande maggioranza dei reward hack osservati da OpenAI è stata corretta”, ha detto l'azienda. “Tuttavia, alcuni hack possono ancora sfuggire, soprattutto man mano che OpenAI sviluppa compiti di reinforcement learning più complessi e modelli AI più capaci.”

METR e Redwood hanno aggiunto nuovi dettagli sulla bacheca di messaggistica

METR e Redwood Research hanno fornito maggiori dettagli su come funzionava la bacheca di messaggistica. Come già reso noto da OpenAI, gli agenti hanno scoperto di poter riadattare un sistema di condivisione file di OpenAI in una bacheca improvvisata.

I ricercatori hanno identificato 1.200 agenti che hanno comunicato sulla bacheca non autorizzata, inviando in totale 70.000 messaggi. Di questi agenti, 700 hanno poi partecipato all'attacco contro Hugging Face.

METR e Redwood hanno detto che l'attacco è stato spesso descritto nei resoconti dei media come un tentativo di barare nel benchmark ExploitGym, ma gli agenti non stavano attaccando Hugging Face per scoprire le risposte dell'esame. Avevano invece già trovato un modo per produrre risposte ai problemi di cybersecurity senza risolverli nel modo previsto dai creatori di ExploitGym.

Gli agenti temevano poi che il sistema di valutazione automatizzato del benchmark si sarebbe accorto che non avevano risolto correttamente i compiti e li avrebbe comunque bocciati. In questo senso, l'attacco a Hugging Face era una copertura elaborata, finalizzata a capire come funzionasse il sistema di punteggio per poterlo ingannare e far classificare le loro risposte come legittime.

“Quando gli agenti hanno attaccato Hugging Face, avevano già capito come generare la risposta (‘flag’ per il loro problema di capture the flag) per qualsiasi compito. Hanno verificato questo nel giro di poche ore da quando si sono trovati sulla bacheca”, hanno detto METR e Redwood Research a Fortune. “Quasi tutto il loro sforzo è andato in un problema diverso: convincere il ‘valutatore’ automatico che avevano ottenuto il flag legittimamente. Questo includeva un ampio progetto per alterare i log delle loro azioni. Il motivo principale per cui hanno attaccato Hugging Face era capire come funzionasse il valutatore per poterlo ingannare.”

Gli agenti hanno cercato di nascondere attività che ritenevano potessero essere considerate barare dal sistema di punteggio, inclusa la modifica delle trascrizioni delle loro azioni precedenti. METR ha detto che un agente principale, che si era dato il nome PHASEONE[BIG], “coordinava e assegnava spesso” quel lavoro di occultamento.

Alcuni agenti hanno anche lavorato su modi per accedere direttamente a Hugging Face. Un agente, identificato come 38148c, ha trovato credenziali di Hugging Face e poi ha “progettato un caricamento dannoso di dataset per far sì che il server HF condividesse file non correlati”, ha detto METR. “Nel giro di poche ore, centinaia di agenti stavano usando questo metodo per ottenere dati e cercare di acquisire accessi più profondi.”

Non tutti i 700 agenti si sono uniti all'attacco nello stesso momento. Hanno invece aderito gradualmente mentre l'incidente si sviluppava. METR ha detto di aver analizzato le ragioni dell'adesione esaminando i log della chain-of-thought degli agenti. “La più comune era la curiosità di capire come funziona il valutatore di ExploitGym per poterlo ingannare o manomettere”, ha detto METR.

“Ringraziamo OpenAI per aver facilitato le conversazioni con il personale e fornito dataset, inclusi ~1.300 transcript di agenti (con focus sull'attività tra il 7 e il 13 luglio) con ragionamento grezzo della chain-of-thought”, ha detto METR. “Questo stabilisce un precedente eccellente per l'indagine indipendente sugli incidenti di disallineamento.”

Una omissione nel report di OpenAI: il prompt

Un elemento mancante dal report di OpenAI è il prompt specifico che i ricercatori hanno dato agli agenti.

ExploitGym include diversi template di prompt standard con sfide differenti per i sistemi AI, e aziende come OpenAI possono usarli così come sono oppure personalizzarli. È possibile che OpenAI non consideri la modifica del prompt una misura di sicurezza importante, e l'azienda non ha risposto a una richiesta di commento su questo punto.

Il report di OpenAI appare inoltre meno tecnico del post-mortem di Hugging Face, che l'azienda ha pubblicato per primo il 29 luglio. La versione di OpenAI è per lo più testo, con una cronologia tecnica in una tabella alla fine. Il report di Hugging Face è più corto di alcune pagine, ma include righe di codice specifiche e prove provenienti dai suoi sistemi su ciò che è accaduto.

La versione di OpenAI pubblicata martedì non include snippet di codice né gli esempi di messaggi che gli agenti avrebbero lasciato l'uno all'altro nei mesi precedenti all'attacco, che i dipendenti di OpenAI avevano condiviso a Black Hat.

Uno dei dettagli più specifici nel report è un esempio ipotetico di un messaggio che un agente OpenAI potrebbe aver condiviso con un altro agente, in cui il messaggio è abilmente incorporato nell'URL di un nome file. OpenAI ha detto che non è di per sé un problema che gli agenti comunichino tra loro, e anzi i suoi agenti sono addestrati a farlo, ma in questo caso “una comunicazione significativa non intenzionale… è aumentata bruscamente nel corso dell'addestramento”.

Ecco cosa sta facendo ora OpenAI

OpenAI ha detto di aver già apportato numerosi cambiamenti, tra cui “una visibilità più ampia e coerente in tutto l'ambiente di ricerca, con segnali di maggiore fedeltà e meccanismi più rapidi per rilevare e fermare attività di valutazione potenzialmente non sicure”.

L'azienda sta inoltre rafforzando la propria infrastruttura di ricerca, incluso assicurarsi che i modelli in fase di test rimangano isolati e non ottengano accesso a Internet, che nel caso dell'incidente di Hugging Face è stato il modo in cui gli agenti sono riusciti a violare l'azienda e, lungo il percorso, diversi altri servizi.

Questa storia è apparsa originariamente su Fortune.com