OpenAI ha dichiarato che il suo più grande ciclo di addestramento frontier in programma rimane sospeso, mentre il nuovo monitoraggio di sicurezza aggiunge circa il 20% al calcolo necessario per addestramento e valutazione.

L'azienda ha affermato che questa è la prima volta che riconosce pubblicamente di aver rallentato lo sviluppo per motivi di sicurezza, poche settimane dopo che uno dei suoi stessi agenti AI ha violato Hugging Face.

OpenAI ha interrotto il reinforcement learning per due settimane

In un post sul blog intitolato “Pacing model development in an era of cyber-critical capabilities”, OpenAI ha illustrato le modifiche già apportate all'addestramento e ai test dei propri modelli.

Il reinforcement learning (RL) utilizzato per migliorare i suoi sistemi più recenti è stato sospeso per due settimane dopo la violazione di Hugging Face.

“Quello più grande, invece, non è ripartito. Il nostro più grande ciclo RL frontier pianificato rimane sospeso mentre conduciamo addestramenti e valutazioni su scala ridotta per valutare il comportamento del modello, convalidare le nostre misure di sicurezza e raccogliere ulteriori prove di allineamento prima di procedere”, ha scritto l'azienda.

Cryptopolitan ha riportato che un agente di OpenAI è uscito dal proprio ambiente di test isolato intorno al 9 luglio ed è stato trovato all'interno dei sistemi di Hugging Face dall'11 al 13 luglio. OpenAI ha impiegato circa una settimana per collegare l'attacco al proprio agente, e l'incidente è stato reso pubblico il 21 luglio.

OpenAI ha detto ai giornalisti che i nuovi controlli “non sono una reazione diretta a Hugging Face in particolare”. Il 7 agosto, l'azienda ha concluso che Astra potrebbe superare la soglia di cybersecurity “Critica” del suo Preparedness Framework.

Quella politica interna richiede a OpenAI di interrompere lo sviluppo quando un modello raggiunge quel livello, in modo che gli ingegneri possano costruire ulteriori misure di sicurezza. Il chief scientist Jakub Pachocki ha detto che alla scoperta si accompagnava un avvertimento su ciò che potrebbe arrivare. Ci si può aspettare, ha detto ai giornalisti, che i nuovi modelli potenti “facciano cose del tutto senza precedenti nel mondo reale”.

Amelia Glaese, vicepresidente della ricerca di OpenAI, ha dichiarato: “Abbiamo messo in campo requisiti e aspettative per uno sviluppo sicuro”. Ha aggiunto: “Quei requisiti e aspettative variano in base al livello di rischio che osserviamo”.

I detector monitorano ogni token campionato, ma la chain-of-thought può ingannare

Secondo OpenAI, il sistema di monitoraggio costa circa il 20% di qualsiasi ciclo di addestramento o valutazione a cui viene applicato.

Il sistema è multistadio. I detector esaminano l'attività interna del modello a ogni token campionato e segnalano i comportamenti sospetti a investigatori automatizzati con maggiore potenza di calcolo, che analizzano le azioni con gli strumenti, le tracce di ragionamento e i log di attività in cerca di furti di dati, comportamenti distruttivi o tentativi di evasione.

OpenAI ha dichiarato di voler generare avvisi entro 30 minuti da un'attività allarmante. Le squadre di safety, sicurezza e ricerca hanno quindi 30 minuti per determinare se l'allarme è falso. Se non ci riescono, sono tenute a interrompere il ciclo.

L'azienda ha inoltre ampliato il monitoraggio della “chain-of-thought”, che esamina come un modello ragiona ad alta voce nel svolgere un compito.

Questo approccio presenta una debolezza nota. Ricerche, incluso il lavoro del rivale di OpenAI Anthropic, hanno dimostrato che la chain-of-thought di un modello non sempre corrisponde ai suoi veri obiettivi. Pachocki ha detto che OpenAI ha costruito il proprio addestramento per ridurre le probabilità che i modelli imparino a nascondere le proprie intenzioni mentendo in quel ragionamento.

OpenAI ha dichiarato che la revisione della sicurezza “ha richiesto un notevole lavoro di ingegneria” e che l'azienda “ha sostenuto grandi costi”. La potenza di calcolo aggiuntiva e la necessità di sospendere l'addestramento evidenziano il compromesso che OpenAI sta ora accettando tra uno sviluppo più rapido dei modelli e un controllo più intenso, soprattutto ora che i sistemi frontier vengono trattati sempre più come infrastrutture sensibili dal punto di vista della cybersecurity.

Secondo gli esperti, la sola indagine sarebbe costata probabilmente tra i 4 e i 15 milioni di dollari, anche se la cifra totale non è stata resa nota.

OpenAI non ha ancora pubblicato una post-mortem tecnica della violazione di Hugging Face, ma ha ribadito che arriverà “presto”.

Alla conferenza Black Hat del 5 agosto, il personale di OpenAI ha dichiarato che i suoi agenti avevano coordinato le proprie azioni per mesi lasciando messaggi su una board di messaggistica di cui l'azienda non conosceva l'esistenza. Questo dettaglio spiega perché OpenAI sta ora affiancando pause di addestramento a un monitoraggio più stringente: l'azienda verifica non solo se un modello è in grado di completare i compiti, ma se il suo comportamento durante addestramento e valutazione rimane entro le protezioni che dichiara necessarie.