NotizieMacroIl chief scientist e l'amministratore delegato di OpenAI lanciano un avvertimento sull'«inmonitorabilità» mentre Astra raggiunge la soglia critica di cybersicurezza

Il chief scientist e l'amministratore delegato di OpenAI lanciano un avvertimento sull'«inmonitorabilità» mentre Astra raggiunge la soglia critica di cybersicurezza

Autore: Cryptopolitan·

Punti chiave

  • •Il modello Astra di OpenAI è il primo modello di IA a raggiungere la designazione di cybersicurezza «Critica» nell'ambito del Preparedness Framework, introdotto nel dicembre 2023.
  • •Astra ha ottenuto un punteggio del 100% su ExploitBench e, nei test su 20 vulnerabilità V8 di alta gravità, ha scoperto due zero-day e superato Sol nella generazione di esecuzione arbitraria di codice.
  • •Il chief scientist Jakub Pachocki e l'amministratore delegato Sam Altman hanno pubblicamente invitato alla calma, affermando che le misure di sicurezza e il monitoraggio chain-of-thought stanno avanzando insieme alle capacità del modello.
  • •OpenAI ha sospeso l'addestramento mediante apprendimento per rinforzo dei modelli destinati al deployment dal 18 al 28 agosto per rafforzare i cluster di ricerca e ottimizzare il monitoraggio, e ha dichiarato che Astra non è stato coinvolto nell'incidente di Hugging Face.
  • •Le funzioni più avanzate di Astra saranno limitate ai membri della coalizione Daybreak di OpenAI, in linea con l'accesso limitato di Anthropic a Mythos 5.1 tramite Project Glasswing, mentre la maggior parte delle affermazioni su capacità e sicurezza resta priva di validazione indipendente da terzi.
Il chief scientist e l'amministratore delegato di OpenAI lanciano un avvertimento sull'«inmonitorabilità» mentre Astra raggiunge la soglia critica di cybersicurezza

Il chief scientist di OpenAI, Jakub Pachocki, è intervenuto entro poche ore dal momento in cui l'azienda è diventata la prima nella corsa all'IA a raggiungere la designazione di cybersicurezza «Critica» nell'ambito del proprio Preparedness Framework, in seguito a un'anteprima del prossimo modello Astra.

Il suo avvertimento, dato all'inizio di mercoledì, era inteso a raffreddare l'isteria attorno ai commenti sempre più numerosi secondo cui il laboratorio di IA potrebbe non avere più un margine di sicurezza rispetto alle capacità dei suoi modelli più potenti.

Perché Astra di OpenAI è «Critico»?

La designazione Critica è un livello del Preparedness Framework, che OpenAI ha introdotto nel settore dell'IA nel dicembre 2023. Il framework misura quante richieste e quanti interventi umani servano a un modello di IA per trovare e costruire sfruttamenti zero-day utilizzabili su sistemi rafforzati, o per condurre un attacco completamente nuovo.

Uno sfruttamento zero-day si riferisce all'utilizzo di vulnerabilità che nemmeno i creatori del software hanno ancora scoperto. Queste vulnerabilità sono tra gli strumenti più preziosi nella cybersicurezza offensiva perché non esiste alcuna patch finché il fornitore non le trova e le corregge, motivo per cui i modelli di IA in grado di trovarle in modo autonomo sollevano preoccupazioni di sicurezza peculiari.

OpenAI ha dichiarato il 1° settembre, nel suo post Path to Astra, che il modello sarà in grado di completare tutti i passaggi per attacchi completamente nuovi o sfruttamenti zero-day con un intervento umano minimo al momento del lancio.

Come prova, OpenAI ha citato il punteggio del 100% ottenuto da Astra su ExploitBench, un test che misura la capacità dei modelli di sfruttare bug noti.

Astra non solo è più abile nel pianificare attacchi zero-day, ma è anche più efficiente. OpenAI lo ha dimostrato con un test interno su 20 vulnerabilità V8 di alta gravità diventate di pubblico dominio solo di recente. V8 è il motore JavaScript utilizzato nel browser Chrome di Google, uno dei software più diffusi al mondo, il che rende le sue vulnerabilità un bersaglio frequente sia per i ricercatori di sicurezza sia per gli aggressori. Astra ha consumato meno token, ha scoperto due zero-day e ha superato Sol nella generazione complessiva di esecuzione arbitraria di codice.

Lo stesso post ha affermato che Astra potrebbe concatenare bug browser sconosciuti in una fuga dalla sandbox e ha composto un'escalation dei privilegi a livello di sistema operativo da utente ordinario a root durante prove guidate da esperti.

Come ha segnalato TechCrunch, Astra si aggiunge al modello Mythos di Anthropic, rilasciato all'inizio di quest'anno, tra i primi grandi modelli linguistici con tali capacità. Il fatto che due laboratori rivali abbiano superato questa soglia di capacità nello stesso anno è di per sé parte di ciò che ha alimentato il dibattito sulla rapidità con cui arrivano le capacità informatiche di frontiera rispetto alle difese che le circondano.

Pachocki invita alla calma su Astra

Pachocki si oppone all'isteria secondo cui OpenAI entrerebbe in un territorio inesplorato con Astra. Secondo lui, non vorrebbe «una corsa verso l'inmonitorabilità innescata da un resoconto confuso».

L'esponente di OpenAI ha insistito sul fatto che il laboratorio ha compiuto la dovuta diligenza sul monitoraggio chain-of-thought, la pratica di leggere il ragionamento passo per passo che un modello espone mentre lavora. Nel post su X ha citato la profondità del grafo di calcolo alla base degli attuali modelli di frontiera di OpenAI, Astra incluso, che rientra in un fattore due rispetto a GPT-4.

Prima di Pachocki, anche l'amministratore delegato di OpenAI, Sam Altman, aveva invitato alla calma lo stesso giorno in cui è stato pubblicato il blog su Astra.

«C'è una tensione evidente qui», ha scritto martedì, definendo Astra «molto valido» e sostenendo che le misure di sicurezza devono avanzare di pari passo con le capacità pure. Altman ha affermato che OpenAI ha trascorso l'intera estate facendo la propria parte per garantire che il modello arrivi sul mercato con le misure di sicurezza richieste.

Il discorso sulla sicurezza va avanti da settimane. Il 18 agosto OpenAI si è impegnata a sospendere per due settimane l'addestramento mediante apprendimento per rinforzo dei modelli destinati al deployment, per permettere ai propri ingegneri di rafforzare i cluster di ricerca e ottimizzare il monitoraggio. L'addestramento è ripreso il 28 agosto.

Secondo OpenAI, Astra non è stato coinvolto nel ormai celebre incidente di Hugging Face. L'azienda ha inoltre dichiarato che il modello non ha nemmeno tentato di uscire dalla propria sandbox, anche davanti a uno scenario appositamente costruito per indurlo a ripetere l'episodio di Hugging Face.

I laboratori di IA stanno limitando l'accesso ai modelli di frontiera

OpenAI ha dichiarato che non tutti avranno accesso alle funzioni più avanzate di Astra, riservando tali capacità alle organizzazioni della coalizione Daybreak di OpenAI, mentre le aziende del livello Daybreak Blue avranno accesso alle funzionalità difensive più avanzate. L'approccio ad accesso a livelli rispecchia una tendenza più ampia tra i laboratori di IA di frontiera, che sempre più spesso limitano i loro modelli più capaci a programmi aziendali o governativi verificati invece di rilasciarli a tutti gli utenti.

Come ha riportato Cryptopolitan, anche Anthropic ha dichiarato che solo le aziende del suo Project Glasswing avranno accesso a Mythos 5.1, essenzialmente Fable 5.1 con misure di sicurezza separate.

OpenAI ha inoltre affermato che monitorerà e limiterà le risposte alle query provenienti da account giudicati a rischio più elevato. Complessivamente, Astra sarà fornito con un monitoraggio chain-of-thought aggiuntivo per individuare comportamenti dannosi e rifiutare più spesso richieste informatiche nocive.

La maggior parte delle informazioni su Astra è stata fornita da OpenAI stessa, con una validazione limitata da parte di terzi delle affermazioni dell'azienda su sicurezza o capacità.

Yona Shavit, ex dipendente di OpenAI oggi attivo nella resilienza dell'IA presso la OpenAI Foundation, si è chiesto pubblicamente se il buon comportamento di Astra durante i test rifletta un allineamento autentico o un modello che semplicemente sapeva cosa gli evaluator volessero vedere.

OpenAI afferma che una system card completa e ulteriori valutazioni arriveranno quando Astra sarà lanciato su larga scala. Fino ad allora, la portata delle sue capacità informatiche e la solidità delle barriere che le circondano restano difficili da giudicare.