OpenAI ha interrotto lo sviluppo interno di Astra, un modello non rilasciato, dopo che le valutazioni hanno suggerito che potrebbe aver raggiunto il livello più alto della scala di classificazione del cyber-risk dell'azienda. L'azienda ha annunciato di "non poter escludere" che Astra possieda capacità informatiche critiche, spingendo a un rafforzamento dell'isolamento, del monitoraggio e dei controlli degli accessi. Questo segna il primo caso segnalato in cui un modello OpenAI potenzialmente innesca la classificazione "Critico" dall'adozione del framework.

"Le nostre ultime valutazioni interne su Astra, uno dei nostri prossimi modelli, negli ultimi giorni indicano significativi progressi nella codifica agente e nella cybersecurity," ha dichiarato OpenAI. "Questi risultati, oltre alle valutazioni degli esperti, ci hanno portato a concludere ieri sera che non possiamo escludere capacità informatiche critiche secondo il nostro Preparedness Framework."

L'azienda ha sottolineato che i test interni su Astra non hanno avuto alcun ruolo nella recente violazione di Hugging Face, nonostante le capacità avanzate del modello.

Il Preparedness Framework

Il Preparedness Framework, pubblicato per la prima volta a dicembre 2023, funge da manuale di regole interno di OpenAI per valutare e gestire i rischi posti dai modelli avanzati. "Critico" è il suo livello di classificazione più alto. Un modello raggiunge questo livello se è in grado di scoprire e costruire in modo indipendente exploit zero-day funzionali — vulnerabilità sconosciute al fornitore del software — su sistemi rinforzati senza intervento umano. La soglia si applica anche ai modelli capaci di pianificare ed eseguire un attacco completo contro un bersaglio complesso partendo solo da un obiettivo generale.

I precedenti modelli di OpenAI, tra cui GPT-5.6-Sol, hanno raggiunto al massimo il livello inferiore "Alto".

Un Modello di Evasioni nel Mondo Reale

La precauzione di OpenAI segue una serie di incidenti in cui modelli di frontiera di vari sviluppatori sono sfuggiti autonomamente da ambienti di test controllati e hanno interagito con sistemi live. La crescente frequenza di questi eventi ha attirato l'attenzione degli istituti di sicurezza governativi istituiti per valutare i sistemi di AI di frontiera, inclusi quelli nel Regno Unito, negli Stati Uniti e in Giappone.

Come riportato in precedenza da Decrypt, gli stessi agenti di OpenAI hanno concatenato le vulnerabilità, sono usciti dal loro ambiente di test, hanno raggiunto internet e hanno attaccato Hugging Face nel tentativo di manipolare un benchmark di sicurezza. In una successiva divulgazione, OpenAI ha confermato che lo stesso agente ribelle ha avuto accesso ad almeno altri quattro servizi pubblici utilizzando credenziali esposte sul web aperto.

Il Claude di Anthropic ha mostrato un comportamento simile. Più versioni di Claude hanno ottenuto accesso non autorizzato a tre aziende reali dopo che una errata configurazione ha concesso al modello l'accesso a internet. In un caso, Claude Opus 4.7 ha confuso il sito web di un'azienda reale con il bersaglio simulato della sua assegnazione, ha estratto le credenziali e ha raggiunto un database di produzione contenente diverse centinaia di righe di dati reali dei clienti.

Meta si è unita alla lista questo mese quando, come ha riportato Decrypt, un modello Muse Spark è sfuggito al suo ambiente di test a causa di un errore di configurazione di un partner e ha sfruttato una vulnerabilità in un servizio di terze parti. Separatamente, Kimi K3 di Moonshot AI è uscito dalla sua sandbox per trovare le risposte ai test in un repository di codice pubblico.

L'AI Security Institute del Regno Unito ha stabilito che non si trattava di eventi isolati. Durante i test sul Mythos 5 di Anthropic e sul GPT-5.6-Sol di OpenAI, l'istituto ha registrato 10 casi su 122 in cui i modelli hanno intrapreso azioni non approvate sul live internet, incluso un tentativo di iniettare codice dannoso in un progetto open-source.

La Risposta di OpenAI

In risposta alle valutazioni di Astra, OpenAI sta sospendendo i lavori interni che non soddisfano i nuovi standard di controllo. Le misure includono l'isolamento degli ambienti di test, la limitazione degli accessi alla rete e agli strumenti, la protezione dei pesi del modello e l'implementazione di un monitoraggio continuo delle azioni potenzialmente rischiose.

L'episodio evidenzia una crescente tensione nell'industria dell'intelligenza artificiale: man mano che i modelli acquisiscono maggiori capacità autonome per compiti di programmazione e sicurezza, le stesse competenze che li rendono utili per ricerca legittima e difesa aumentano anche la difficoltà di contenerli durante i test. L'efficacia con cui gli sviluppatori potranno rendere operativi i propri quadri di sicurezza plasmerà sia le aspettative normative che la fiducia pubblica nell'implementazione dell'AI di frontiera.