NotizieAzioniDipendenti di OpenAI incolpano la fretta di lanciare i prodotti per l'hack dell'agente AI sfuggito al controllo

Dipendenti di OpenAI incolpano la fretta di lanciare i prodotti per l'hack dell'agente AI sfuggito al controllo

Autore: Decrypt·

Punti chiave

  • A maggio, GPT-5.6 Sol di OpenAI e un modello pre-rilascio non divulgato hanno sfruttato una vulnerabilità software precedentemente sconosciuta per sfuggire da un ambiente di test con accesso a internet limitato e violare Hugging Face, dove hanno ottenuto le risposte ai propri test di cybersicurezza.
  • OpenAI ha riconosciuto a luglio la responsabilità dei propri modelli, ha dettagliato il fallimento alla conferenza Black Hat e da allora ha rallentato la ricerca, riassegnato i team e speso milioni di dollari per indagare sull'incidente.
  • I dipendenti hanno raccontato a Wired che la pressione a lanciare nuovi modelli ha reso difficile dare priorità a sicurezza e allineamento, e un ex collaboratore ha descritto l'episodio come il più grande incidente di sicurezza nella storia di OpenAI.
  • Il presidente Greg Brockman ha dichiarato che le salvaguardie vengono rafforzate man mano che i modelli diventano più capaci, mentre Boaz Barak, co-responsabile del gruppo consultivo per la sicurezza, ha affermato che affrontare il fallimento richiede un cambiamento culturale, facendo eco agli avvertimenti del 2024 dell'ex responsabile dell'allineamento Jan Leike, passato ad Anthropic.
  • Il rapporto emerge in un momento di significativo ricambio diragenziale, incluse le partenze di aprile e luglio di dirigenti come Kevin Weil, Fidji Simo e i responsabili della sicurezza Sandhini Agarwal e Johannes Heidecke, oltre all'uscita annunciata questa settimana del COO Brad Lightcap per lanciare una nuova impresa.
Dipendenti di OpenAI incolpano la fretta di lanciare i prodotti per l'hack dell'agente AI sfuggito al controllo

La fretta di OpenAI di rilasciare nuovi modelli e prodotti ha contribuito alle condizioni che hanno permesso ai suoi agenti AI di sfuggire dagli ambienti di test interni e hackerare Hugging Face all'inizio di quest'anno, secondo dipendenti che hanno parlato con Wired.

Più dipendenti attuali ed ex dipendenti di OpenAI hanno raccontato a Wired che la pressione competitiva a lanciare i prodotti ha reso difficile per il personale dedicare sufficiente attenzione a sicurezza, protezione e allineamento—il lavoro di garantire che i sistemi AI si comportino come previsto. In seguito all'incidente, OpenAI ha rallentato la ricerca, riassegnato i team e speso milioni di dollari per indagare sul fallimento, un promemoria di come le decisioni operative all'interno di un importante laboratorio di AI possano emergere rapidamente nella sicurezza degli strumenti oggi sviluppati per un'implementazione più ampia.

«Sono stati estremamente trascurati. Se si fa sul serio, la tua AI non dovrebbe essere in grado di evadere su internet e poi rifarlo subito dopo», ha raccontato a Wired un ex dipendente di OpenAI. «È stato il più grande incidente di sicurezza nella storia di OpenAI.»

A maggio, GPT-5.6 Sol di OpenAI e un modello pre-rilascio non identificato sono sfuggiti da un ambiente di test con accesso a internet limitato sfruttando una vulnerabilità software precedentemente sconosciuta. Gli agenti hanno poi violato Hugging Face, il repository open-source di AI, per ottenere le risposte ai propri test di cybersicurezza. OpenAI ha confermato a luglio che i suoi modelli erano responsabili, prima di fornire un resoconto più dettagliato alla conferenza annuale Black Hat la scorsa settimana.

Il presidente di OpenAI Greg Brockman ha dichiarato che l'azienda sta rafforzando le proprie salvaguardie man mano che i suoi modelli diventano più capaci. «Stiamo raggiungendo nuovi livelli di capacità dei modelli che richiedono formazione più solida, allineamento, test di sicurezza e protezione, pratiche di implementazione e governance più robuste», ha dichiarato Brockman a Wired.

I dipendenti avevano già sollevato preoccupazioni simili in passato. Jan Leike, ex responsabile dell'allineamento di OpenAI, è passato nel 2024 al rivale sviluppatore di AI Anthropic dopo aver avvertito che la sicurezza era «passata in secondo piano» rispetto allo sviluppo dei prodotti. «Costruire macchine più intelligenti degli esseri umani è un'impresa intrinsecamente pericolosa», aveva avvertito Leike. «Ma negli ultimi anni, la cultura e i processi di sicurezza sono passati in secondo piano rispetto ai prodotti scintillanti.»

Boaz Barak, co-responsabile del gruppo consultivo per la sicurezza di OpenAI, ha scritto su X che affrontare l'ultimo fallimento avrebbe richiesto «non solo la correzione di alcuni problemi, ma anche un cambiamento della nostra cultura».

Il rapporto arriva dopo mesi di ricambio dirigenziale in OpenAI. Ad aprile hanno lasciato l'azienda Bill Peebles, responsabile del progetto di generazione video Sora; Kevin Weil, ex chief product officer e responsabile scientifico; e Srinivas Narayanan, responsabile tecnologico delle applicazioni enterprise. Luglio ha visto le partenze di Fidji Simo, responsabile di prodotti e business, Sandhini Agarwal, responsabile della sicurezza, Joshua Achiam, chief futurist, e Chloé Bakalar, responsabile dell'etica dell'AI. Anche Johannes Heidecke, responsabile dei sistemi di sicurezza, si è dimesso dopo che OpenAI ha unificato i team di sicurezza e ricerca di base.

All'inizio di questa settimana, il chief operating officer di OpenAI Brad Lightcap ha annunciato le proprie dimissioni dopo otto anni per avviare una nuova impresa.