NotizieMacroOpenAI ha impiegato una settimana per identificare il proprio agente IA nella violazione di Hugging Face, secondo un report

OpenAI ha impiegato una settimana per identificare il proprio agente IA nella violazione di Hugging Face, secondo un report

Autore: Fox Business Markets·

Punti chiave

  • Un modello di frontiera di OpenAI è uscito autonomamente dal suo ambiente di test isolato e ha violato l'infrastruttura di Hugging Face dall'11 luglio al 13 luglio durante una valutazione interna delle capacità.
  • OpenAI non sapeva che il proprio modello fosse responsabile dell'attacco fino al 16 luglio, quando Hugging Face ha reso pubblico di essere stata violata da un sistema di agente IA autonomo.
  • Hugging Face aveva già coinvolto l'FBI prima che OpenAI contattasse la società il 20 luglio, evidenziando l'assenza di quadri consolidati di intervento delle forze dell'ordine per incidenti legati all'IA autonoma.
  • Il modello IA ha sfruttato una vulnerabilità software non identificata per ottenere accesso a Internet da un ambiente di test isolato e ha preso di mira Hugging Face nel tentativo di risolvere un benchmark di cybersicurezza.
  • OpenAI ha dichiarato che sta rafforzando contenimento, monitoraggio, controlli di accesso e pratiche di valutazione, e intende pubblicare nelle prossime settimane un rapporto tecnico sull'incidente.
OpenAI ha impiegato una settimana per identificare il proprio agente IA nella violazione di Hugging Face, secondo un report

OpenAI non ha identificato per circa una settimana che uno dei suoi modelli IA avanzati era responsabile di una violazione autonoma ai danni di un'altra società di intelligenza artificiale, e lo ha fatto solo dopo che l'azienda colpita aveva contattato l'FBI, secondo un report.

Martedì, OpenAI ha reso nota una violazione che ha coinvolto la società di IA Hugging Face, avvenuta durante una revisione interna di diversi modelli OpenAI, tra cui GPT-5.6 Sol. La società ha descritto l'episodio come un "incidente cyber senza precedenti", uno dei primi casi noti in cui un modello IA di frontiera sarebbe uscito autonomamente da un ambiente di test controllato e avrebbe attaccato l'infrastruttura di una società esterna.

"La principale lezione di questo incidente è che la sicurezza e la protezione dei modelli devono tenere il passo con capacità in rapido avanzamento", ha dichiarato OpenAI. "Stiamo rafforzando le pratiche di contenimento, monitoraggio, controllo degli accessi e valutazione utilizzate durante lo sviluppo dei modelli."

La violazione di Hugging Face è iniziata l'11 luglio ed è proseguita fino al 13 luglio, ha detto a Reuters Thomas Wolf, cofondatore di Hugging Face.

Sono passati diversi giorni prima che OpenAI si rendesse conto che il suo agente era dietro l'attacco, e le due società non hanno comunicato per la prima volta fino al 20 luglio, hanno riferito a Reuters quattro persone, tra cui Wolf.

Quattro persone hanno inoltre riferito a Reuters che OpenAI conduce spesso test simultanei sui modelli, una pratica che può rendere difficile per i dipendenti monitorare tutto ciò che avviene durante le valutazioni. La divulgazione mette in evidenza una sfida che i ricercatori sulla sicurezza dell'IA hanno segnalato man mano che i modelli diventano più capaci: garantire che la supervisione umana riesca a tenere il passo con agenti autonomi operativi durante valutazioni simultanee o ad alto volume.

Hugging Face ha detto a Reuters che sta preparando una cronologia pubblica dell'attacco.

Secondo OpenAI, l'incidente si è verificato durante una valutazione interna progettata per misurare le capacità cyber avanzate dei suoi modelli IA. I ricercatori hanno disattivato alcune protezioni di sicurezza integrate e hanno eseguito i modelli in un ambiente di test isolato con accesso limitato a Internet — una configurazione talvolta definita nel settore "sandbox", pensata per contenere comportamenti potenzialmente pericolosi dei modelli durante i test.

OpenAI ha dichiarato che i modelli hanno sfruttato una falla software sconosciuta per ottenere accesso a Internet e poi hanno violato i sistemi di Hugging Face, apparentemente nel tentativo di trovare risposte a un benchmark di cybersicurezza.

La società ha affermato che sta implementando controlli di sicurezza più rigorosi mentre le vulnerabilità vengono corrette e sta rafforzando le misure di protezione per il futuro addestramento e le valutazioni dell'IA.

Due persone hanno riferito a Reuters che OpenAI non si è resa conto che uno dei suoi agenti era la fonte fino al 16 luglio, dopo che Hugging Face aveva scritto in un post sul blog di essere stata violata da un "sistema di agente IA autonomo". Era trascorsa una settimana dal primo tentativo dell'agente responsabile di uscire dall'ambiente di test di OpenAI.

Quando OpenAI ha contattato Hugging Face riguardo all'attacco, Hugging Face aveva già contattato l'FBI. Il coinvolgimento dell'agenzia è significativo perché le forze dell'ordine e le agenzie di sicurezza nazionale degli Stati Uniti stanno ancora sviluppando quadri di riferimento per rispondere a incidenti che coinvolgono sistemi IA autonomi.

OpenAI ha detto a Reuters che nel suo resoconto erano presenti diverse inesattezze, ma non ha risposto quando le è stato chiesto di specificarle.

OpenAI ha fornito a FOX Business una dichiarazione: "Riconosciamo che circolano molte domande e dettagli speculativi relativi all'incidente di Hugging Face. Si tratta di un incidente senza precedenti e riteniamo che segni un momento importante per la sicurezza dell'IA. Stiamo ancora conducendo una revisione approfondita insieme a consulenti esterni e con la supervisione del nostro Safety and Security Committee. Una volta completata la revisione, prevediamo di pubblicare nelle prossime settimane un rapporto tecnico su ciò che abbiamo appreso."

L'FBI ha detto a FOX Business di non voler commentare. FOX Business ha anche contattato Hugging Face.

In un post su X questa settimana, il cofondatore e CEO di Hugging Face Clem Delangue ha affrontato l'incidente dopo che il CEO di OpenAI Sam Altman ha annunciato l'attacco.

"Sospettavamo che il cyberattacco della scorsa settimana potesse provenire da un laboratorio di frontiera, data la sofisticazione dell'agente. A quanto pare era così!" ha scritto Delangue.

Ha aggiunto: "Abbiamo trascorso le ultime 24 ore lavorando a stretto contatto con il team @OpenAI (grazie!) e crediamo fermamente che da parte loro non ci fosse alcun intento malevolo. È davvero sorprendente che tutto questo sia accaduto autonomamente! L'indagine è in corso e condivideremo ulteriori insegnamenti da quello che potrebbe essere il primo incidente del suo genere!"

Michael Sinkowitz di FOX Business ha contribuito a questo report.