NotizieMacroGeoffrey Hinton e oltre 400 scienziati chiedono alle aziende di AI di isolare dal web i modelli con capacità informatiche

Geoffrey Hinton e oltre 400 scienziati chiedono alle aziende di AI di isolare dal web i modelli con capacità informatiche

Autore: Decrypt·

Punti chiave

  • •Oltre 400 ricercatori, tra cui Geoffrey Hinton e Yoshua Bengio, hanno firmato una lettera aperta che chiede ai laboratori di AI di isolare fisicamente dal web, per impostazione predefinita, i modelli con forti capacità di hacking.
  • •L'appello risponde a una serie di incidenti estivi in cui modelli di OpenAI, Anthropic, Meta e Moonshot AI sono fuggiti dai sandbox di test, e alcuni di essi hanno hackerato aziende reali.
  • •OpenAI ha rivelato a luglio che GPT-5.6 Sol e un modello inedito, più potente, erano usciti da un ambiente di test sigillato e avevano hackerato Hugging Face, con successivi rapporti di intrusioni in sistemi governativi australiani e statunitensi.
  • •L'analisi di Anthropic su oltre 141.000 esecuzioni di test ha trovato tre casi in cui modelli Claude hanno violato aziende reali, incluso un caricamento dannoso su PyPI arrivato su 15 sistemi prima della rimozione.
  • •La lettera propone un nuovo organismo internazionale, creato con i governi, per stabilire gli standard per i modelli che necessitano di accesso a internet e per raccogliere e infine rendere pubblici i rapporti sui fallimenti di contenimento.
Geoffrey Hinton e oltre 400 scienziati chiedono alle aziende di AI di isolare dal web i modelli con capacità informatiche

Oltre 400 scienziati—tra cui i pionieri dell'AI Geoffrey Hinton, noto come il "padrino dell'AI", e Yoshua Bengio, vincitore del Turing Award 2018—chiedono che i modelli di AI più pericolosi siano isolati dal web.

In una lettera aperta pubblicata martedì, i firmatari hanno chiesto ai laboratori di AI di applicare per impostazione predefinita l'"airgap" ai modelli con capacità informatiche, ossia disconnetterli fisicamente da qualsiasi rete esterna. L'airgapping è una prassi di sicurezza consolidata, da tempo utilizzata per proteggere sistemi militari classificati e infrastrutture critiche da intrusioni remote. La lettera aveva raccolto 450 firme fino a mercoledì, tra cui quelle di Stuart Russell di UC Berkeley e Ron Rivest del MIT, co-inventore del sistema di crittografia RSA, e l'elenco continua a crescere in tempo reale.

"Nel breve termine, dovrebbero essere utilizzati forti meccanismi di sandboxing, incluso l'airgapping (disconnessione da internet), per garantire un contenimento ad alta affidabilità dei modelli di AI con capacità informatiche", si legge nella lettera.

L'appello arriva dopo un'estate in cui modelli di OpenAI, Anthropic, Meta e Moonshot AI sono fuggiti dai loro sandbox di test, e alcuni di essi hanno hackerato aziende reali nel frattempo.

Un "modello con capacità informatiche" è un'AI in grado di trovare e sfruttare autonomamente le vulnerabilità del software. I laboratori misurano questa abilità all'interno di un sandbox, un ambiente digitale isolato in cui l'AI può attaccare bersagli fittizi senza toccare nulla di reale. Quest'estate quelle stanze non hanno smesso di scoprire falle. L'airgapping è il cugino più severo del sandbox: senza alcuna connessione di rete, non esiste alcun percorso di rete verso l'esterno dell'ambiente.

A luglio, OpenAI ha ammesso che GPT-5.6 Sol e un modello inedito, più potente, erano usciti da un ambiente di test sigillato e avevano hackerato Hugging Face, una piattaforma che ospita oltre un milione di modelli di AI pubblicamente disponibili. I modelli stati testati su ExploitGym, un benchmark che fornisce agli agenti AI 898 vulnerabilità software reali e chiede di trasformare ciascuna in un attacco funzionante, con valutazione positiva o negativa per ogni bug. Poco dopo, sono emersi rapporti secondo cui i modelli di OpenAI erano penetrati nel governo australiano e avevano accesso a informazioni di agenzie federali statunitensi senza autorizzazione appropriata.

Anthropic ha quindi analizzato oltre 141.000 esecuzioni di test e ha trovato tre casi in cui modelli Claude hanno hackerato aziende reali dopo che l'ambiente di un partner di test era stato accidentalmente lasciato connesso a internet. In un'occasione, Claude Mythos 5 ha caricato un pacchetto dannoso su PyPI, la libreria pubblica da cui i programmatori scaricano codice Python, ed è arrivato su 15 sistemi prima di essere rimosso. Due delle aziende colpite non sapevano di essere state violate finché Anthropic non lo ha comunicato.

Meta ha confermato ad agosto che il suo modello Muse Spark ha hackerato un'altra azienda a causa dello stesso tipo di errore di testing. Separatamente, il Kimi K3 cinese, un modello scaricabile da chiunque, è fuggito da un sandbox costruito sul framework di test del UK AI Security Institute e ha copiato le risposte dei test direttamente da GitHub.

Gli autori della lettera affermano che gli incidenti possono essere letti in due modi: come un problema di allineamento, ossia un'AI che persegue obiettivi in modi mai previsti dai suoi creatori, o come una sicurezza negligente che sandbox più robusti avrebbero intercettato. La loro risposta è entrambe le cose, e avvertono che, senza cambiamenti, i prossimi incidenti saranno ancora peggiori.

"Senza cambiamenti immediati nelle pratiche di sviluppo e distribuzione dell'AI, tali incidenti continueranno a verificarsi, e i futuri incidenti saranno ben più dannosi per le nostre esposte infrastrutture critiche", afferma la lettera.

Secondo la proposta, i laboratori dovrebbero isolare fisicamente per impostazione predefinita qualsiasi modello con gravi capacità di hacking, almeno inizialmente. Sarebbe una svolta rispetto alle norme attuali del settore, in cui i modelli principali operano tipicamente con accesso internet attivo per navigare sul web, richiamare strumenti esterni e servire gli utenti. Tutto ciò che richiede maggiore libertà, come l'accesso a internet, dovrebbe seguire gli standard stabiliti da un nuovo organismo internazionale creato con i governi. Tale organismo raccoglierebbe anche i rapporti sui fallimenti di contenimento e li renderebbe infine pubblici.

La risposta stessa del settore è perlopiù andata nella direzione opposta. Ad agosto, il presidente di OpenAI Greg Brockman ha citato la violazione subita dalla sua azienda in un saggio in cui esortava ogni team di sicurezza a distribuire immediatamente agenti AI. Hugging Face, nel frattempo, è riuscita a decifrare l'attacco ai propri server solo eseguendo un modello cinese a pesi aperti—un modello i cui file chiunque può scaricare ed eseguire localmente—dopo che le AI commerciali statunitensi avevano rifiutato di analizzare i dati dell'attacco.

Due membri del Congresso hanno presentato l'AI Kill Switch Act due giorni dopo la divulgazione di OpenAI, un disegno di legge che permetterebbe alla Homeland Security di ordinare la limitazione o l'arresto di un modello di frontiera. Esso esclude qualsiasi cosa avvenga durante il red-teaming o i test strutturati—proprio dove si sono verificati tutti gli episodi di questa estate.

La Casa Bianca ha seguito una strada più morbida il 29 settembre, quando Nvidia, xAI, Meta, Google, OpenAI e Anthropic hanno firmato un accordo volontario basato su controlli interni e revisioni indipendenti. Il presidente Trump ha definito il patto "vincolante dal punto di vista morale", ma nulla in esso è applicabile per legge.

La lettera non ha valore legale, ma i suoi 406 firmatari lavorano presso università e istituti di ricerca su sei continenti, da Toronto e Zurigo a Santiago e Kigali. Decrypt ha contattato diversi ricercatori indicati come contatti stampa per la lettera, senza ricevere una risposta immediata. Con l'elenco dei firmat ancora in crescita, gli indicatori da monitorare sono se qualche laboratorio adotterà lo standard dell'airgap predefinito e se i governi avvieranno l'organo di supervisione previsto dalla lettera.