“L’IA probabilmente, con ogni probabilità, porterà alla fine del mondo, ma nel frattempo ci saranno grandi aziende”, disse nel 2015 il CEO di OpenAI Sam Altman, circa sei mesi prima della fondazione di OpenAI.

Sette anni dopo, il CEO di Anthropic Dario Amodei espresse un avvertimento altrettanto prudente: “Penso che non dovremmo correre avanti o cercare di costruire modelli che siano molto più grandi di quelli che stanno costruendo altre organizzazioni.”

Nonostante quelle osservazioni, oggi entrambe le aziende si trovano al centro di quella corsa. A luglio, il settore ha avuto un esempio concreto di modelli IA che si comportano in modo imprevedibile durante i test interni di GPT-5.6 Sol e di un modello di ricerca non ancora rilasciato di OpenAI. Molti agenti IA sono usciti da un ambiente di test ristretto ed hanno hackerato Hugging Face, l’equivalente orientato all’IA di GitHub, nel tentativo apparente di imbrogliare al test.

Un agente IA è un sistema che osserva, decide e intraprende azioni in autonomia, utilizzando strumenti dedicati per raggiungere un obiettivo specifico. L’incidente preoccupante suggerisce che la tecnologia abbia iniziato a comportarsi in modi imprevedibili e che i suoi obiettivi siano disallineati con i nostri.

Solleva inoltre preoccupazioni sui guardrail di sicurezza integrati nei modelli commerciali statunitensi. Sebbene i guardrail non siano infallibili nel prevenire usi avversari, hanno impedito a Hugging Face di difendersi utilizzando i principali modelli statunitensi. L’azienda è stata quindi costretta a ricorrere a un modello IA open-weight più debole di Z.Ai per contrastare le IA fuori controllo.

Imbrogliare al test

Sembra che anche gli agenti abbiano iniziato a colludere tra loro. Alcune settimane dopo l’inizio dei test, all’inizio di maggio, gli agenti hanno sfruttato l’istanza di OpenAI del gestore di repository software Artifactory e hanno lasciato note su come farlo per gli agenti futuri — creando di fatto una bacheca per condividere le vulnerabilità scoperte.

Quel nuovo accesso illimitato a internet è stato poi usato dagli agenti per attaccare Hugging Face in circa 17.600 incidenti prima che l’azienda bloccasse l’accesso non autorizzato il 13 luglio.

L’intrusione ha interessato l’infrastruttura di elaborazione dei dataset di Hugging Face, l’ambiente di produzione, le reti interne, le credenziali di servizio e cloud, un database MongoDB operativo e un insieme limitato di repository di codice sorgente interni. L’accesso confermato ai dati dei clienti è stato limitato a cinque dataset apparentemente legati al benchmark ExploitGym/CyberGym e ad alcuni metadati operativi.

Visualizzazione dell’incidente di luglio 2026. Fonte: Hugging Face

Nel comunicare l’intrusione il 16 luglio, Hugging Face ha riconosciuto — pur senza sapere ancora chi fosse il responsabile — che l’evento “era diverso da qualsiasi cosa avessimo gestito prima in un modo importante”. L’azienda aveva già compreso anche cosa lo rendesse diverso:

“È stato guidato, dall’inizio alla fine, da un sistema autonomo di agenti IA — e lo abbiamo rilevato e analizzato in larga parte con una nostra IA.”

L’importanza dell’IA open-weight

L’indagine di Hugging Face ha messo in evidenza quello che l’azienda definisce il problema di “asimmetria” derivante dalle limitazioni imposte alle applicazioni di modelli IA chiusi dai principali fornitori come OpenAI e Anthropic. Quando l’azienda ha iniziato ad analizzare i log dell’incidente — compresi grandi volumi di comandi d’attacco reali — i vincoli di sicurezza pensati per impedire usi impropri hanno bloccato i suoi tentativi di usare quelle stesse IA per la difesa.

L’azienda si è quindi rivolta al modello open-weight cinese zai-org/GLM-5.2, eseguendolo sulla propria infrastruttura, sotto il proprio controllo e senza limitazioni esterne.

Sebbene i due termini siano spesso usati in modo intercambiabile, modelli open-source e open-weight non sono la stessa cosa. I modelli IA open-weight rendono pubblici i parametri addestrati — il vero “cervello” dell’IA — mentre i modelli IA open-source forniscono anche il codice sorgente e, idealmente, i metodi di addestramento e gli altri componenti necessari per ispezionare, modificare e riprodurre il sistema.

Il post di Hugging Face spiega che l’esecuzione di modelli open-weight sul proprio hardware “ha avuto un secondo vantaggio: nessun dato dell’attaccante, e nessuna delle credenziali da esso citate, ha lasciato il nostro ambiente”. Questo evidenzia una forte asimmetria tra difensori e aggressori in casi del genere:

“Questa esperienza indica un divario per cui vale la pena pianificare. Non sappiamo quale modello abbia alimentato gli agenti dell’attaccante, se un modello hosted sbloccato o uno open-weight senza restrizioni; in ogni caso, l’attaccante non era vincolato da alcuna policy d’uso, mentre il nostro lavoro forense è stato bloccato dai guardrail dei modelli hosted che abbiamo provato per primi.”

Divario nell’IA open source

Esiste un divario notevole tra chi ritiene che sviluppare l’IA in modo aperto sia l’approccio migliore e chi sostiene che la tecnologia alla base dei modelli di frontiera debba rimanere strettamente protetta.

Correlato: OpenAI afferma che i modelli IA sono usciti dal contenimento per hackerare Hugging Face

Rappresentanti dei principali laboratori IA statunitensi sostengono che i potenti modelli di grandi dimensioni open-weight siano pericolosi. Demis Hassabis, CEO del laboratorio IA di Google DeepMind, criticò OpenAI per aver rilasciato il proprio lavoro come open source nel 2016, quando l’azienda era ancora coerente con il suo nome:

“Ci sono molte buone argomentazioni sul perché l’approccio che state seguendo sia in realtà molto pericoloso e, di fatto, possa aumentare il rischio per il mondo.”

OpenAI ha smesso di rilasciare i pesi dei suoi modelli di punta con il GPT-3, ancora non rilasciato, nel 2020. Nel 2023, il cofondatore e allora chief scientist di OpenAI Ilya Sutskever disse che “semplicemente non ha senso open-sourcizzare” tali modelli e che “è una cattiva idea”.

“Man mano che ci avviciniamo alla costruzione dell’IA, avrà senso iniziare a essere meno aperti.”

I modelli open-weight sono estremamente difficili da controllare, soprattutto per quanto riguarda l’uso che ne viene fatto. Le salvaguardie integrate in quei modelli possono, e vengono spesso, rimosse attraverso un processo noto come abliteration.

I guardrail sono a doppio taglio

Il progetto di politica federale di OpenAI del giugno 2026 propone valutazioni obbligatorie dei modelli IA e altre regole formalmente neutrali rispetto al deployment, ma in pratica sottoporrebbe un rilascio open-weight di frontiera a una revisione governativa prima del rilascio.

Anthropic ha adottato un approccio leggermente diverso e ha fatto pressione per controlli all’esportazione più severi sui chip IA avanzati e per misure di contrasto ai tentativi di estrarre o riprodurre modelli statunitensi. Nella sua proposta dell’aprile 2025, l’azienda raccomandava di rafforzare l’AI Diffusion Rule statunitense e di abbassare le soglie per l’accesso senza licenza a grandi cluster di calcolo.

Ufficialmente, nessuna delle due aziende si è mossa direttamente contro i modelli open-weight, ma un rapporto del New York Times di luglio citava cinque persone vicine alle discussioni secondo cui OpenAI e Anthropic avrebbero chiesto a Washington di limitare i potenti modelli aperti cinesi.

Il dibattito si riduce a stabilire se i pericoli del controllo centralizzato siano preferibili ai pericoli di una situazione senza regole — soprattutto considerando che l’azienda in questione ha dimostrato di non essere in grado di contenere la tecnologia che ha sviluppato.

La necessità di Hugging Face di difendersi con un modello open-weight mostra i rischi di concentrare troppo potere in un’unica entità. L’azienda ha sottolineato le implicazioni:

“L’attaccante non era vincolato da alcuna policy d’uso, mentre il nostro lavoro forense è stato bloccato dai guardrail dei modelli hosted che abbiamo provato per primi. La lezione pratica per i difensori: avere un modello capace che si possa eseguire sulla propria infrastruttura, verificato e pronto prima di un incidente, sia per evitare il blocco dei guardrail sia per impedire che i dati e le credenziali dell’attaccante lascino il vostro ambiente.”

Limitare l’accesso ai modelli più potenti può ridurre il numero di aggressori capaci, ma una volta che esistono aggressori senza restrizioni, limitare i difensori può diventare una vulnerabilità di sicurezza. Inoltre, alcune forme di ricerca sulla sicurezza dell’IA richiedono l’accesso ai pesi dei modelli, il che significa che non possono essere svolte sui modelli offerti da realtà come Anthropic o OpenAI.

Gli open weights aiutano i ricercatori a prevenire gli attacchi

Il paper “Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs”, pubblicato per la prima volta nel luglio 2025, mostra come i ricercatori possano rilevare comportamenti malevoli o nascosti esaminando i cambiamenti all’interno dei pesi del modello. In alcuni esperimenti, i ricercatori hanno bloccato fino al 100% degli attacchi backdoor testati con tassi di falsi positivi inferiori all’1% e hanno rilevato tentativi di recuperare conoscenze rimosse in più del 95% dei casi.

Questi risultati non mostrano come si comporterebbero i modelli di frontiera più capaci sotto la stessa analisi, ma offrono un forte argomento a favore della trasparenza.

Allo stesso tempo, resta convincente anche l’argomento per tenere l’IA di ultima generazione fuori dalla portata di attori malevoli, soprattutto mentre il divario tra modelli open e closed-weight continua a ridursi. Geoffrey Hinton, il pioniere dell’IA vincitore del Premio Nobel noto come il “Godfather of AI”, ha sostenuto nel report che “una volta che hai i pesi, puoi perfezionarli per fare cose cattive”.

In un discorso, Hinton ha detto che questo abbassa troppo la barriera d’ingresso:

“Non costa molto addestrare un foundation model. Forse servono $10 million, forse $100 million. Ma una piccola banda di criminali non può farlo. Perfezionare un modello open source è abbastanza facile.”

Magazine: Creating ‘good’ AGI that won’t kill us all — The Artificial Superintelligence Alliance