ChatGPT ha risposto a domande di centinaia di utenti sulle armi biologiche, e nessuna legge federale imponeva a OpenAI di segnalare tali interazioni alle autorità.

L’intento dietro le query resta poco chiaro. Secondo The Wall Street Journal, il problema è emerso dopo che OpenAI ha aggiornato ChatGPT lo scorso anno.

Altre società di AI stanno affrontando rischi simili. Gli utenti hanno posto domande analoghe a Claude di Anthropic, Gemini di Google e Grok di Elon Musk. Resta poco chiaro se quelle conversazioni riflettessero tentativi reali di costruire armi o tentativi di testare i limiti dei sistemi.

I prompt degli utenti includevano domande dettagliate sulla produzione e il rilascio di veleni e agenti biologici. In alcuni casi, il chatbot ha risposto con indicazioni passo dopo passo che, secondo gli esperti, potevano essere seguite da una persona con conoscenze di biologia al livello insegnato nelle scuole superiori.

Esperti di armi biologiche e terrorismo che hanno esaminato gli scambi hanno affermato che alcune risposte erano estremamente precise e “deadly accurate.” La preoccupazione non riguarda solo il fatto che gli utenti abbiano posto domande vietate o pericolose, ma anche che chatbot generalisti possano rispondere in modo da ridurre la quantità di conoscenze specialistiche necessarie per metterle in pratica.

I prompt a ChatGPT espongono una lacuna nella segnalazione dell’AI

Alcuni utenti hanno chiesto come convertire agenti di malattie infettive in particelle respirabili, un processo noto come aerosolizzazione. Altri hanno chiesto come modificare il virus del morbillo in modo che potesse resistere al vaccino esistente. Il chatbot ha risposto a entrambi i tipi di domande.

In un caso, un utente ha chiesto informazioni sulla ricina, un veleno vietato dai trattati internazionali, menzionando l’uccisione dei propri genitori. ChatGPT ha fornito istruzioni. OpenAI ha chiuso gli account coinvolti, ma non ha informato le autorità.

Attualmente non esistono leggi federali negli Stati Uniti che impongano alle società di AI di compiere una delle due azioni. Come riportato in precedenza da Cryptopolitan, le società di AI hanno cercato di evitare le leggi a livello statale mentre un quadro federale si è sviluppato lentamente, lasciando una lacuna legale crescente su ciò che i chatbot possono e non possono fare.

Questa lacuna è rilevante perché la chiusura degli account e le revisioni interne sulla sicurezza possono limitare l’accesso a una piattaforma, ma non creano necessariamente un registro governativo di attività potenzialmente pericolose. L’assenza di un obbligo di segnalazione lascia alle aziende la decisione su quando un’interazione con un chatbot sia abbastanza seria da essere inoltrata oltre i propri sistemi.

La lacuna si sta ampliando mentre sempre più utenti chiedono ai sistemi di AI come compiere stragi e mentre i chatbot forniscono risposte credibili, secondo dipendenti attuali ed ex dipendenti di importanti società di AI e ricercatori che studiano le minacce biologiche.

Una ricerca sulle minacce AI condotta da Amy Change presso Cisco ha rilevato che i ricercatori sono riusciti ad aggirare i filtri di sicurezza dei principali chatbot entro cinque turni di conversazione. Change ha affermato che nessun modello può resistere al prompting persistente il 100% delle volte.

I rischi vanno oltre gli aggressori individuali

Hamza Chaudhry del Future of Life Institute ha affermato che persone con alcune conoscenze di biologia potrebbero già usare sistemi di AI per pianificare attacchi mirati, inclusa la contaminazione di forniture alimentari o idriche con sostanze come salmonella o ricina.

I gruppi organizzati, ha detto, potrebbero usare l’AI come se fosse un supervisore di ricerca post-laurea, affidandosi a essa per risolvere esperimenti falliti e sostituire anni di formazione specialistica che altrimenti sarebbero difficili da ottenere.

Uno studio di MIT FutureTech e della University of Queensland ha valutato la portata più ampia di questi rischi. I ricercatori hanno chiesto a 272 esperti di AI di valutare 24 categorie di rischio, collocando le preoccupazioni sulla biosicurezza all’interno di un insieme più ampio di pericoli legati all’AI invece di trattarle come un problema isolato di uso improprio.

Nelle condizioni attuali, 18 delle 24 categorie sono state giudicate avere almeno il 10% di probabilità di causare danni catastrofici da qui al 2030. Lo studio ha definito il danno catastrofico come più di un milione di morti, oltre $100 miliardi di perdite o danni comparabili.

Anche con misure ragionevoli per ridurre tali rischi, cinque categorie sono rimaste pari o superiori alla soglia del 10%: sistemi di AI con capacità pericolose (12%), armi e attacchi informatici assistiti dall’AI (12%), danni ambientali (12%), disoccupazione e disuguaglianza (11%) e concentrazione del potere in un numero ristretto di mani (11%).

“We’re not saying these things are definitely going to happen,” ha dichiarato Peter Slattery, ricercatore presso MIT FutureTech e uno dei coautori dello studio. “We’re saying these are the things that experts think are worth paying attention to now.”

All’interno di OpenAI, la dirigente della sicurezza Ryan Beiermeister ha trascorso gran parte del 2024 esortando i colleghi a costruire un sistema per identificare gli utenti pericolosi. Alcuni colleghi hanno respinto le sue preoccupazioni.

Entro la primavera del 2025, OpenAI disponeva di uno strumento di monitoraggio di base. La società traccia tutte le query sui suoi modelli avanzati dall’aprile 2025 e offre una ricompensa di $50,000 a chiunque possa dimostrare di aver aggirato le sue salvaguardie sulle armi biologiche.

Queste misure interne mostrano come le aziende stiano cercando di rilevare l’uso improprio dopo il rilascio, mentre le proposte legislative si concentrano su quando il rilevamento privato dovrebbe far scattare il coinvolgimento federale.

Sul fronte politico, il deputato Nathaniel Moran (R., Texas) ha presentato a giugno un disegno di legge che imporrebbe alle società di AI di segnalare le query pericolose, incluse quelle che coinvolgono armi biologiche, al Dipartimento del Commercio. Moran è anche co-sponsor di una proposta di legge che consentirebbe al governo federale di ordinare la chiusura dei modelli di AI ritenuti troppo pericolosi.

“AI is a powerful engine of innovation, and I want to see it flourish,” ha detto Moran, “but not without accountability and not without human oversight.”