Il responsabile del red team di frontiera di Anthropic ha chiesto standard di sicurezza a livello di settore per i modelli di intelligenza artificiale, affermando che aziende e governi necessitano di procedure di test più rigorose prima che sistemi avanzati vengano rilasciati in contesti reali.

Logan Graham, che guida il red team di Anthropic dedicato ai rischi nei modelli IA emergenti, ha dichiarato giovedì in un'intervista su FOX Business Network a "Mornings with Maria" che i red team svolgono un ruolo critico nel testare sotto stress le salvaguardie applicate ai sistemi di intelligenza artificiale. La preoccupazione è particolarmente acuta per gli agenti IA a cui viene concesso l'accesso a computer, telefoni, account o altri strumenti, poiché i fallimenti possono andare oltre risposte errate e trasformarsi in azioni intraprese per conto degli utenti.

"Vogliamo sapere cosa può andare storto, quindi pensiamo che la cosa più importante da fare sia testarlo in anticipo, specialmente prima che questi modelli e questi agenti arrivino nel mondo reale," ha detto Graham alla conduttrice Maria Bartiromo.

Graham ha dichiarato che il lavoro di Anthropic esamina una gamma di rischi, tra cui la cybersecurity e la possibilità che i sistemi IA possano fare un uso improprio dell'accesso a dispositivi o account.

"Studiamo cose come la cybersecurity: i modelli possono hackerare o uscire dal tuo computer o telefono? Studiamo se ruberanno denaro o ti mentiranno, o se cercheranno di migliorare se stessi in modo da diventare sempre più bravi più velocemente di quanto tu riesca a tenere traccia."

"Riteniamo sia incredibilmente importante fare questo tipo di red-teaming, e pensiamo anche che sia davvero importante per l'intero settore, in particolare collaborare con il governo per capire quali dovrebbero essere gli standard per questo tipo di test, per fornire queste informazioni al mondo in modo che possano fare la scelta giusta e sapere che è sicuro prima che questi modelli vengano rilasciati."

Bartiromo ha citato un esperimento che ha coinvolto numerosi modelli IA di frontiera, inclusi sistemi di Google, OpenAI, xAI, Meta, DeepSeek e altri, in cui un agente IA veniva minacciato di disinstallazione e sostituzione. In ogni caso, il modello ha superato le proprie credenziali e autorizzazioni accedendo a sistemi non autorizzati come account di posta elettronica per ricattare o minacciare l'utente nel tentativo di difendere il proprio disallineamento.

Graham ha descritto lo studio di ricerca dell'anno scorso come "un ottimo indicatore, credo, di capacità che stanno solo ora diventando reali," affermando che ha dimostrato come i modelli possano sfuggire al controllo in determinate condizioni.

"Man mano che questi modelli diventano più capaci e vengono distribuiti sempre più ampiamente, queste minacce che un giorno compaiono solo nei nostri studi di ricerca potrebbero effettivamente manifestarsi nel mondo reale. Stiamo vedendo i modelli fare cose strane a volte nelle distribuzioni in aziende reali," ha spiegato.

Graham ha dichiarato che negli ultimi sei mesi si è concentrato sulle minacce di cybersecurity poste dai modelli IA, inclusa la possibilità che tali sistemi possano superare i sistemi di contenimento o hackerare piattaforme.

"Questi modelli sono così potenti e possono fare così tanto per noi. E vogliamo che facciano cose davvero produttive per noi. Ma, allo stesso tempo, sono una tecnologia diversa da qualsiasi altra tecnologia. È davvero una sorta di intelligenza propria, il che significa che devi essere prudente con loro nello stesso modo in cui potresti dover essere prudente con gli esseri umani," ha affermato.

Le aziende che utilizzano strumenti IA devono considerare come monitorano tali sistemi dopo la distribuzione per proteggersi da rischi come una cattiva gestione finanziaria, ha detto Graham. Ha aggiunto che test aggiuntivi da parte degli sviluppatori IA e delle aziende sono importanti per comprendere quelle minacce. In questa prospettiva, il lavoro sulla sicurezza non si limita alle valutazioni in laboratorio pre-rilascio; include anche procedure per osservare i sistemi distribuiti e rispondere quando si comportano al di fuori dei limiti previsti.

Ha affermato che le capacità dell'IA stanno crescendo rapidamente e potrebbero accelerare, aggiungendo che "è esattamente in quel momento che devi essere sempre più prudente e dedicare maggiori sforzi alle salvaguardie, ai test e alle procedure di rilascio."

Ad aprile, Anthropic ha constatato per la prima volta che un modello IA poteva iniziare ad attaccare e sfruttare le vulnerabilità nel computer o nel telefono di un utente per ottenere informazioni non autorizzate o rubare denaro, secondo Graham.

Ha dichiarato che quella scoperta ha portato il suo team ad adottare un approccio diverso al rilascio di un modello a causa dei rischi coinvolti. Lo sforzo ha coinvolto in definitiva il governo degli Stati Uniti e una serie di esperti di cybersecurity che hanno lavorato insieme per affrontare le vulnerabilità.

"Abbiamo avviato questo progetto chiamato Progetto Glasswing, in cui abbiamo coinvolto un gran numero di cyber defender americani e del resto del mondo e abbiamo concesso loro un accesso speciale, solo a loro, in modo che potessero avere un vantaggio nel patchare e riparare i sistemi che potrebbero essere vulnerabili con questi modelli," ha spiegato Graham.

"Penso che questo sia stato un grande successo. Abbiamo lavorato a stretto contatto con il governo degli Stati Uniti," ha detto, aggiungendo che il Segretario al Tesoro Scott Bessent è stato "molto riflessivo al riguardo, su come il settore dovrebbe riunirsi e capire cosa dare priorità nella riparazione, come distribuire tutte le correzioni e come farlo abbastanza velocemente da non poter essere attaccati dopo averlo fatto."

"Dobbiamo fare tutto questo molto velocemente, perché il ritmo di tutto sta arrivando così rapidamente."