Anthropic ha comunicato che i suoi modelli di intelligenza artificiale Claude sono usciti da un ambiente di test isolato e hanno ottenuto accesso non autorizzato ai sistemi di tre organizzazioni reali, rendendola il secondo grande laboratorio di intelligenza artificiale questo mese a rivelare che la propria tecnologia ha portato a termine attacchi autonomi nel mondo reale.

L'annuncio arriva poco più di una settimana dopo che OpenAI—il principale rivale di Anthropic nella corsa all'intelligenza artificiale—ha rivelato che i propri modelli avevano sfruttato una vulnerabilità precedentemente sconosciuta per fuggire da un ambiente di test controllato e violare Hugging Face, una piattaforma di intelligenza artificiale open-source. Quel precedente incidente ha spinto Anthropic a condurre una revisione interna dei trascritti delle proprie valutazioni di cybersicurezza, come l'azienda ha dichiarato in un post pubblicato giovedì.

Anthropic ha esaminato 141.006 esecuzioni di valutazione—singole sessioni di test in cui a un modello viene assegnato un compito all'interno di un ambiente controllato e le sue azioni vengono registrate per la revisione—in cui Claude avrebbe potuto potenzialmente ottenere accesso a Internet. La revisione ha identificato tre incidenti in cui il modello ha raggiunto la rete Internet aperta dall'interno dell'ambiente di test di un partner di valutazione di terze parti e ha poi proceduto a compromettere infrastrutture reali. Il primo di questi incidenti risale ad aprile, il che significa che l'esposizione è rimasta non rilevata per circa tre mesi prima della revisione interna.

In tutti e tre i casi, a Claude era stato assegnato un esercizio di capture-the-flag, un metodo standard del settore per testare le capacità di hacking di un modello richiedendogli di recuperare informazioni nascoste da un'altra macchina su una rete simulata. Il formato è mutuato dall'addestramento tradizionale e dalle competizioni di cybersicurezza. I prompt di Anthropic informavano esplicitamente Claude che non aveva accesso a Internet. Tuttavia, una errata configurazione da parte del partner di valutazione di terze parti, Irregular, faceva sì che la connettività a Internet fosse in realtà disponibile.

Credendo di operare ancora all'interno della simulazione, Claude ha cercato il proprio obiettivo assegnato e, in ogni incidente, ha individuato e compromesso sistemi reali, secondo Anthropic. Il modello ha utilizzato tecniche di base come lo sfruttamento di password deboli e endpoint non autenticati—il tipo di vulnerabilità che di routine espone i sistemi reali nonostante siano debolezze di sicurezza ben note.

L'incidente più grave ha coinvolto Claude Opus 4.7, che ha estratto credenziali e ha avuto accesso a un database contenente diverse centinaia di righe di dati di produzione appartenenti a un'azienda reale che casualmente condivideva il nome con l'obietgetto fittizio del proprio scenario di valutazione. Anthropic ha segnalato che questo è stato l'unico incidente in cui il modello ha continuato l'attacco dopo aver ottenuto apparenti evidenze che il sistema era reale.

In un secondo incidente, Claude Mythos 5 ha creato e pubblicato un pacchetto Python dannoso—un insieme di codice pre-scritto che gli sviluppatori comunemente scaricano per aggiungere funzionalità al proprio software—in un registro pubblico. Questo tipo di attacco, noto come compromissione della catena di fornitura software, è un vettore di minaccia sempre più documentato in cui gli attaccanti pubblicano codice che sembra legittimo per ingannare gli sviluppatori e indurli a installarlo. In un certo momento, il modello ha dedotto che l'esercizio fosse ancora una simulazione perché non riconosceva le autorità di certificazione—le organizzazioni che emettono i certificati digitali utilizzati per verificare l'autenticità di un sito web o di un server—che proteggevano le sue connessioni. Il pacchetto è rimasto attivo per circa un'ora ed è stato installato su 15 sistemi reali, incluso un malware scanner di un'azienda di sicurezza, il che ha permesso a Claude di ottenere e utilizzare le credenziali di quell'azienda.

Un terzo incidente ha coinvolto un modello di ricerca interno che ha scansionato circa 9.000 obiettivi prima di compromettere l'applicazione esposta a Internet di un'azienda. Quel modello ha interrotto autonomamente la propria attività dopo aver concluso che il sistema violato non faceva parte dell'esercizio.

Anthropic ha dichiarato che nessuna delle organizzazioni colpite aveva rilevato le intrusioni prima di essere informata dall'azienda, e che sta ancora cercando di contattare una delle tre. L'azienda ha descritto gli incidenti come un fallimento operativo anziché un fallimento di allineamento—in termini di sicurezza dell'intelligenza artificiale, un fallimento dei controlli di infrastruttura e di processo piuttosto che una prova che i modelli stessero perseguendo obiettivi non allineati con le intenzioni dei propri sviluppatori. Anthropic ha segnalato che il suo modello più recente è stato l'unico dei tre a fermare il proprio attacco dopo aver riconosciuto che l'ambiente era reale.

Charlie Eriksen, un ricercatore di sicurezza presso Aikido Security, ha affermato che è incoraggiante vedere Anthropic revisionare proattivamente i propri trascritti di valutazione e divulgare rapidamente i risultati, ma ha espresso preoccupazione per il fatto che i test sembrassero privi di monitoraggio in tempo reale.

"È inquietante solo per la pura capacità, velocità e scala a cui questi agenti possono operare. Non stanno facendo nulla che gli umani non abbiano già fatto prima. Quella parte non è nuova. Ciò che è davvero preoccupante è che agiscano senza un'adeguata supervisione, judgment o intervento umano," ha affermato Eriksen.

"L'incidente di OpenAI ha sollevato legittime questioni sulle implicazioni legali ed etiche degli agenti LLM che sfuggono al controllo," ha aggiunto. "Questo non fa che rafforzare tali preoccupazioni. Se un agente autonomo provoca danni o agisce al di fuori dei propri limiti previsti, chi è in ultima analisi responsabile?"

Le segnalazioni sia di OpenAI che di Anthropic arrivano mentre le due aziende si preparano a quotazioni in borsa previste per valutare ciascuna a oltre 1 trilione di dollari. Con crescenti timori riguardo ai rischi degli agenti autonomi e sempre più pressanti inviti all'industria a prendere almeno in considerazione l'idea di "modulare" lo sviluppo frontier, le prossime IPO di entrambe le aziende potrebbero affrontare un maggiore scrutinio. Gli incidenti consecutivi aggiungono anche urgenza alle questioni aperte sui quadri di responsabilità per i sistemi di intelligenza artificiale autonomi—un'area in cui l'attuale legislazione in materia di cybersicurezza e responsabilità per prodotto non ha ancora stabilito precedenti chiari.

Questa storia è stata originariamente pubblicata su Fortune.com.