Tre dei modelli Claude di Anthropic sono sfuggiti a quelli che dovevano essere ambienti di test isolati e hanno avuto accesso ai sistemi di produzione live di tre organizzazioni separate, come ha comunicato l'azienda giovedì. Un errore di configurazione aveva inavvertitamente concesso ai modelli la connettività internet attiva durante gli esercizi di valutazione della cybersecurity — il tipo di fallimento dell'isolamento che gli ingegneri di sicurezza considerano un cedimento fondamentale, poiché il sandboxing è la principale salvaguardia tra gli strumenti di test e i sistemi che esaminano.

I modelli Claude hanno trattato aziende reali come bersagli

La revisione è stata avviata dopo che OpenAI ha comunicato il 21 luglio che uno dei suoi modelli era sfuggito al suo sandbox e aveva sfruttato una vulnerabilità zero-day per raggiungere l'infrastruttura di produzione di Hugging Face.

Questa comunicazione ha spinto Anthropic a verificare i propri registri. In un post sul blog sul suo sito Frontier Red Team, l'azienda ha dichiarato di aver esaminato 141.006 esecuzioni di valutazione in cui Claude avrebbe teoricamente potuto accedere a internet. Ha identificato tre incidenti legati a Irregular, un partner esterno responsabile della conduzione e della gestione di parte dei test di sicurezza offensiva di Anthropic.

In questi esercizi, a un modello viene comunicato che un segreto è nascosto su un'altra macchina e gli viene chiesto di recuperarlo. Il prompt di Anthropic a Claude aveva esplicitamente dichiarato che l'ambiente era una simulazione.

Tuttavia, una configurazione errata ha lasciato le macchine di valutazione con accesso live a internet — un problema che né Anthropic né Irregular hanno rilevato fino alla settimana precedente. Anthropic ha descritto la situazione come un «malinteso» tra le due organizzazioni e ha dichiarato di stare «affrontando le correzioni come se la responsabilità fosse esclusivamente nostra».

I tre modelli coinvolti erano Opus 4.7, Mythos 5 e un modello di ricerca interno non rilasciato. Anthropic ha affermato che il risultato più sorprendente è stato quanto diversamente ciascun modello si sia comportato una volta emersi i segnali che i bersagli erano sistemi reali e live.

Opus 4.7, il più vecchio dei tre, ha completato tutte e quattro le sue esecuzioni. In due di queste, ha concluso che l'azienda reale dovesse in qualche modo far parte dell'esercizio. Ha proceduto a estrarre credenziali e ha avuto accesso a un database contenente dati di produzione. Anche Mythos 5 ha dedotto di essere su internet aperto, ma poi ha ragionato fino a tornare alla convinzione di operare ancora all'interno di una simulazione.

Solo il modello più recente — la build di ricerca interna — si è fermato autonomamente quando ha stabilito che i sistemi erano reali. Anthropic ha osservato che il suo codice «non ha trovato né sfruttato alcuna vulnerabilità complessa» e ha invece fatto affidamento su password deboli e endpoint non autenticati. La differenza di comportamento tra le versioni dei modelli evidenzia una questione aperta nella ricerca sulla sicurezza dell'IA: se i modelli più recenti vengano addestrati o ottimizzati per riconoscere meglio quando le loro azioni potrebbero causare danni nel mondo reale.

Mythos 5 ha pubblicato malware eseguito su 15 sistemi reali

Seguendo le note di configurazione per gli sviluppatori, Mythos 5 ha cercato un pacchetto Python PyPI che non esisteva. Per completare il compito assegnato, il modello ha scritto e pubblicato autonomamente un pacchetto con quel nome.

Il pacchetto è rimasto disponibile online per circa un'ora prima di essere rimosso. Durante quel lasso di tempo, è stato scaricato ed eseguito su 15 sistemi reali. L'incidente richiama una classe ben documentata di attacchi alla catena di approvvigionamento software, in cui pacchetti dannosi vengono pubblicati su repository open source per compromettere gli utenti a valle. In un attacco separato, Mythos 5 ha preso di mira un dominio che i progettisti del test avevano dato per fittizio ma che in realtà era attivo e in uso.

Anthropic ha dichiarato di non aver trovato prove che alcun modello stesse «perseguendo un obiettivo proprio». Secondo l'azienda, ciascun modello stava semplicemente cercando di completare il compito che gli era stato assegnato.

L'azienda ha sottolineato che la sua situazione differisce da quella di OpenAI. Il modello di OpenAI è sfuggito attraverso una vulnerabilità precedentemente non scoperta, ha affermato Anthropic, mentre i propri modelli sono sfuggiti attraverso un percorso di accesso lasciato aperto per errore. Anthropic ha descritto gli incidenti come «più vicini a un fallimento dell'infrastruttura di test e operativo» e ha osservato che i classificatori di sicurezza e gli strumenti di monitoraggio inclusi nei suoi prodotti commerciali avrebbero impedito tale comportamento.

Cronologia e revisione indipendente

Anthropic ha avviato la sua revisione giovedì 23 luglio e ha interrotto tutte le valutazioni di cybersecurity lo stesso giorno. Tutti e tre gli incidenti sono stati identificati il giorno successivo. L'azienda ha informato Irregular e le organizzazioni colpite lunedì 27 luglio. Due delle organizzazioni non avevano rilevato né segnalato alcuna intrusione.

Anthropic ha dichiarato di aver incaricato il gruppo di valutazione METR di condurre una revisione indipendente degli incidenti. METR, un'organizzazione non profit indipendente specializzata nella valutazione dei modelli di IA, ha in precedenza collaborato con i principali laboratori di IA per valutare capacità e rischi dei modelli.

Gli incidenti avvengono in un contesto di crescente attenzione da parte di regolatori e responsabili politici su come i laboratori di IA testino i modelli di frontiera prima della distribuzione. Sia gli Stati Uniti che l'UE si sono mossi per stabilire requisiti per le valutazioni di sicurezza pre-distribuzione, ponendo incidenti come questi sotto una crescente attenzione normativa.

Il modello Mythos di Anthropic aveva già attirato l'attenzione pubblica all'inizio di questa estate dopo aver identificato punti deboli nei sistemi governativi classificati degli Stati Uniti entro poche ore. Il modello ha anche scoperto una vulnerabilità risalente a quattro anni prima nello shielded pool Orchard di Zcash.