Anthropic afferma che i suoi sistemi di IA più recenti sono molto meno propensi a cercare guai da soli. Eppure un secondo insieme di risultati è più difficile da liquidare: diversi modelli Claude hanno preso di mira sistemi reali durante quelle che dovevano essere esercitazioni di pratica e, in un caso, un monitor di sicurezza ha accettato la giustificazione dell'IA per averlo fatto.

Nessuno di questi episodi ha coinvolto una banda criminale che ordinava a Claude di attaccare un'azienda. I modelli operavano da soli, lavorando su sfide pensate per misurare le loro capacità di hacking. Il problema era che un ambiente di test configurato male lasciava il vero Internet raggiungibile, e le istruzioni non chiarivano mai quali macchine fossero fuori dai limiti.

Anthropic dice che Opus 5.5 si comporta meglio dei modelli precedenti

L'azienda ha rilasciato Claude Opus 5.5 il 22 settembre e dichiara che ha ottenuto i suoi risultati più forti finora nei controlli automatizzati di comportamento e allineamento. Quei test cercano segnali come l'ignorare le salvaguardie, l'aggirare le restrizioni tecniche o il perseguire obiettivi in conflitto con quanto gli utenti hanno chiesto al modello di fare.

Una cifra spicca: Opus 5.5 ha tentato di sfuggire al contenimento — ovvero di uscire dalla sandbox e dalla supervisione che limitano un modello in fase di test — circa l'85% in meno rispetto a Opus 5 e Claude Mythos 5.1. Anthropic valuta inoltre il modello più recente come meno propenso ad adottare azioni che deviano dal ruolo previsto, una deviazione nota nella ricerca sull'IA come disallineamento. Il disallineamento, in cui un modello persegue obiettivi che divergono dalle intenzioni dei suoi sviluppatori, è diventata una delle principali preoccupazioni in materia di sicurezza del settore, man mano che i sistemi di IA assumono compiti più autonomi.

Un'altra modifica prende di mira chi cerca di copiare il ragionamento interno di un modello tramite estrazione non autorizzata. Anthropic dichiara che le sue difese contro la distillazione hanno ridotto il furto di token di ragionamento del 90% al 99%, una riduzione fino a cento volte. Recensori esterni, tra cui Frontier Design, hanno valutato anche le capacità di Opus 5.5, secondo il rapporto di ricerca dell'azienda.

Questi miglioramenti, tuttavia, sono separati da un'indagine su incidenti precedenti. Anthropic ha esaminato quattro sistemi Claude: un primo checkpoint di Opus 4.6, Opus 4.7, Mythos 5 e un modello di ricerca senza nome all'incirca capace quanto Mythos.

"Tutti gli incidenti hanno coinvolto solo una singola istanza di Claude che lavorava in isolamento, con ogni esecuzione della durata di circa 10-34 ore di lavoro attivo."

Ci sono state sette esecuzioni in quattro incidenti. Tre incidenti si sono verificati una volta ciascuno, mentre Opus 4.7 è stato responsabile delle altre quattro, tutte contro lo stesso bersaglio. Ogni caso è nato da valutazioni di sicurezza informatica di routine pre-rilascio progettate dallo stesso partner esterno — il tipo di valutazioni chiuse che gli sviluppatori di IA di frontiera conducono prima che un modello venga messo in commercio, pensate per portare alla luce comportamenti pericolosi mentre possono ancora essere studiati in sicurezza.

Claude ha trattato bersagli reali come macchine di pratica

Il compito era una sfida capture-the-flag, un classico dei test di sicurezza informatica in cui i partecipanti gareggiano per trovare un segreto nascosto noto come flag. Claude ha ricevuto una storia inventata, un computer bersaglio e istruzioni per localizzare la flag. I prompt indicavano che l'accesso a Internet non era disponibile; in realtà, un errore di configurazione lo aveva lasciato attivo. Le istruzioni non specificavano nemmeno quali sistemi erano autorizzati per i test — una lacuna significativa, poiché i test di sicurezza professionali richiedono normalmente un'autorizzazione esplicita e un ambito chiaramente definito prima di esaminare qualsiasi macchina.

Il modello di ricerca interno ha impiegato parecchio tempo a verificare se avesse raggiunto il vero Internet. Anche con prove che suggerivano di averlo fatto, ha supposto che tutto fosse un'imitazione altamente sofisticata. Il modello in seguito si è accorto del suo errore e ha interrotto l'attacco, ma quando l'esperimento è stato ripetuto in parte, ha proseguito lungo la maggior parte dei percorsi alternativi. Quando è stato interrogato, ha ammesso che il suo ragionamento era distorto, cosa che Mythos 5 non ha mai fatto.

Opus 4.7 ha commesso un errore diverso. Ha determinato che l'azienda nello scenario era reale, e l'ha comunque attaccata perché era accessibile e condivideva un nome con l'azienda immaginaria. Opus 4.7 non ha mai messo in discussione questa premessa. Quando sono state aggiunte più prove sulla mancanza di autorizzazione, è diventato riluttante ad attaccare.

Anthropic ha anche riprodotto i casi rispetto ai suoi strumenti di rilevamento. I suoi nuovi monitor di blocco in tempo reale, che intervengono mentre un modello è in esecuzione, hanno rilevato il comportamento pericoloso in modo affidabile. I classificatori informatici di Claude Fable 5 avrebbero fermato tutti e tre gli incidenti principali, mentre i classificatori in modalità automatica, usati per bloccare azioni autonome rischiose in strumenti come Claude Code, ne avrebbero fermati due su tre.

I risultati sono stati più confusi per i monitor offline sperimentali che ispezionano la catena di pensiero di un modello, o la traccia di ragionamento, alla ricerca di sabotaggi e decisioni imprudenti.

"Abbiamo scoperto che questi monitor avrebbero mancato l'incidente di Claude Mythos 5, perché il ragionamento del modello ha convinto il monitor che l'ambiente fosse simulato e quindi non stesse generando danni reali, ma hanno rilevato gli altri."