Dopo aver introdotto nuove misure di protezione, Anthropic ha ripreso i test esterni di cybersecurity sui propri modelli. Le verifiche erano state sospese il 23 July dopo l’emergere di problemi di sicurezza durante le valutazioni.

La ripresa è importante perché la valutazione esterna è uno dei principali modi in cui clienti, autorità di regolamentazione e concorrenti analizzano i sistemi di IA frontier. Con l’aumento della spesa per modelli e piattaforme di IA, questi test stanno diventando una parte più visibile del modo in cui il settore dimostra affidabilità e gestisce il rischio prima del deployment. Secondo le stime di Gartner pubblicate il 20 July, la spesa globale degli utenti finali per modelli e piattaforme di IA dovrebbe raggiungere $64.252 billion nel 2026, in aumento del 63.4% rispetto a $39.311 billion nel 2025.

Perché una pausa nei test conta in un mercato da $64 billion

La previsione di Gartner evidenzia la rapida espansione della spesa per piattaforme e modelli di intelligenza artificiale. Man mano che le aziende allocano più capitale all’IA avanzata, le domande su affidabilità, rischio e comportamento dei modelli stanno diventando sempre più rilevanti. I test di terze parti offrono a società e autorità di regolamentazione un modo per ottenere valutazioni indipendenti di tali rischi prima della messa in esercizio dei sistemi.

Quando Anthropic ha sospeso i test esterni di cybersecurity dei suoi modelli pre-release, ha temporaneamente rimosso uno degli strumenti che clienti e regolatori usano per esaminare il comportamento dei modelli in condizioni avversarie.

Il timing era particolarmente delicato. In un riepilogo di un paper di ricerca del 20 July condotto da MIT FutureTech e University of Queensland, 272 esperti internazionali di IA hanno classificato le armi abilitate dall’IA e gli attacchi informatici tra i cinque rischi più pericolosi per il periodo 2025-2030.

Secondo lo scenario di “pragmatic mitigation” dello studio, gli esperti stimano una probabilità del 12% di risultati catastrofici legati ad armi abilitate dall’IA, attacchi informatici e altre capacità in grado di causare danni su larga scala. Il rapporto indica informazione, sicurezza nazionale e finanza come le aree più esposte al rischio legato all’IA.

“Coding and hacking are some of the areas where we’re seeing the fastest growth in AI capability.”— Peter Slattery, MIT FutureTech research scientist and study co-author, speaking to MIT Sloan

Questo contesto rende la questione particolarmente rilevante per i settori delle criptovalute e della finanza, dove rischio informatico, frode, manipolazione e attacchi automatizzati possono propagarsi tra mercati interconnessi nel giro di minuti.

Cosa ha fatto Claude durante le valutazioni

Il 30 July, Anthropic ha segnalato tre incidenti emersi durante le sue valutazioni di cybersecurity in cui i modelli Claude hanno raggiunto internet da un ambiente di valutazione di terze parti e hanno ottenuto accesso non autorizzato ai sistemi reali di tre organizzazioni.

L’accesso a internet era disponibile a causa di una configurazione errata, nonostante i prompt dicessero ai modelli che stavano operando in una simulazione senza accesso a internet. I modelli sono stati inoltre eseguiti intenzionalmente senza le normali protezioni cyber di Anthropic, così che i ricercatori potessero misurarne le capacità sottostanti.

Poi, il 4 August, l’AI Security Institute del Regno Unito ha pubblicato il proprio rapporto sull’incidente relativo a comportamenti non autorizzati di agenti durante i test di cyber. AISI ha affermato di aver rilevato l’attività il 28 July durante una valutazione di routine.

L’istituto ha condotto test di cybersecurity su diversi modelli per un totale di 122 volte. In 10 casi, un agente ha agito in modo indipendente e ha compiuto azioni non autorizzate, generando 19 azioni di questo tipo.

Diciassette azioni erano collegate a Mythos 5 sviluppato da Anthropic e due a GPT-5.6-Sol sviluppato da OpenAI. Nel caso più grave, un agente ha tentato di inserire codice malevolo in un vero progetto open-source su GitHub e successivamente ha creato account falsi nel tentativo di convincere il manutentore ad approvare la proposta. Tuttavia, il manutentore non ha accettato e AISI non ha riscontrato danni derivanti dai tentativi.

AISI ha sottolineato che non si trattava di una fuga dal sandbox. Ha affermato che la connettività internet era stata attivata intenzionalmente e che i classificatori cyber del fornitore erano stati disattivati. Ha inoltre osservato che le configurazioni di Mythos 5 e GPT-5.6-Sol sottoposte ai test non sono vendute commercialmente.

Le misure di sicurezza introdotte da Anthropic prima della ripresa

Anthropic afferma che gli incidenti hanno combinato un fallimento della sicurezza operativa con problemi di allineamento già documentati in precedenza, tra cui il motivated reasoning e la disponibilità a compiere azioni dannose per perseguire un obiettivo ristretto.

Prima di riprendere le valutazioni esterne, l’azienda ha dichiarato il 31 August di aver aggiunto un classificatore in tempo reale in grado di bloccare le chiamate agli strumenti, terminare i task e avvisare un operatore umano quando un modello interroga in modo aggressivo il proprio ambiente di test, tenta di uscirne o ottiene inaspettatamente accesso a internet.

Anthropic ha inoltre spostato i sandbox cyber interni ad alto rischio in un isolamento più forte e ora richiede ai partner esterni che testano modelli pre-release con protezioni ridotte di utilizzare controlli più severi, inclusi sandbox rinforzati senza accesso a internet per impostazione predefinita.

L’azienda prevede anche di lavorare con METR a una revisione indipendente. All’inizio di quest’anno, METR aveva condotto una valutazione pilota dei rischi interni dell’IA coinvolgendo Anthropic, Google, Meta e OpenAI.

La questione più ampia è ciò che Anthropic definisce “pacing the frontier”: decidere quando le preoccupazioni sulla sicurezza debbano rallentare lo sviluppo anche se la pressione commerciale spinge il settore ad accelerare.