Anthropic riferisce che il suo modello più recente, Opus 5, è quasi immune agli attacchi di prompt injection all'interno del proprio ecosistema software. La prompt injection, una tecnica con cui un attaccante aggira le istruzioni operative di un modello di IA attraverso input manipolati, come testo nascosto incorporato nelle pagine web, ha fallito contro Opus 5 in quasi tutti gli scenari testati.

Secondo la System Card di Opus 5, il tasso di successo degli attacchi per gli agenti browser ha raggiunto lo zero percento in 129 scenari di test. Questo dato si distingue nettamente dal riconoscimento da parte di OpenAI, a dicembre, che la prompt injection potrebbe non essere mai risolta del tutto.

In una valutazione generale sulla prompt injection condotta dalla società di sicurezza Gray Swan, il tasso di successo dopo 15 tentativi è sceso dal 5.5 percento su Opus 4.8 al 2.0 percento su Opus 5, come indicato nella sezione sui test di sicurezza della system card.

Tuttavia, il risultato dello zero percento per gli agenti browser dipende dall'attivazione di Auto Mode in prodotti come Claude Cowork. Auto Mode implementa due difese stratificate: una esamina i dati in ingresso alla ricerca di istruzioni nascoste prima che il modello li elabori, mentre l'altra blocca le azioni pericolose prima dell'esecuzione. Per avere successo, un attaccante dovrebbe superare entrambe le difese in modo indipendente.

Senza queste protezioni, la suscettibilità di Opus 5 alla prompt injection è pari al 3.7 percento. È interessante notare che Sonnet 5 ottiene risultati migliori in quella configurazione non protetta, con un tasso dello 0.93 percento. Solo la combinazione tra il modello Opus 5 e il software di protezione Auto Mode porta a zero il tasso di successo degli attacchi negli scenari con agenti browser.

La prompt injection è ampiamente considerata una delle sfide di sicurezza più rilevanti per gli agenti di IA: sistemi autonomi che navigano sul web, leggono documenti e compiono azioni per conto degli utenti. Poiché questi agenti elaborano abitualmente contenuti esterni non attendibili, attori malevoli possono potenzialmente incorporare istruzioni in grado di sovrascrivere le direttive originali dell'agente. La vulnerabilità è stata una preoccupazione persistente in tutto il settore dell'IA e un ostacolo chiave a una diffusione più ampia dei sistemi di IA agentica. Anche importanti laboratori di IA, tra cui Google e OpenAI, stanno sviluppando prodotti basati su agenti browser, rendendo la resistenza alla prompt injection un fattore di differenziazione competitiva man mano che questi strumenti si avvicinano a un uso più esteso da parte di consumatori e imprese. I risultati di Anthropic suggeriscono che combinare miglioramenti nell'addestramento a livello di modello con protezioni architetturali può ridurre il rischio, anche se le conclusioni si applicano specificamente all'ecosistema di Anthropic e potrebbero non generalizzarsi a implementazioni di terze parti prive di difese stratificate equivalenti.