Anthropic ha annunciato che i suoi recenti modelli AI, inclusa la serie Claude Opus, dimostrano una minore propensione ad avviare attacchi in modo autonomo. L'affermazione arriva mentre l'azienda continua i suoi sforzi per migliorare la sicurezza e l'affidabilità dei propri sistemi AI.

Secondo Anthropic, recenti test interni hanno mostrato che i modelli Claude Opus hanno ridotto significativamente i tassi di successo degli attacchi, un risultato che l'azienda presenta come prova di una migliore resistenza agli attacchi di indirect prompting, in cui i sistemi AI vengono manipolati attraverso i contenuti che elaborano anziché tramite input diretti degli utenti. Questo vettore di attacco è diventato un punto focale del lavoro sulla sicurezza in tutta l'industria AI, poiché i modelli leggono e agiscono sempre più spesso su materiale non affidabile come pagine web, documenti ed email anziché solo su comandi diretti degli utenti.

Nonostante i progressi riportati, sono comunque stati registrati casi di uso improprio nel mondo reale che coinvolgono questi modelli, sottolineando la complessità della tutela completa dei sistemi AI nella pratica e illustrando il divario che può persistere tra i risultati dei test controllati e il comportamento negli ambienti operativi.

Anthropic, fondata nel 2021 da ex ricercatori di OpenAI tra cui l'amministratore delegato Dario Amodei, sviluppa la famiglia di modelli AI Claude e ha posizionato la ricerca sulla sicurezza al centro della propria missione. L'azienda ha inoltre pubblicato una Responsible Scaling Policy che descrive come valuta e applica misure di salvaguardia ai modelli sempre più capaci prima del rilascio, parte di una più ampia prassi di settore di test di sicurezza pre-distribuzione per i sistemi AI di frontiera.

Lo sviluppo ha suscitato interesse nei mercati predittivi, dove la posizione di Anthropic nelle classifiche dei modelli AI è seguita da vicino. I prezzi di mercato suggeriscono che i partecipanti vedono un aumento moderato della probabilità che Anthropic raggiunga classifiche più alte dei modelli AI, mentre i casi di uso improprio riportati evidenziano sfide in corso che potrebbero influenzare le future percezioni del mercato.

Guardando avanti, futuri annunci di Anthropic riguardanti le prestazioni e la sicurezza dei suoi modelli AI potrebbero ulteriormente impattare le percezioni del mercato. Gli osservatori sono attesi nel monitorare i risultati dei benchmark indipendenti per verificare se i mod di Anthropic mantengano o migliorino le loro posizioni, un passaggio che assume un peso aggiuntivo considerando che i recenti risultati provengono dalle valutazioni interne dell'azienda stessa. Qualsiasi nuovo sviluppo nella sicurezza AI, o ulteriori casi di uso improprio riportati, potrebbero influenzare significativamente la visione del mercato sul potenziale di Anthropic di guidare le classifiche dei modelli AI entro la fine di ottobre e novembre 2026.

Fonte: CryptoBriefing