Claude Opus 5 di Anthropic è diventato il modello con le migliori prestazioni su ARC-AGI-3, un benchmark progettato per verificare se i sistemi di IA siano in grado di risolvere compiti non familiari invece di fare affidamento su conoscenze memorizzate o schemi osservati durante l’addestramento.

Secondo ARC Prize, Claude Opus 5 ha ottenuto un punteggio del 30,2 percento su ARC-AGI-3, quasi quattro volte il precedente record del 7,8 percento stabilito da GPT-5.6 Sol (Max) di OpenAI. Il risultato colloca inoltre Opus 5 davanti ai modelli "Fable-class" di Anthropic, che secondo ARC Prize hanno raggiunto circa il 20 percento.

Opus 5 ha risolto cinque ambienti che in precedenza non erano stati risolti, inclusi quattro a livello umano o superiore. Ora sono stati risolti sei dei 25 ambienti demo pubblici. ARC Prize ha reso disponibili pubblicamente i risultati completi, la scheda di valutazione e il codice di benchmarking.

L’analisi di ARC Prize attribuisce il vantaggio di Opus 5 a un ragionamento logico più solido, "che consente esplorazione, pianificazione ed esecuzione più autonome in ambienti non familiari." Durante i test, i ricercatori hanno anche osservato comportamenti che, a loro dire, non erano mai comparsi prima in un modello di IA, tra cui la traduzione dei compiti in notazione algebrica e la formulazione autonoma di equazioni di riflessione.

Sulle versioni precedenti del benchmark, Opus 5 ha raggiunto il 90,4 percento su ARC-AGI-2 e il 97,5 percento su ARC-AGI-1. ARC Prize ha dichiarato che entrambi i punteggi eguagliano i precedenti risultati migliori, sebbene con costi leggermente superiori.

ARC-AGI-3 si concentra su compiti interattivi non familiari

ARC-AGI-3 misura quanto bene i modelli di IA affrontino nuovi compiti che non hanno incontrato durante l’addestramento, inclusi compiti che gli esseri umani di solito riescono a risolvere con poca difficoltà. La versione attuale è strutturata come un gioco: il modello deve dedurre le regole di un ambiente interattivo, pianificare le azioni ed eseguirle passo dopo passo.

Il benchmark è pensato per testare il ragionamento generale anziché la conoscenza memorizzata. ARC Prize distingue tra le prestazioni autonome di un modello e i sistemi che utilizzano software aggiuntivo, noto come harness. Alcuni sistemi di IA potrebbero aver già superato il benchmark con questo tipo di assistenza esterna, ma i punteggi ufficiali considerano solo le prestazioni proprie del modello linguistico. ARC Prize sostiene che i futuri sistemi AGI non dovrebbero richiedere aiuti esterni per risolvere nuovi compiti. L’articolo osserva che Opus 5 probabilmente otterrebbe un punteggio più alto se utilizzato all’interno di Claude Code.

Questa distinzione è importante per confrontare le affermazioni sui benchmark, perché un sistema assistito può combinare un modello linguistico con strumenti, impalcature o altri supporti di esecuzione, mentre la classifica ufficiale di ARC-AGI-3 mira a isolare la capacità propria del modello di esplorare e risolvere nuovi ambienti.

I test indipendenti indicano miglioramenti più contenuti

Anthropic non ha spiegato il miglioramento. L’articolo di origine afferma che l’etichettatura mirata dei dati e l’apprendimento per rinforzo sono fattori plausibili, osservando al tempo stesso che Opus 5 è stato sviluppato dopo che ARC-AGI-3 e il suo formato erano diventati pubblici. Questa tempistica potrebbe aver consentito ad Anthropic di concentrarsi sulle competenze e sui formati di rompicapo del benchmark, anche se non dimostra che l’azienda si sia addestrata sui compiti esatti.

Gli annotatori potrebbero aver etichettato tracce di ragionamento, azioni utili, tentativi falliti e passaggi di recupero da rompicapi simili. L’apprendimento per rinforzo potrebbe poi premiare esplorazione, pianificazione, scoperta delle regole e autocorrezione.

I test su Witness, il benchmark privato di Guanghan Ning per giochi rompicapo interattivi, suggeriscono miglioramenti più limitati. Opus 5 ha ottenuto 43,4, risultando statisticamente alla pari con Kimi K3 e Fable 5, mentre ha migliorato molto meno rispetto a Opus 4.8 di quanto abbia fatto su ARC-AGI-3. In quei test, Opus 5 ha identificato le regole nascoste di un rompicapo convenzionale prima di compiere qualsiasi azione, ma è rimasto dietro a Opus 4.8 in un gioco con meccaniche meno familiari.

Ning ha affermato che questo schema è coerente con un addestramento su dati specifici di genere, sebbene Witness non possa identificare quali dati Anthropic abbia utilizzato. I suoi commenti sono stati pubblicati su X all’indirizzo https://x.com/quietnning/status/2080786711861407883.

Greg Kamradt, uno dei ricercatori dietro ARC-AGI-3, ha affermato che i risultati non escludono miglioramenti più ampi nel ragionamento. Un gioco basato su meccaniche familiari non mette alla prova l’adattamento alla novità, e un singolo risultato debole non supera il miglioramento complessivo del modello senza punteggi dettagliati per quel compito. I commenti di Kamradt sono stati pubblicati su X all’indirizzo https://x.com/GregKamradt/status/2081031602596200614.

Anche Witness è stato progettato attorno a rompicapi in stile ARC-AGI-3, quindi prestazioni più forti potrebbero riflettere un trasferimento reale anziché memorizzazione. Ning ha poi chiarito che Opus 5 si è effettivamente generalizzato a Witness, ma molto meno che su ARC-AGI-3. Ha paragonato il processo all’evoluzione dei benchmark di programmazione, affermando che, in quanto obiettivo importante per il ragionamento interattivo, ARC-AGI-3 probabilmente attirerà per primo la maggior parte degli sforzi di addestramento.

Ning ha detto che coprire più casi limite potrebbe quindi aiutare i modelli a generalizzare a una gamma più ampia di compiti di ragionamento astratto. Ha paragonato lo schema alla programmazione, che è passata da benchmark saturi come HumanEval a competizioni aggiornate di frequente e agli attuali agenti di coding. Il suo successivo chiarimento è stato pubblicato all’indirizzo https://x.com/quietnning/status/2081073990614061084.