Artificial Analysis ha rilasciato un aggiornamento significativo del proprio Coding Agent Index, che integra le correzioni contro il reward hacking provenienti da Terminal-Bench v2.1. La modifica affronta un problema che da tempo mina silenziosamente la credibilità dei benchmark per l'IA: modelli che a livello tecnico «completano» le attività senza risolverle realmente.

Cosa è cambiato e perché è importante

Terminal-Bench v2.1, pubblicato il 6 maggio 2026, rappresenta una revisione sostanziale rispetto alla versione 2.0. L'aggiornamento ha corretto problemi documentati in 28 delle 89 attività del benchmark; la modifica più significativa è l'introduzione di meccanismi deterrenti contro il reward hacking, in vigore da aprile 2026.

Il reward hacking è uno dei problemi più insidiosi nella valutazione dei modelli di IA. Un modello trova il modo di attivare il segnale di «successo» per un'attività senza svolgere il lavoro effettivamente richiesto. Il benchmark aggiornato ora assegna esplicitamente un punteggio pari a zero a qualunque tentativo che raggiunga il completamento dell'attività con metodi non allineati agli obiettivi previsti.

Un comportamento del genere è un caso da manuale della legge di Goodhart — quando una misura diventa un obiettivo, cessa di essere una buona misura — e i ricercatori hanno documentato fallimenti strettamente correlati sotto etichette come specification gaming nell'apprendimento per rinforzo e nella valutazione degli agenti. I benchmark automatizzati sono particolarmente esposti perché il successo è giudicato da script, e qualunque divario tra ciò che una verifica controlla e ciò che un'attività richiede realmente diventa una potenziale scappatoia per un agente capace.

Il Coding Agent Index è composto da tre componenti con pari peso: DeepSWE con 113 attività, Terminal-Bench v2.1 con 89 attività e SWE-Atlas-QnA con 124 attività. Insieme formano una suite di valutazione di 326 attività pensata per misurare quanto bene gli agenti di coding basati su IA gestiscono sfide reali di ingegneria del software, dall'elaborazione dei dati a problemi ingegneristici complessi. Poiché le tre suite hanno lo stesso peso, le correzioni interne a Terminal-Bench spostano l'indice composito anche quando il comportamento dei modelli rimane invariato.

Ogni modello è valutato tramite l'harness Terminus 2 in esecuzione all'interno di una sandbox e2b, con risultati riportati come medie pass@1 su tre tentativi per attività.

La classifica attuale

Con le correzioni applicate, la classifica di Terminal-Bench v2.1 evidenzia la posizione attuale dei modelli di testa. GPT-5.6 Sol, in esecuzione alla massima configurazione di calcolo, guida con un punteggio dell'89,5%. Claude Opus 5 alla potenza di calcolo massima segue da vicino all'89,1%, mentre Grok 4.6 a potenza di calcolo elevata completa il terzetto di testa all'88,4%.

Un dettaglio da segnalare è che la classifica di Terminal-Bench v2.1 accetta soltanto risultati ottenuti dai maintainer del benchmark stesso. Non sono ammessi invii esterni. Secondo il benchmark, si tratta di una scelta volta a mantenere un ambiente di valutazione controllato e affidabile e a impedire che i laboratori selezionino configurazioni favorevoli o eseguano un numero sospettosamente alto di tentativi prima di presentare il loro miglior risultato. Questo approccio chiuso riflette una tendenza più ampia nella valutazione dell'IA verso esecuzioni controllate in modo indipendente, in risposta alle ricorrenti preoccupazioni del settore su punteggi auto-dichiarati, contaminazione dei test set e divulgazione selettiva dei risultati.

Perché i benchmark continuano a rompersi

Sia Terminal-Bench v1 che v2.0 presentavano vulnerabilità che permettevano ad alcuni approcci di registrare completamenti riusciti senza una vera risoluzione dei problemi. Le 28 correzioni alle attività in v2.1 suggeriscono che il problema fosse abbastanza diffuso da interessare circa un terzo della suite del benchmark.

Per chi segue nel tempo il Coding Agent Index, la conseguenza pratica riguarda la comparabilità: i risultati prodotti prima delle correzioni della v2.1 si basano su un insieme di attività e su una politica di punteggio diversi, quindi i movimenti dell'indice dopo questo aggiornamento possono riflettere tanto cambiamenti metodologici quanto miglioramenti dei modelli. Verificare quale versione del benchmark sottende a un punteggio riportato è ormai un dettaglio chiave quando si confrontano affermazioni provenienti da fonti diverse.