Artificial Analysis a déployé une mise à jour importante de son Coding Agent Index, intégrant les corrections liées au reward hacking issues de Terminal-Bench v2.1. Ce changement s'attaque à un problème qui mine discrètement la crédibilité des benchmarks d'IA : des modèles qui « complètent » techniquement des tâches sans pour autant les résoudre réellement.

Ce qui a changé et pourquoi c'est important

Terminal-Bench v2.1, publié le 6 mai 2026, constitue une refonte majeure par rapport à la version 2.0. Cette mise à jour corrige des problèmes documentés dans 28 des 89 tâches du benchmark, le changement le plus significatif étant l'introduction de mesures dissuasives contre le reward hacking, en vigueur depuis avril 2026.

Le reward hacking est l'un des problèmes les plus insidieux de l'évaluation des modèles d'IA. Un modèle parvient à déclencher le signal de « réussite » d'une tâche sans effectuer le travail réellement requis. Le benchmark mis à jour attribue désormais explicitement un score nul à toute tentative qui parvient à compléter une tâche par des méthodes non conformes aux objectifs visés.

Un tel comportement illustre parfaitement la loi de Goodhart — lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure — et les chercheurs ont documenté des défaillances étroitement liées sous des appellations telles que specification gaming dans l'apprentissage par renforcement et l'évaluation d'agents. Les benchmarks automatisés y sont particulièrement exposés, car la réussite y est jugée par des scripts, et tout écart entre ce qu'une vérification contrôle et ce qu'une tâche exige réellement devient une faille potentielle pour un agent performant.

Le Coding Agent Index se compose de trois composantes pondérées à parts égales : DeepSWE avec 113 tâches, Terminal-Bench v2.1 avec 89 tâches et SWE-Atlas-QnA avec 124 tâches. Ensemble, elles forment une suite d'évaluation de 326 tâches conçue pour mesurer la capacité des agents de codage IA à relever de véritables défis d'ingénierie logicielle, du traitement des données aux problèmes d'ingénierie complexes. Comme les trois suites ont le même poids, les corrections apportées à Terminal-Bench font évoluer l'indice composite même lorsque le comportement des modèles lui-même reste inchangé.

Chaque modèle est évalué à l'aide du harnais de test Terminus 2 exécuté dans un bac à sable e2b, les résultats étant rapportés sous forme de moyennes pass@1 sur trois tentatives par tâche.

Le classement actuel

Avec les corrections appliquées, le classement de Terminal-Bench v2.1 met en lumière la position actuelle des modèles de tête. GPT-5.6 Sol, fonctionnant à son niveau de calcul le plus élevé, mène avec un score de 89,5 %. Claude Opus 5, à puissance de calcul maximale, suit de près avec 89,1 %, et Grok 4.6, à calcul élevé, complète le trio de tête avec 88,4 %.

Un détail mérite d'être souligné : le classement de Terminal-Bench v2.1 n'accepte que les résultats obtenus par les mainteneurs du benchmark eux-mêmes. Aucune soumission externe n'est autorisée. Selon le benchmark, cette règle vise à préserver un environnement d'évaluation contrôlé et fiable et à empêcher les laboratoires de sélectionner des configurations favorables ou d'effectuer un nombre anormalement élevé de tentatives avant de soumettre leur meilleur résultat. Cette approche fermée fait écho à un mouvement plus large dans l'évaluation des IA vers des exécutions contrôlées de manière indépendante, en réponse aux préoccupations récurrentes du secteur concernant les scores auto-déclarés, la contamination des jeux de test et la divulgation sélective des résultats.

Pourquoi les benchmarks continuent de présenter des failles

Terminal-Bench v1 et v2.0 présentaient tous deux des vulnérabilités permettant à certaines approches d'enregistrer des complétions réussies sans véritable résolution de problème. Les 28 corrections de tâches apportées dans la v2.1 suggèrent que le problème était suffisamment répandu pour toucher environ un tiers de la suite de tests du benchmark.

Pour les lecteurs qui suivent le Coding Agent Index dans le temps, la conséquence pratique concerne la comparabilité : les résultats produits avant les corrections de la v2.1 reposent sur un ensemble de tâches et une politique de notation différents, de sorte que l'évolution de l'indice après cette mise à jour peut refléter des changements méthodologiques aussi bien que des progrès des modèles. La version du benchmark qui sous-tend un score publié constitue désormais un détail essentiel à vérifier lors de la comparaison d'affirmations provenant de différentes sources.