Claude Opus 5 d’Anthropic est devenu le modèle le plus performant sur ARC-AGI-3, un benchmark conçu pour tester si les systèmes d’IA peuvent résoudre des tâches inconnues plutôt que de s’appuyer sur des connaissances stockées ou des schémas vus pendant l’entraînement.

Selon ARC Prize, Claude Opus 5 a obtenu 30,2 % sur ARC-AGI-3, soit près de quatre fois le précédent record de 7,8 % établi par GPT-5.6 Sol (Max) d’OpenAI. Ce résultat place également Opus 5 devant les modèles « Fable-class » d’Anthropic, qui ont atteint environ 20 %, selon ARC Prize.

Opus 5 a résolu cinq environnements qui ne l’avaient jamais été auparavant, dont quatre à un niveau égal ou supérieur à celui des humains. Six des 25 environnements de démonstration publics ont désormais été résolus. ARC Prize a rendu publics les résultats complets, la fiche de score et le code de benchmarking.

L’analyse d’ARC Prize attribue l’avance d’Opus 5 à un raisonnement logique plus solide, « qui permet une exploration, une planification et une exécution plus autonomes dans des environnements inconnus ». Lors des tests, les chercheurs ont également observé des comportements qu’ils disent ne jamais avoir vus auparavant dans un modèle d’IA, notamment la traduction de tâches en notation algébrique et la formulation indépendante d’équations de réflexion.

Sur les anciennes versions du benchmark, Opus 5 a atteint 90,4 % sur ARC-AGI-2 et 97,5 % sur ARC-AGI-1. ARC Prize indique que ces deux scores égalent les meilleurs résultats précédents, bien qu’à des coûts légèrement plus élevés.

ARC-AGI-3 se concentre sur des tâches interactives inconnues

ARC-AGI-3 mesure la capacité des modèles d’IA à traiter de nouvelles tâches qu’ils n’ont pas rencontrées pendant l’entraînement, y compris des tâches que les humains peuvent généralement résoudre avec peu de difficulté. La version actuelle est structurée comme un jeu : le modèle doit déduire les règles d’un environnement interactif, planifier des actions et les exécuter étape par étape.

Le benchmark vise à tester le raisonnement général plutôt que les connaissances mémorisées. ARC Prize distingue les performances autonomes d’un modèle des systèmes qui utilisent des logiciels supplémentaires, appelés harness. Certains systèmes d’IA ont peut-être déjà réussi le benchmark avec une telle assistance externe, mais les scores officiels ne prennent en compte que les performances propres du modèle de langage. ARC Prize soutient que les futurs systèmes d’AGI ne devraient pas nécessiter d’aide extérieure pour résoudre de nouvelles tâches. L’article note qu’Opus 5 obtiendrait probablement un score plus élevé s’il était utilisé dans Claude Code.

Cette distinction est importante pour comparer les affirmations liées aux benchmarks, car un système assisté peut combiner un modèle de langage avec des outils, une structure d’accompagnement ou d’autres supports d’exécution, tandis que le classement officiel d’ARC-AGI-3 vise à isoler la capacité propre du modèle à explorer et résoudre de nouveaux environnements.

Des tests indépendants indiquent des gains plus limités

Anthropic n’a pas expliqué cette amélioration. L’article source indique que l’annotation ciblée de données et l’apprentissage par renforcement sont des facteurs plausibles, tout en notant qu’Opus 5 a été développé après qu’ARC-AGI-3 et son format ont été rendus publics. Ce calendrier a peut-être permis à Anthropic de se concentrer sur les compétences et les formats d’énigmes du benchmark, sans pour autant montrer que l’entreprise s’est entraînée sur les tâches exactes.

Des annotateurs auraient pu étiqueter des traces de raisonnement, des actions utiles, des tentatives échouées et des étapes de récupération à partir d’énigmes similaires. L’apprentissage par renforcement pourrait ensuite récompenser l’exploration, la planification, la découverte de règles et l’autocorrection.

Des tests sur Witness, le benchmark privé de Guanghan Ning pour les jeux de réflexion interactifs, suggèrent des gains plus limités. Opus 5 a obtenu 43,4, à égalité statistique avec Kimi K3 et Fable 5, tout en progressant beaucoup moins par rapport à Opus 4.8 que sur ARC-AGI-3. Dans ces tests, Opus 5 a identifié les règles cachées d’une énigme conventionnelle avant d’effectuer la moindre action, mais il est resté derrière Opus 4.8 sur un jeu aux mécaniques moins familières.

Ning a déclaré que ce schéma est cohérent avec un entraînement sur des données propres à un genre, même si Witness ne permet pas d’identifier les données utilisées par Anthropic. Ses commentaires ont été publiés sur X à l’adresse https://x.com/quietnning/status/2080786711861407883.

Greg Kamradt, l’un des chercheurs derrière ARC-AGI-3, a déclaré que les résultats n’excluent pas des gains de raisonnement plus larges. Un jeu construit sur des mécaniques familières ne teste pas l’adaptation à la nouveauté, et un résultat faible ne suffit pas à contrebalancer l’amélioration globale du modèle sans scores détaillés pour cette tâche. Les commentaires de Kamradt ont été publiés sur X à l’adresse https://x.com/GregKamradt/status/2081031602596200614.

Witness a également été conçu autour d’énigmes de type ARC-AGI-3, de sorte qu’une meilleure performance pourrait refléter un véritable transfert plutôt qu’une mémorisation. Ning a ensuite précisé qu’Opus 5 s’était bien généralisé à Witness, mais beaucoup moins qu’à ARC-AGI-3. Il a comparé ce processus à l’évolution des benchmarks de programmation, en disant qu’en tant que cible majeure pour le raisonnement interactif, ARC-AGI-3 attirera probablement d’abord le plus d’efforts d’entraînement.

Ning a indiqué que couvrir davantage de cas limites pourrait ensuite aider les modèles à généraliser à un éventail plus large de tâches de raisonnement abstrait. Il a comparé ce schéma à la programmation, qui est passée de benchmarks saturés comme HumanEval à des compétitions fréquemment mises à jour et aux agents de programmation actuels. Sa clarification ultérieure a été publiée à l’adresse https://x.com/quietnning/status/2081073990614061084.