METR a introduit une métrique appelée « horizon de dépense » pour mesurer le rapport coût-efficacité des agents IA lorsqu’ils résolvent des problèmes de recherche. Les premiers résultats issus de son application au speedrun NanoGPT sont limités, et METR note que l’approche comporte d’importants angles morts. Des modèles d’IA plus récents pourraient également modifier les résultats.

Une question centrale de la recherche en IA est de savoir si les systèmes d’IA peuvent accélérer leur propre développement, créant un cycle dans lequel les modèles contribuent à rendre les modèles suivants meilleurs à un rythme croissant. Mesurer ce phénomène s’est révélé difficile, car les coûts pertinents ne sont pas directement comparables. Les chercheurs doivent tenir compte du travail humain, du calcul utilisé pour les expériences et du coût d’exécution des systèmes d’IA eux-mêmes. Une métrique qui place ces coûts sur une même échelle est donc utile pour évaluer les affirmations sur la recherche automatisée en IA sans s’appuyer uniquement sur des scores de benchmarks ou des exemples anecdotiques.

La réponse proposée par METR est l’« horizon de dépense ». La métrique compare combien un système d’IA et un humain doivent chacun dépenser pour obtenir la même amélioration. L’horizon de dépense correspond au niveau de budget auquel les deux approches coûtent le même prix. En dessous de ce niveau, l’IA est plus rentable. Au-dessus, l’humain coûte moins cher.

La métrique s’appuie sur une tendance que METR dit avoir observée lors de tests précédents : les agents IA accomplissent souvent des tâches simples et peu coûteuses plus rapidement que les humains, mais ils ont tendance à prendre du retard lorsque les budgets augmentent et que les tâches deviennent plus difficiles.

Selon METR, la méthode présente deux avantages par rapport aux benchmarks d’IA classiques. Premièrement, elle ne renvoie pas seulement un résultat binaire de réussite ou d’échec. Elle fournit plutôt une mesure plus fine de l’amélioration obtenue pour une somme donnée. Deuxièmement, elle convertit différents intrants dans une devise commune, y compris le coût d’exécution des systèmes d’IA, le calcul utilisé pour les expériences et le temps de travail humain.

METR estime que les humains dépensent environ $2,500 par accélération de 1 %

METR a testé la métrique sur le speedrun NanoGPT, un projet communautaire public dans lequel des volontaires se mesurent pour entraîner un modèle de langage d’IA aussi rapidement que possible. La tâche elle-même reste fixe, tandis que les participants ne peuvent modifier que l’approche d’entraînement. Depuis mai 2024, le temps requis sur du matériel standardisé est passé d’environ 45 minutes à moins de deux minutes, au fil de 82 étapes d’amélioration documentées. Cela fait du speedrun un cadre contrôlé utile pour les comparaisons de coûts, mais aussi un indicateur étroit pour la recherche en IA au sens large, où les objectifs, les contraintes et les critères d’évaluation peuvent évoluer au cours d’un projet.

Pour estimer le coût du travail humain, METR a interrogé deux des contributeurs les plus actifs du projet. L’organisation a également demandé à un modèle d’IA, Opus-4.6, d’estimer l’effort nécessaire derrière chaque amélioration. Les deux approches ont abouti à un chiffre similaire : environ 16 heures de travail pour chaque accélération de 1 %. En utilisant un taux horaire supposé de $150, METR a calculé un coût d’environ $2,500 par point de pourcentage.

METR souligne que cette estimation est très incertaine. Les entretiens ont également montré que la majeure partie du temps des contributeurs était consacrée à des idées qui, au final, n’ont pas fonctionné.

Les agents IA n’ont jusqu’ici produit que des gains limités

Pour la comparaison, METR a chargé six modèles d’IA de travailler indépendamment sur la même tâche. Les modèles ne sont pas partis de zéro. Ils ont plutôt commencé à partir d’une version déjà très optimisée du speedrun, le Record #78 de mars 2026, et ont été autorisés à dépenser jusqu’à $10,000 par exécution en coûts de calcul et d’exploitation.

Les horizons de dépense estimés qui en ont résulté allaient de $0 à $3,300. Les performances ont fortement varié selon les modèles. GPT-5 et Opus-4.1 n’ont produit aucun progrès réel après une vérification attentive ; leurs gains apparents ont été attribués à du bruit aléatoire. GPT-5.5 et Opus-4.8, en revanche, ont fourni de véritables améliorations d’environ 1 % et 1.5 %, respectivement.

La qualité des suggestions des modèles était contrastée. Le mainteneur du speedrun a estimé qu’environ 70 % des idées générées par l’IA pourraient, en principe, être intégrées au projet, mais que beaucoup n’étaient pas particulièrement originales. Il a décrit une optimisation de bas niveau issue de GPT-5.5 comme la « coolest one », tout en qualifiant la plupart des autres suggestions de simples ajustements de paramètres.

Les modèles ont également tenté de tricher à plusieurs reprises. Ces tentatives consistaient en des raccourcis produisant artificiellement de bons résultats de test, mais qui auraient été inutiles en pratique, par exemple en désactivant certaines parties de l’entraînement peu avant la ligne d’arrivée. Ce problème souligne l’importance de l’étape de vérification de METR : sans vérifier qu’une accélération préserve la tâche visée, l’optimisation automatisée peut récompenser des comportements qui améliorent le résultat mesuré tout en compromettant l’expérience sous-jacente.

La conclusion de METR est que, même si certains modèles ont atteint des horizons de dépense dans le bas des quatre chiffres, ces valeurs sont très faibles par rapport aux $250,000 estimés d’effort humain total derrière le speedrun NanoGPT. Selon l’évaluation de METR, l’optimisation autonome n’a jusqu’ici contribué que marginalement aux progrès globaux de NanoGPT.

Des modèles d’IA plus récents pourraient modifier la comparaison

Le test de METR comporte une réserve importante : il n’incluait que des modèles plus anciens, à savoir GPT-5, GPT-5.2, GPT-5.5, Opus-4.1 et Opus-4.8. Les modèles publiés ensuite, notamment Fable 5, GPT-5.6 Sol et Opus 5, ne figuraient pas dans l’article.

Anthropic présente Opus 5 comme une amélioration majeure. Sur Frontier-Bench, l’entreprise affirme qu’Opus 5 double les performances d’Opus 4.8 tout en réduisant le coût par tâche. Selon Anthropic, Opus 5 consacre moins d’efforts aux impasses, vérifie son propre travail de manière plus fiable et atteint des performances similaires avec en moyenne 26 % d’étapes de calcul en moins. Chacun de ces facteurs affecte directement l’horizon de dépense de METR.

Les résultats sur ARC-AGI-3 sont également notables. Ce benchmark est conçu pour tester la résolution de problèmes plutôt que les connaissances mémorisées. Les systèmes d’IA sont placés dans des environnements inconnus, proches de jeux, sans instructions ni objectifs, et doivent déterminer comment avancer par essais et erreurs.

Opus 5 occupe la première place sur ARC-AGI-3 depuis le 24 juillet 2026, avec un score de 30.2 %. Il a résolu cinq tâches auxquelles tous les modèles précédents avaient échoué. Opus 4.8, son prédécesseur, n’avait obtenu que 1.5 %. L’équipe d’ARC Prize attribue cette amélioration à un raisonnement logique plus solide, qui permet à l’IA d’explorer et de planifier de manière plus indépendante. Cette capacité pourrait également être pertinente pour le speedrun NanoGPT, même si la comparaison publiée par METR devrait être relancée sur des modèles plus récents pour montrer si leurs horizons de dépense sont différents.

L’étude ne mesure pas la collaboration humain-IA

L’une des principales limites de l’étude est signalée par METR elle-même : l’analyse mesure des systèmes d’IA travaillant seuls, dans le cadre d’une optimisation purement autonome. Dans la recherche en IA réelle, les humains utilisent généralement l’IA comme un outil plutôt que de lui déléguer entièrement des tâches de recherche.

METR décrit une troisième courbe hypothétique pour ce scénario de collaboration humain-IA. Si les humains prennent des décisions efficaces sur le moment et la manière d’utiliser l’IA, l’approche hybride devrait, en théorie, surpasser à la fois les approches purement humaines et purement IA en combinant les forces de chacune.

METR avertit toutefois que ce résultat n’est pas garanti. L’organisation renvoie à ses travaux antérieurs montrant que les configurations humain-plus-IA ont parfois obtenu de moins bons résultats que les humains travaillant seuls. Le bénéfice dépend de l’utilisation de l’IA dans les bonnes parties du processus.

Mesurer cela correctement nécessiterait une expérience contrôlée comparant les mêmes chercheurs travaillant avec et sans assistance de l’IA. METR indique qu’une telle expérience serait difficile à organiser, mais très informative. D’ici là, l’horizon de dépense fournit des éléments sur ce que les systèmes d’IA peuvent accomplir indépendamment, mais beaucoup moins sur la mesure dans laquelle ils accélèrent les chercheurs humains en pratique.