Un nouvel article de recherche de Nvidia suggère que les agents IA n'ont peut-être pas besoin des fenêtres de contexte toujours plus grandes vers lesquelles l'industrie se dirige, après avoir constaté que les agents qui compressent leur historique en courtes notes de transfert peuvent égaler les performances du contexte complet sur des tâches complexes, pour une fraction de la taille du contexte.

L'étude, intitulée « You don't need long context », montre que les agents IA peuvent préserver leur précision en compactant régulièrement leur historique de conversation en notes de transfert concises. Les chercheurs ont pu réduire le contexte de travail à seulement 16 000 tokens tout en égquant les performances des agents disposant de la totalité de leur historique. La fenêtre de contexte d'un modèle — le texte qu'il peut garder en mémoire de travail à un instant donné, mesuré en tokens — est devenue l'une des spécifications les plus mises en avant en IA, les grands laboratoires se targuant de fenêtres d'un million de tokens ou plus.

Ce que les chercheurs ont testé

L'article a été rédigé par Peter Belcak, Pavlo Molchanov et neuf co-auteurs. Il se concentre sur les agents de pointe : des systèmes d'IA conçus pour mener à bien des tâches longues et en plusieurs étapes plutôt que de répondre à une seule question.

Selon l'approche testée, au lieu de transporter l'intégralité de la conversation à chaque étape, l'agent condense périodiquement ce qui s'est passé dans une note de transfert. Chaque étape suivante repart à zéro avec seulement ce résumé.

L'équipe a appliqué cette approche à deux modèles : le Claude Opus 4.5 d'Anthropic et le GPT 5.6 Sol d'OpenAI. Les tests ont porté sur treize benchmarks, dont six tâches à long horizon, notamment SWE-bench Verified et Terminal-Bench 2.1.

Les chiffres derrière l'affirmation

Le résultat phare provient de Claude Opus 4.5 sur SWE-bench Verified, un benchmark de génie logiciel. Avec une action par contexte — c'est-à-dire un transfert après chaque étape — le modèle a obtenu 70,2 %. Avec l'intégralité de son historique disponible, il a obtenu 70,0 %. Autrement dit, l'agent qui oubliait tout sauf ses notes a fait légèrement mieux que celui qui se souvenait de tout.

Les chercheurs ont également constaté que l'ajustement des paramètres de compaction pouvait porter le score d'Opus 4.5 sur cette tâche jusqu'à 74,8 %.

Toutes configurations confondues, les variations de précision sont restées généralement modestes. Pour Opus 4.5, les écarts allaient de -3,7 à +5,6 points par rapport à la référence à historique complet. Pour GPT 5.6 Sol, la fourchette s'étendait de -3,3 à +4,4 points.

Dans les tests de compaction à action unique, le contexte maximal est passé de 130K-200K tokens à entre 15K-37K, tandis que le contexte médian se situait entre 7K-9K tokens.

Pourquoi la course aux fenêtres de contexte est peut-être la mauvaise course

Les chercheurs de Nvidia estiment que le levier le plus efficace réside dans la gestion du contexte, et non dans la quantité qu'un modèle peut contenir. L'article cite la synthèse efficace, la lecture sélective des informations et les transferts structurés comme des moyens plus efficaces de gérer les charges de travail agentiques que de simplement entasser davantage de tokens dans la fenêtre. Cette thèse va à contre-courant du marketing récent des modèles, mais elle repose sur une logique mécanique : un agent relit à chaque étape tout ce qui se trouve dans sa fenêtre, de sorte que chaque token de contexte supplémentaire est payé à nouveau à chaque tour.

Ce que cela signifie pour les créateurs d'IA et leurs budgets

La conséquence la plus immédiate est le coût. Selon la recherche, l'inférence à long contexte peut coûter jusqu'à 7 fois plus cher pour les modèles utilisant 256K tokens par rapport à ceux utilisant 16K tokens. Les principaux fournisseurs d'API tarifiant au token, cet écart se répercute directement sur la facture d'exploitation de quiconque fait tourner des agents à grande échelle. Le périmètre de l'étude — deux modèles de pointe sur treize benchmarks — signifie que ses affirmations sont les plus solides pour les tâches de génie logiciel et de terminal à long horizon où elles ont été testées.

Source : Crypto Briefing