Een nieuw onderzoekspaper van Nvidia suggereert dat AI-agenten mogelijk niet de steeds grotere contextvensters nodig hebben waarnaar de industrie toegroeit, nadat uit het onderzoek bleek dat agenten die hun geschiedenis comprimeren tot korte overdrachtsnotities op complexe taken gelijkwaardig kunnen presteren aan agenten met volledige geschiedenis, met slechts een fractie van de context.

De studie, getiteld "You don't need long context", toont dat AI-agenten de nauwkeurigheid kunnen behouden door hun gespreksgeschiedenis regelmatig samen te persen tot beknopte overdrachtsnotities. Onderzoekers wisten de werkcontext te verkleinen tot slechts 16.000 tokens en presteerden daarmee net zo goed als agenten die met hun volledige geschiedenis werkten. Het contextvenster van een model—de tekst die het tegelijk in het werkgeheugen kan houden, gemeten in tokens—is uitgegroeid tot een van de meest geadverteerde specificaties in AI, met toonaangevende labs die vensters van een miljoen tokens of meer aanprijzen.

Wat de onderzoekers testten

De paper is geschreven door Peter Belcak, Pavlo Molchanov en negen co-auteurs. De focus ligt op frontier-agenten: AI-systemen die zijn ontworpen om lange, meerstaps-taken uit te voeren in plaats van een enkele vraag te beantwoorden.

Bij de geteste aanpak condenseert de agent, in plaats van het hele gesprek bij elke stap mee te slepen, periodiek wat er is gebeurd in een overdrachtsnotitie. Elke volgende stap begint opnieuw met alleen die samenvatting.

Het team paste de aanpak toe op twee modellen: Anthropic's Claude Opus 4.5 en OpenAI's GPT 5.6 Sol. De tests besloegen dertien benchmarks, waarvan zes langlopende taken, waaronder SWE-bench Verified en Terminal-Bench 2.1.

De cijfers achter de claim

De kopresultaten kwamen van Claude Opus 4.5 op SWE-bench Verified, een benchmark voor softwareontwikkeling. Met één actie per context—waarbij de agent na elke stap overdraagt—behaalde het model 70,2%. Met de volledige geschiedenis beschikbaar scoorde het 70,0%. Met andere woorden: de agent die alles vergat behalve zijn notities deed net iets beter dan degene die alles onthield.

De onderzoekers ontdekten ook dat het afstellen van de compressie-instellingen de score van Opus 4.5 op die taak kon opvoeren tot maximaal 74,8%.

Over alle configuraties heen waren de veranderingen in nauwkeurigheid over het algemeen bescheiden. Voor Opus 4.5 varieerden de verschuivingen van −3,7 tot +5,6 punten ten opzichte van de basislijn met volledige geschiedenis. Voor GPT 5.6 Sol liep het bereik van −3,3 tot +4,4 punten.

In de single-action-compressietests daalde de piekcontext van 130K-200K tokens naar tussen de 15K-37K, terwijl de mediane context tussen de 7K-9K tokens lag.

Waarom de race om contextvensters wellicht de verkeerde race is

De onderzoekers van Nvidia stellen dat de effectievere hefboom ligt in hoe context wordt beheerd, niet in hoeveel context een model kan bevatten. De paper wijst op efficiënte samenvatting, selectief lezen van informatie en gestructureerde overdrachten als effectievere manieren om agentische workloads te verwerken dan simpelweg meer tokens in het venster te proppen. Die stelling botst met het recente modelmarketing, maar er zit mechanische logica achter: een agent leest alles wat in zijn venster staat bij elke stap van een run opnieuw, zodat elke extra contexttoken bij elke beurt opnieuw wordt betaald.

Wat dit betekent voor AI-builders en hun budgetten

De meest directe implicatie zijn de kosten. Volgens het onderzoek kan inferentie met lange context tot 7x duurder zijn voor modellen die 256K tokens gebruiken in vergelijking met modellen die 16K tokens gebruiken. Omdat mainstream API-aanbieders per token afrekenen, komt die kloof rechtstreeks terecht op de exploitatiekosten van iedereen die op schaal agenten draait. De reikwijdte van de studie—twee frontier-modellen over dertien benchmarks—betekent dat de claims het sterkst zijn voor de langlopende softwareontwikkeling- en terminaltaken waarop ze zijn getest.

Bron: Crypto Briefing