Nvidia-Studie: KI-Agenten erreichen volle Genauigkeit mit kurzen Kontexten
Wichtige Erkenntnisse
- •Nvidias Studie mit dem Titel "You don't need long context" fand, dass KI-Agenten, die ihren Verlauf zu kurzen Übergabnotizen verdichten, die Leistung von Agenten mit vollständig verfügbarer Historie erreichen können.
- •Auf SWE-bench Verified erzielte Claude Opus 4.5 mit einer Aktion pro Kontext 70,2 % und lag damit minimal über den 70,0 % mit vollem Verlauf; eine Feinabstimmung der Komprimierungseinstellungen hob die Punktzahl auf bis zu 74,8 %.
- •Der Komprimierungsansatz reduzierte den Spitzenkontext von 130.000–200.000 Tokens auf zwischen 15.000–37.000 Tokens, mit einem Mediankontext von 7.000–9.000 Tokens.
- •Getestet wurden zwei Frontier-Modelle, Anthropics Claude Opus 4.5 und OpenAIs GPT 5.6 Sol, über dreizehn Benchmarks, sechs davon Langzeitaufgaben, darunter Terminal-Bench 2.1.
- •Die Forschung zeigt, dass Inferenz mit langem Kontext bei 256.000 Tokens bis zu 7x teurer sein kann als bei 16.000 Tokens – eine Differenz, die sich direkt auf die Betriebskosten aller auswirkt, die Agenten im großen Stil über tokenbasierte APIs betreiben.
Eine neue Forschungsarbeit von Nvidia deutet darauf hin, dass KI-Agenten die stets größeren Kontextfenster, auf die die Branche zusteuert, möglicherweise nicht benötigen: Agenten, die ihren Verlauf zu kurzen Übergabnotizen verdichten, können die Leistung von Systemen mit vollem Verlauf bei komplexen Aufgaben erreichen – mit nur einem Bruchteil des Kontexts.
Die Studie mit dem Titel "You don't need long context" zeigt, dass KI-Agenten ihre Genauigkeit bewahren können, indem sie ihren Gesprächsverlauf regelmäßig zu knappen Übergabnotizen verdichten. Den Forschern gelang es, den Arbeitskontext auf bis zu 16.000 Tokens zu verkleinern und dabei die Leistung von Agenten mit vollständig verfügbarer Historie zu erreichen. Das Kontextfenster eines Modells – der Text, den es gleichzeitig im Arbeitsgedächtnis halten kann, gemessen in Tokens – ist zu einer der am stärksten beworbenen Spezifikationen im KI-Bereich geworden, wobei führende Labore mit Fenstern von einer Million Tokens oder mehr werben.
Was die Forscher getestet haben
Die Arbeit stammt von Peter Belcak, Pavlo Molchanov und neun Co-Autoren. Im Fokus stehen Frontier-Agenten: KI-Systeme, die darauf ausgelegt sind, lange, mehrstufige Aufgaben zu bewältigen, statt eine einzelne Frage zu beantworten.
Bei dem getesteten Ansatz verdichtet der Agent anstelle der gesamten Konversation periodisch, was geschehen ist, zu einer Übergabnotiz. Jeder nachfolgende Schritt beginnt mit nur dieser Zusammenfassung.
Das Team wandte den Ansatz auf zwei Modellen an: Anthropics Claude Opus 4.5 und OpenAIs GPT 5.6 Sol. Getestet wurden dreizehn Benchmarks, sechs davon waren Langzeitaufgaben, darunter SWE-bench Verified und Terminal-Bench 2.1.
Die Zahlen hinter der Aussage
Das zentrale Ergebnis stammt von Claude Opus 4.5 auf SWE-bench Verified, einem Software-Engineering-Benchmark. Mit einer Aktion pro Kontext – das heißt, der Agent übergibt nach jedem einzelnen Schritt – erreichte das Modell 70,2 %. Mit vollständig verfügbarer Historie erzielte es 70,0 %. Mit anderen Worten: Der Agent, der außer seinen Notizen alles vergaß, schnitt minimal besser ab als der, der sich an alles erinnerte.
Die Forscher fanden außerdem, dass eine Feinabstimmung der Komprimierungseinstellungen die Punktzahl von Opus 4.5 bei dieser Aufgabe auf bis zu 74,8 % steigern konnte.
Über alle Konfigurationen hinweg fielen die Genauigkeitsänderungen insgesamt moderat aus. Bei Opus 4.5 lagen die Verschiebungen zwischen −3,7 und +5,6 Punkten gegenüber dem Basiswert mit vollem Verlauf. Bei GPT 5.6 Sol reichte die Spanne von −3,3 bis +4,4 Punkten.
In den Tests mit Ein-Aktions-Komprimierung sank der Spitzenkontext von 130.000–200.000 Tokens auf zwischen 15.000–37.000, während der Mediankontext bei 7.000–9.000 Tokens lag.
Warum das Rennen um Kontextfenster möglicherweise das falsche Rennen ist
Nvidias Forscher argumentieren, dass der wirksamere Hebel darin liegt, wie der Kontext verwaltet wird – nicht, wie viel davon ein Modell halten kann. Die Arbeit verweist auf effiziente Zusammenfassung, selektives Lesen von Informationen und strukturierte Übergaben als wirksamere Wege zur Bewältigung agentischer Workloads, als einfach mehr Tokens in das Fenster zu packen. Diese These widerspricht dem jüngsten Modell-Marketing, hat aber eine mechanische Logik: Ein Agent liest bei jedem Schritt eines Laufs alles, was in seinem Fenster steht, sodass jedes zusätzliche Kontext-Token bei jedem Durchgang erneut bezahlt wird.
Was das für KI-Entwickler und ihre Budgets bedeutet
Die unmittelbarste Auswirkung betrifft die Kosten. Laut der Forschungsarbeit kann Inferenz mit langem Kontext bei Modellen mit 256.000 Tokens bis zu 7x teurer sein als bei Modellen mit 16.000 Tokens. Da gängige API-Anbieter nach Tokens abrechnen, geht diese Differenz direkt auf die Betriebskosten aller ein, die Agenten im großen Stil betreiben. Der Umfang der Studie – zwei Frontier-Modelle über dreizehn Benchmarks – bedeutet, dass ihre Aussagen am stärksten für die Langzeit-Software-Engineering- und Terminal-Aufgaben gelten, auf denen sie getestet wurden.
Quelle: Crypto Briefing
