Nowy artykuł naukowy Nvidia sugeruje, że agenci AI mogą nie potrzebować coraz większych okien kontekstowych, ku którym zmierza branża — badanie wykazało, że agenci kompresujący swoją historię do krótkich notatek przekazujących mogą dorównać wydajności pełnej historii w złożonych zadaniach przy ułamku rozmiaru kontekstu.

Badanie, zatytułowane „You don't need long context”, pokazuje, że agenci AI mogą zachować dokładność, okresowo kompresując historię rozmowy do zwięzłych notatek przekazujących. Naukowcom udało się zmniejszyć roboczy kontekst do zaledwie 16 000 tokenów, wciąż osiągając wydajność agentów działających z pełną historią. Okno kontekstowe modelu — tekst, który może utrzymać w pamięci roboczej naraz, mierzony w tokenach — stało się jedną z najbardziej reklamowanych specyfikacji AI, a czołowe laboratoria chwalą się oknami liczącymi milion tokenów lub więcej.

Co badacze testowali

Artykuł został napisany przez Petera Belcaka, Pavlo Molchanova i dziewięciu współautorów. Jego przedmiotem są agenci graniczni (frontier): systemy AI zaprojektowane do wykonywania długich, wieloetapowych zadań, a nie odpowiadania na pojedyncze pytania.

W testowanym podejściu, zamiast przeciągać całą rozmowę do przodu na każdym etapie, agent okresowo kondensuje to, co się wydarzyło, w notatkę przekazującą. Każdy kolejny etap zaczyna od nowa wyłącznie z tym podsumowaniem.

Zespół przetestował to podejście na dwóch modelach: Claude Opus 4.5 od Anthropic i GPT 5.6 Sol od OpenAI. Testy objęły trzynaście benchmarków, z czego sześć to zadania długoterminowe, w tym SWE-bench Verified i Terminal-Bench 2.1.

Liczby stojące za tym twierdzeniem

Najbardziej znaczący wynik uzyskał Claude Opus 4.5 w SWE-bench Verified, benchmarku inżynierii oprogramowania. Przy jednej akcji na kontekst — czyli gdy agent przekazuje zadanie po każdym pojedynczym kroku — model uzyskał wynik 70,2%. Z pełną historią osiągnął 70,0%. Innymi słowy, agent, który zapominał wszystkiego poza swoimi notatkami, wypadł nieznacznie lepiej niż ten, który pamiętał wszystko.

Badacze odkryli również, że strojenie ustawień kompresji mogło podnieść wynik Opus 4.5 w tym zadaniu nawet do 74,8%.

W różnych konfiguracjach zmiany dokładności były ogólnie umiarkowane. W przypadku Opus 4.5 odchylenia mieściły się w zakresie od −3,7 do +5,6 punktu względem bazy pełnej historii. Dla GPT 5.6 Sol zakres wynosił od −3,3 do +4,4 punktu.

W testach kompresji z jedną akcją szczytowy kontekst spadł z 130K–200K tokenów do zakresu 15K–37K, a medianie kontekstu odpowiadało 7K–9K tokenów.

Dlaczego wyścig o okna kontekstowe może być złym wyścigiem

Badacze Nvidia argumentują, że skuteczniejszą dźwignią jest sposób zarządzania kontekstem, a nie to, ile model może go pomieścić. Artykuł wskazuje na wydajne podsumowywanie, selektywny odczyt informacji i ustrukturyzowane przekazywanie jako skuteczniejsze sposoby radzenia sobie z obciążeniami agentowymi niż po prostu upychanie większej liczby tokenów w oknie. Ta teza jest sprzeczna z ostatnim marketingiem modeli, ale ma za sobą logikę mechaniki: agent odczytuje ponownie wszystko, co znajduje się w jego oknie, na każdym etapie działania, więc każdy dodatkowy token kontekstu jest płatny ponownie przy każdej turze.

Co to oznacza dla twórców AI i ich budżetów

Najbardziej bezpośrednią konsekwencją są koszty. Według badania inferencja z długim kontekstem może być nawet 7x droższa dla modeli używających 256K tokenów w porównaniu z modelami używającymi 16K tokenów. Ponieważ główni dostawcy API rozliczają się według tokenów, ta luka trafia bezpośrednio na rachunek operacyjny każdego, kto uruchamia agentów na dużą skalę. Zakres badania — dwa modele graniczne w trzynastu benchmarkach — oznacza, że jego twierdzenia są najsilniejsze dla długoterminowych zadań inżynierii oprogramowania i zadań terminalowych, w których były testowane.

Źródło: Crypto Briefing