Новое исследование Nvidia показывает, что ИИ-агенты, возможно, не нуждаются во всё больших контекстных окнах, к которым стремится индустрия: агенты, сжимающие свою историю в короткие заметки для передачи, могут достигать той же производительности на сложных задачах при малой доле контекста.

Исследование под названием "You don't need long context" демонстрирует, что ИИ-агенты могут сохранять точность, регулярно уплотняя историю диалога в краткие заметки для передачи. Исследователям удалось сократить рабочий контекст до 16 000 токенов, сохранив производительность на уровне агентов, работающих с полной историей. Контекстное окно модели — объем текста, который она может удерживать в рабочей памяти единовременно, измеряемый в токенах, — стало одной из самых рекламируемых характеристик ИИ: ведущие лаборатории хвастаются окнами в миллион токенов и более.

Что тестировали исследователи

Авторы статьи — Питер Белчак, Павел Молчанов и девять соавторов. Её фокус — frontier-агенты: ИИ-системы, созданные для выполнения долгих многошаговых задач, а не для ответа на одиночный вопрос.

При тестированном подходе агент вместо того, чтобы тащить весь диалог на каждом шаге, периодически уплотняет произошедшее в заметку для передачи. Каждый следующий шаг начинается с чистого листа — только с этой сводкой.

Команда применила подход к двум моделям: Claude Opus 4.5 от Anthropic и GPT 5.6 Sol от OpenAI. Тестирование охватило тринадцать бенчмарков, шесть из которых были задачами с длинным горизонтом, включая SWE-bench Verified и Terminal-Bench 2.1.

Цифры за утверждением

Главный результат показала Claude Opus 4.5 на SWE-bench Verified — бенчмарке программной инженерии. При одном действии на контекст, то есть при передаче после каждого шага, модель набрала 70,2%. С полной историей — 70,0%. Иными словами, агент, «забывающий» всё, кроме своих заметок, показал чуть лучший результат, чем тот, который помнил всё.

Исследователи также обнаружили, что настройка параметров уплотнения могла поднять результат Opus 4.5 на этой задаче до 74,8%.

Во всех конфигурациях изменения точности были в целом умеренными. Для Opus 4.5 сдвиги варьировались от −3,7 до +5,6 пункта относительно базового показателя с полной историей. Для GPT 5.6 Sol диапазон составил от −3,3 до +4,4 пункта.

В тестах с уплотнением «одно действие на контекст» пиковый контекст снизился со 130–200 тыс. токенов до 15–37 тыс., а медианный контекст составил 7–9 тыс. токенов.

Почему гонка за контекстными окнами — возможно, не та гонка

Исследователи Nvidia утверждают, что более эффективный рычаг — то, как контекст управляется, а не то, сколько его может вместить модель. В статье эффективное суммирование, выборочное чтение информации и структурированные передачи называются более результативными способами работы с агентными нагрузками, чем простое набивание окна токенами. Этот тезис противоречит недавнему маркетингу моделей, но за ним стоит механическая логика: агент перечитывает всё содержимое окна на каждом шаге, поэтому каждый дополнительный токен контекста оплачивается заново на каждом ходе.

Что это значит для создателей ИИ и их бюджетов

Самое непосредственное следствие — стоимость. Согласно исследованию, инференс с длинным контекстом может обходиться до 7 раз дороже для моделей, использующих 256 тыс. токенов, по сравнению с 16 тыс. Поскольку основные API-провайдеры тарифицируют по токенам, эта разница напрямую ложится на операционные расходы всех, кто запускает агентов в масштабе. Охват исследования — две frontier-модели на тринадцати бенчмарках — означает, что его выводы наиболее весомы для задач программной инженерии и терминальных задач с длинным горизонтом, на которых они тестировались.

Источник: Crypto Briefing