Alibaba представила QwenGyre — фреймворк обучения с подкреплением, разработанный для того, что исследовательская команда компании называет агентным обучением на «XLong-горизонтах»: задач, в которых один роллаут может выполняться часами, включать сотни взаимодействий между моделью и средой и потреблять почти миллион токенов.

Фреймворк отвечает на сдвиг в том, как развертываются LLM-агенты. По мере перехода от решения отдельных задач в репозиториях к построению целых кодовых баз классические онлайн-конвейеры RL сталкиваются с двумя препятствиями. Длительность роллаутов варьируется настолько сильно, что GPU простаивают, пока завершаются несколько отстающих выполнений, а ветвящиеся траектории выполнения порождают огромные объемы избыточных обучающих данных. На горизонтах, измеряемых часами и сотнями тысяч токенов, оба препятствия напрямую превращаются в потраченные впустую вычисления: простой оборудования на «хвостах» роллаутов и дублирующиеся токены повышают стоимость каждого цикла обучения.

Elastic Scheduler борется с недоиспользованием GPU

Первый компонент, Elastic Scheduler, решает проблему недоиспользования GPU. Существующие фреймворки обычно делают одно из двух: либо чередуют весь пул GPU между роллаутом и обучением (colocate), оставляя оборудование простаивающим во время длинных «хвостов» роллаутов, либо статически разделяют GPU между двумя этапами (async), что лишает каждую из сторон возможности занимать свободные мощности другой. Каждая схема обменивает одну форму простоя на другую — подход colocate оставляет весь пул незанятым на «хвостах» роллаутов, а подход async блокирует свободные мощности на той стороне, которая не может их использовать.

QwenGyre вместо этого группирует оборудование в независимо переключаемые «ячейки», которые перераспределяются между инференсом и обучением по мере изменения объема незавенной работы роллаутов. Активные выполнения агентов никогда не прерываются: запросы к модели перенаправляются на лету оставшимся движкам роллаутов, а KV-кэши переносятся по RDMA (удаленный прямой доступ к памяти), чтобы не приходилось повторять вычисления. Освободившиеся ячейки затем подключаются к текущему шагу обучения как дополнительные реплики с параллелизмом по данным, получая эталонные веса от центральной ячейки, а потоковое обучение распределяет микро-батчи в соответствии с прогрессом каждой группы, чтобы все ячейки завершали шаг синхронно.

Переключение ролей происходит быстро. В среднем переход от роллаута к обучению занимает 8,5 секунды, а обратный — 3,5 секунды, что ничтожно мало по сравнению с выполнениями роллаутов, длящимися часами.

Обуздание ветвящихся траекторий

Второй компонент, Trajectory Processor, работает с самими обучающими данными. На XLong-горизонтах агентные окружения сжимают насыщенные контексты, делегируют подзадачи суб-агентам и повторяют неудавшиеся пути, поэтому одно выполнение порождает ветвящееся дерево расходящихся контекстных путей, а не линейную траекторию. Наивное разворачивание каждого пути дублирует общие префиксы и увеличивает стоимость обучения — бремя, которое растет вместе с контекстами объемом почти в миллион токенов, создаваемыми такими запусками.

QwenGyre вместо этого реконструирует выполнение в виде дерева траекторий с общими префиксами, сохраняя точный исходный контекст кондиционирования каждого выхода модели. Обучаются только токены, фактически сгенерированные политикой, а общие цели учитываются один раз с помощью маскирования по дереву.

Частичный прогресс также получает оценку: выполнения, прерванные по таймауту, все равно оцениваются по сохраненному состоянию их рабочего пространства, поэтому частичные попытки приносят значимые вознаграждения, а не отбрасываются. Учитывая, что одно выполнение может занимать оборудование часами, такое восстановление сохраняет сигнал, который иначе был бы утерян. При допуске к обучению для каждого выполнения выбирается ограниченное число траекторий — с ограничением по приоритету ролей: сначала главный агент, затем суб-агенты, затем суммаризирующие пути, — а потери по токенам усредняются внутри каждого выполнения, чтобы количество путей не искажало весовые коэффициенты.

Результаты бенчмарков

Применительно к флагманской модели Alibaba Qwen 3.8-2.4T при примерно 700 тыс. токенов на роллаут QwenGyre повысил долю прохождения NL2RepoBench с 52,5% до 58,5% за 48 шагов обучения, завершив их за 75,4 часа против 134,6 часа у async-бейзлайна и 91,5 часа у colocate-бейзлайна — ускорение до 1,78× и 1,85× соответственно, достигнутое при совпадении оценок обучения с базовыми показателями. Приросты сохранялись стабильно по всем трем протестированным рабочим нагрузкам — NL2RepoBench, DeepSWE и TerminalBench — при равных бюджетах GPU.

Около 60 сэкономленных часов относительно async-бейзлайна подчеркивают, почему планирование имеет значение в этом масштабе: меньшее фактическое время при равных оценках снижает затраты времени каждого цикла обучения. Читателям, оценивающим подобные заявления об инфраструктуре, стоит обратить внимание на два условия, сопровождающие этиры — совпадающие оценки обучения и равные бюджеты GPU, — а также на то, что все показатели получены на роллаутах примерно по 700 тыс. токенов, то есть в режиме XLong, для которого создан фреймворк.

Источник: Alibaba's QwenGyre Tackles The Million-Token Problem With Elastic GPU Scheduling For XLong RL via Metaverse Post.