アリババは、同社の研究チームが「XLongホライズン」エージェント学習と呼ぶもの、すなわち単一のロールアウトが数時間に及び、モデルと環境の間で数百回のインタラクションが発生し、最大で約100万トークンを消費し得るタスク向けに設計された強化学習フレームワーク「QwenGyre」を発表しました。

このフレームワークは、LLMエージェントの運用形態の変化に対応するものです。エージェントが個々のリポジトリ問題の解決からコードベース全体の構築へと移行するにつれ、従来のオンラインRLパイプラインは2つの障害に直面します。ロールアウト時間のばらつきが大きすぎるため、少数の遅延実行が完了するまでGPUが遊休状態になり、さらに分岐する実行パスが膨大な冗長学習データを生成するのです。数時間・数十万トークン規模のホライズンでは、これらの障害はそのまま計算資源の浪費につながります。ロールアウトの終盤におけるハードウェアの遊休と重複トークンが、すべての学習実行のコストを押し上げます。

Elastic Scheduler、GPUの低稼働率に対処

最初のコンポーネントであるElastic Schedulerは、GPUの低稼働率の問題に対処します。既存のフレームワークは通常、次のいずれかの方式を採用しています。プール全体をロールアウトと学習の間で切り替える方式(colocate)は、長いロールアウトの後半でハードウェアを遊休させます。一方、2つのステージ間でGPUを静的に分割する方式(async)は、どちらか一方が相手の遊休容量を借用できないという制約を生みます。いずれの設計も一種のアイドル時間を別の形に置き換えているにすぎません。colocate方式ではロールアウト後半にプール全体が遊休し、async方式では使えない側に遊休容量が固定されます。

QwenGyreは代わりに、ハードウェアを独立して切り替え可能な「セル」にグループ化し、未完了のロールアウト作業量の変化に応じて推論と学習の間で再割り当てを行います。実行中のハーネス処理が中断されることはありません。モデルリクエストは処理途中で残りのロールアウトエンジンへ再ルーティングされ、KVキャッシュはRDMA(リモートダイレクトメモリアクセス)経由で移行されるため、計算の再実行は不要です。解放されたセルは追加のデータ並列レプリカとして進行中の学習ステップに参加し、コアセルから正規の重みを取得します。また、ストリーミング学習は各グループの進捗に応じてマイクロバッチを分配するため、すべてのセルが足並みを揃えて完了します。

役割の切り替えは高速です。ロールアウトから学習への切り替えは平均8.5秒、逆方向は3.5秒で、数時間に及ぶロールアウト実行に比べれば無視できるレベルです。

分岐する軌跡の制御

2番目のコンポーネントであるTrajectory Processorは、学習データそのものを扱います。XLongホライズンでは、エージェントハーネスが飽和したコンテキストを圧縮し、サブタスクをサブエージェントに委譲し、失敗したパスを再試行するため、1回の実行が線形の軌跡ではなく、分岐する多様なコンテキストパスのツリーを生成します。すべてのパスを単純に展開すると、共有プレフィが重複し、学習コストが膨張します。この負担は、これらの実行が生み出す100万トークン近いコンテキストとともに増大します。

QwenGyreは代わりに、実行をプレフィックス共有の軌跡ツリーとして再構成し、各モデル出力の元の条件付けコンテキストを正確に保持します。学習の対象はポリシーが実際に生成したトークンのみで、共有ターゲットはツリー上のマスキングにより1回のみカウントされます。

部分的な進捗も評価されます。タイムアウトに達した実行も、保存されたワークスペースの状態に基づいて評価されるため、部分的な試行が有意な報酬を持ち、破棄されずに済みます。1回の実行が数時間にわたってハードウェアを占有し得ることを考えれば、この復元は otherwise 失われていたシグナルを保持します。学習への受け入れ時には、実行ごとに有限数の軌跡が選択されます。役割の優先度(メインエージェント、次にサブエージェント、その後サマリーパス)で上限が定められ、パス数が重み付けを歪めないよう、トークン損失は実行ごとに平均化されます。

ベンチマーク結果

ロールアウトあたり約70万トークンの条件でアリババの主力モデルQwen 3.8-2.4Tに適用したところ、QwenGyreは48学習ステップでNL2RepoBenchの合格率を52.5%から58.5%に引き上げ、asyncベースラインの134.6時間、colocateベースラインの91.5時間に対し75.4時間で完了しました。それぞれ最大1.78倍および1.85倍の高速化であり、ベースラインと同等の学習スコアを維持したまま達成されたものです。3つの評価対象ワークロード(NL2RepoBench、DeepSWE、TerminalBench)すべてにおいて、同一GPU予算の条件下で一貫して改善が確認されました。

asyncベースライン比で約60時間回収されたことは、この規模でスケジューリングが重要である理由を示しています。同一スコアでの実時間の短縮は、すべての学習サイクルの時間コストを下げます。同様のインフラに関する主張を評価する読者が注目すべき点は、これらの数値に付随する2つの条件(学習スコアの一致と同一GPU予算)、およびすべての数値が約70万トークンのロールアウト、すなわちこのフレームワークが対象とXLong領域に基づくものであるという事実です。

出典: Alibaba's QwenGyre Tackles The Million-Token Problem With Elastic GPU Scheduling For XLong RL via Metaverse Post.