Nvidiaの新しい研究論文は、履歴を短いハンドオフノートに圧縮するAIエージェントが、コンテキストサイズをほんの一部に抑えながらも、複雑なタスクで完全な履歴を使用する場合と同等のパフォーマンスを達成できることを発見し、業界が目指してきたますます大きくなるコンテキストウィンドウは必要ないかもしれないとしている。

「You don't need long context」と題されたこの研究は、AIエージェントが会話履歴を簡潔なハンドオフノートに定期的に圧縮することで精度を維持できることを示している。研究者らは、完全な履歴を保持して動作するエージェントと同等のパフォーマンスを維持しながら、作業コンテキストを最小16,000トークンまで縮小することに成功した。モデルのコンテキストウィンドウ——一度に作業メモリに保持できるテキスト量で、トークン単位で測定される——は、AIにおいて最も宣伝されるスペックの一つとなっており、主要ラボは100万トークン以上のウィンドウを売りにしている。

研究者が実際にテストしたこと

この論文は、Peter Belcak、Pavlo Molchanovおよび共著者9名によって執筆された。その焦点はフロンティアエージェント、すなわち単一の質問に答えるのではなく、長く複数段階のタスクを遂行するために構築されたAIシステムである。

テストされたアプローチでは、すべてのステップで会話全体を引き回す代わりに、エージェントが定期的にそれまでの経緯をハンドオフノートに要約する。次のステップはその要約のみで新たに開始される。

チームは2つのモデルでこのアプローチを実行した：AnthropicのClaude Opus 4.5とOpenAIのGPT 5.6 Solである。テストは13のベンチマークを対象とし、そのうち6つはSWE-bench VerifiedやTerminal-Bench 2.1を含む長期タスクであった。

主張を支える数値

目立つ結果は、ソフトウェアエンジニアリングのベンチマークであるSWE-bench VerifiedにおけるClaude Opus 4.5から得られた。コンテキストごとに1アクション、つまりエージェントが毎ステップごとにハンドオフする設定では、モデルは70.2%を記録した。完全な履歴を使用した場合のスコアは70.0%であった。つまり、ノート以外をすべて忘れ続けるエージェントが、すべてを記憶しているエージェントをわずかに上回ったことになる。

研究者らはまた、圧縮設定を調整することで、そのタスクにおけるOpus 4.5のスコアを最大74.8%まで高められることを発見した。

各構成間での精度変化は総じて控えめであった。Opus 4.5では、完全履歴ベースラインに対して−3.7ポイントから+5.6ポイントの範囲で変動した。GPT 5.6 Solでは、−3.3ポイントから+4.4ポイントの範囲であった。

コンテキストごとに1アクションの圧縮テストでは、ピークコンテキストは130K〜200Kトークンから15K〜37Kの間まで減少し、中央値のコンテキストは7K〜9Kトークンの間に収まった。

コンテキストウィンドウ競争が間違った競争である可能性

Nvidiaの研究者らは、より有効なレバーはモデルがどれだけ保持できるかではなく、コンテキストをいかに管理するかであると主張している。論文は、単により多くのトークンをウィンドウに詰め込むよりも、効率的な要約、情報の選択的読み取り、構造化されたハンドオフが、エージェント型ワークロードへのより効果的な対応策であると指摘している。この主張は最近のモデルマーケティングに反するものだが、機械的な論理に基づいている：エージェントは実行の各ステップでウィンドウ内の内容を再読み込みするため、追加のコンテキストトークン1つごとに、毎ターンでそのコストが再び発生する。

AI開発者とその予算にとっての意味

最も直接的な影響はコストである。研究によると、長コンテキスト推論は、16Kトークンを使用するモデルと比較して、256Kトークンを使用するモデルで最大7倍の費用がかかる可能性がある。主要なAPIプロバイダーはトークン単位で課金するため、この差は大規模にエージェントを運用するすべての人の運用コストに直接上乗せされる。2つのフロンティアモデル・13のベンチマークという研究の範囲を考えると、その主張は、テストされた長期のソフトウェアエンジニアリングおよびターミナルタスクにおいて最も強力である。

出典：Crypto Briefing