Nvidia 一項新的研究論文指出，AI 代理可能不需要業界一直在追求的越來越大的上下文窗口。研究發現，將自身歷史壓縮為簡短交接筆記的代理，只需極小部分的上下文，就能在複雜任務上達到與完整歷史相當的表現。

這項名為「You don't need long context」的研究顯示，AI 代理可以透過定期將對話歷史壓縮為簡明的交接筆記來維持準確度。研究人員能將工作上下文縮減至最低 16,000 個 token，同時仍能達到與擁有完整歷史的代理相同的表現。模型的上下文窗口——即其一次能保存在工作記憶中的文字量，以 token 計算——已成為 AI 最被大肆宣傳的規格之一，領先實驗室紛紛標榜百萬 token 甚至更大的窗口。

研究人員實際測試了什麼

這篇論文由 Peter Belcak、Pavlo Molchanov 及九位共同作者撰寫，研究焦點是前沿代理：為處理長時間、多步驟任務而非回答單一問題而設計的 AI 系統。

在受測的方法下，代理不在每一步都攜帶整個對話，而是定期將已發生的事濃縮為一份交接筆記。每個後續步驟僅以該摘要重新開始。

研究團隊在兩個模型上測試了這種方法：Anthropic 的 Claude Opus 4.5 與 OpenAI 的 GPT 5.6 Sol。測試涵蓋十三項基準，其中六項為長時程任務，包括 SWE-bench Verified 與 Terminal-Bench 2.1。

數據背後的證據

最亮眼的结果来自 Claude Opus 4.5 在軟體工程基準 SWE-bench Verified 上的表現。在每個上下文僅執行一次動作——即代理在每一步之後都進行交接——的模式下，該模型得分 70.2%。而在擁有完整歷史的情況下，得分為 70.0%。換言之，不斷遺忘除筆記以外所有內容的代理，表現反而略優於記住全部歷史的代理。

研究人員還發現，調整壓縮設定可將 Opus 4.5 在該任務上的得分提升至最高 74.8%。

在各種配置下，準確度的變化整體而言幅度不大。對 Opus 4.5 而言，相對完整歷史基準的變動範圍為 -3.7 至 +5.6 個百分點；對 GPT 5.6 Sol 而言，範圍為 -3.3 至 +4.4 個百分點。

在單動作壓縮測試中，峰值上下文從 130K-200K 個 token 降至 15K-37K 之間，中位數上下文則落在 7K-9K 個 token。

為什麼上下文窗口競賽可能是錯誤的競賽

Nvidia 的研究人員主張，更有效的槓桿在於如何管理上下文，而非模型能容納多少上下文。論文指出，高效的摘要、選擇性閱讀資訊以及結構化的交接，是處理代理式工作負載比單純塞入更多 token 更有效的方式。這一論點與近期的模型行銷方向相悖，但背後有其機制上的邏輯：代理在執行的每一步都會重新讀取窗口中的所有內容，因此每一個額外的上下文 token 在每一輪都會被再次付費。

這對 AI 開發者及其預算意味著什麼

最直接的影響是成本。根據這項研究，使用 256K token 的模型，其長上下文推論成本可能比使用 16K token 的模型高出最多 7 倍。由於主流 API 供應商按 token 計價，這一差距會直接反映在大規模運行代理者的營運帳單上。該研究的範圍——兩個前沿模型、十三項基準——意味著其結論在經過測試的長時程軟體工程與終端機任務上最具說服力。

來源：Crypto Briefing