英伟达的一项新研究论文表明,AI智能体可能并不需要业界一直在追求的越来越大的上下文窗口。研究发现,将历史压缩为简短交接笔记的智能体,能够以极小的上下文规模在复杂任务上达到与完整历史相当的表现。

这项题为《You don't need long context》的研究显示,AI智能体可以通过定期将对话历史压缩为简明的交接笔记来保持准确率。研究人员能够将工作上下文缩减至仅16,000个token,同时仍能匹配拥有完整历史的智能体的表现。模型的上下文窗口——即其工作记忆中一次能容纳的文本量(以token衡量)——已成为AI领域最热衷宣传的规格之一,各大领先实验室纷纷宣称拥有百万token甚至更大的窗口。

研究人员实际测试了什么

论文由Peter Belcak、Pavlo Molchanov及九位合著者撰写,聚焦于前沿智能体,即为处理长链路、多步骤任务而非回答单一问题而设计的AI系统。

在所测试的方法中,智能体不再在每一步都拖带着整个对话前进,而是定期将已发生的内容浓缩为一份交接笔记。随后的每一步都仅凭该摘要重新开始。

团队在两个模型上运行了这一方法:Anthropic的Claude Opus 4.5和OpenAI的GPT 5.6 Sol。测试覆盖十三项基准,其中六项为长周期任务,包括SWE-bench Verified和Terminal-Bench 2.1。

数据背后的结论

最引人注目的结果来自Claude Opus 4.5在软件工程基准SWE-bench Verified上的表现。在每上下文单动作模式(即智能体每执行一步就交接一次)下,该模型得分70.2%;而在完整历史可用的情况下,得分为70.0%。换言之,那个不断遗忘除笔记之外一切内容的智能体,反而比记住全部内容的智能体略胜一筹。

研究人员还发现,调整压缩设置可将Opus 4.5在该任务上的得分提升至最高74.8%。

在各配置下,准确率变化总体温和。Opus 4.5相对完整历史基线的波动范围为-3.7至+5.6个点;GPT 5.6 Sol的波动范围为-3.3至+4.4个点。

在单动作压缩测试中,峰值上下文从130K-200K token降至15K-37K之间,中位数上下文则介于7K-9K token。

为什么上下文窗口竞赛可能是错误的竞赛

英伟达的研究人员认为,更有效的抓手在于如何管理上下文,而非模型能容纳多少上下文。论文指出,与简单地向窗口塞入更多token相比,高效摘要、选择性读取信息以及结构化交接是处理智能体工作负载更为有效的方式。这一论点与近期的模型营销背道而驰,但其背后的机制逻辑清晰:智能体在运行的每一步都会重新读取窗口中的内容,因此每一份额外的上下文token都会在每一轮中被重复付费。

这对AI建设者及其预算意味着什么

最直接的影响是成本。根据研究,使用256K token的模型,其长上下文推理成本可能比使用16K token的模型高出至多7倍。由于主流API提供商按token计价,这一差距将直接体现在大规模运行智能体的运营账单上。该研究的范围——两个前沿模型、十三项基准——意味着其结论在经过测试的长周期软件工程和终端任务中最为可靠。

来源:Crypto Briefing