英伟达研究者称超长上下文多数时候用不上

据 The Decoder,英伟达研究团队发表论文《You don't need long context》,认为语言模型往往用不上完整的上下文窗口:长上下文慢、贵、容易出错。论文称,越靠后的 token 生成成本越高,在前沿开源权重模型上差距可达 7 倍;通过频繁压缩上下文(定期摘要、按关键词检索),前沿模型在一系列长程任务和长输入任务上保持短上下文,准确率几乎没有损失。即使每个上下文最多只执行一步操作,模型在长程软件工程任务上的表现也没有崩溃,作者据此提出用简短笔记代替长上下文的“语义状态空间模型”设想。

原题:Nvidia researchers argue huge AI context windows are a dead end

据 The Decoder,英伟达研究团队发表论文《You don't need long context》,认为语言模型往往用不上完整的上下文窗口:长上下文慢、贵、容易出错。论文称,越靠后的 token 生成成本越高,在前沿开源权重模型上差距可达 7 倍;通过频繁压缩上下文(定期摘要、按关键词检索),前沿模型在一系列长程任务和长输入任务上保持短上下文,准确率几乎没有损失。即使每个上下文最多只执行一步操作,模型在长程软件工程任务上的表现也没有崩溃,作者据此提出用简短笔记代替长上下文的“语义状态空间模型”设想。

为什么重要 上下文越长,后面的 token 越贵;如果定期摘要加按需检索就够用,智能体的推理成本可以明显下降。

可信度:高可信 · 来源 arXiv 论文 等 2 家(含官方) · 事件时间 11-22 00:23(北京时间)

理由

  • 英伟达研究者在 arXiv 公开技术报告
  • The Decoder 报道

用法

  • arXiv 可读论文全文(2611.05306)

风险

  • 据 AlphaSignal 对论文的报道,部分模型压缩后表现明显下降,例如 Qwen 3 Coder Next 在 16K 限制下 SWE-bench Verified 从 53% 掉到 3.6%
  • 压缩会让提示词缓存失效,调用闭源 API 时总成本可能反而上升

打开 · arXiv 论文

The Decoder

浏览最新 AI 动态