上下文腐烂:更大的窗口不等于更大的记忆

当今模型的包装盒上印着耀眼的数字:100 万词元上下文窗口。但任何与编程智能体长时间共事的开发者体验都另有说法:智能体在任务中途「犯迷糊」,忘记会话开头读过的文件,重复早期的指令。这个盒面数字与现实的落差有个正式名字:上下文腐烂(Context Rot)。
2026 年的研究对此进行了精确测量:注意力是有限的预算,每增加一个词元都会稀释其余部分。实践中,标称 128k 的窗口按任务不同有时只提供约 2–4 万词元的「有效」上下文;窗口中部的信息回忆效果弱于两端,复杂任务比简单任务更早退化。
对普通用户这意味着三件事:长会话每隔几步就重启,并把上下文摘要带入新会话;在提示的末尾引用关键文件——模型对窗口边缘的注意力强于中部;不要轻信「无限上下文」的营销——真正的指标是它在你任务上的准确率,而非窗口数字。
产业界正在测试严肃的解决方案:上下文工程(自动裁剪与总结会话)、选择性检索而非将一切塞入窗口,以及分段处理长文档的递归架构。2026 年的竞争与其说在于「更大的窗口」,不如说在于「更聪明地使用窗口」。