KV 缓存:为什么重复提示词比第一次更便宜

模型生成文本时会为每个输入词元计算「键」和「值」,后续注意力都依赖它们。KV 缓存保存这些数值,使前面的词元无需重新计算。这一机制正是隐藏折扣的来源:已缓存的提示词前缀不会被重新计算——供应商的收费也相应更低。
算法简单而无情:首答支付完整 prefill,而同一前缀上的后续回答几乎只为新词元付费。某些供应商的缓存读取比重算便宜多达 90%。实操法则:固定在前、变量在后——系统提示与工具保持字节一致,只在尾部追加;开头一处改动就会烧掉整个缓存。
系统设计的全新经济命题由此浮现:我的工作负载有多少稳定前缀?带固定手册的客服机器人、带固定指令的摘要器、历史只增不减的聊天——都是缓存候选。网站定价表并列展示输入与输出单价;签约前请算清缓存能挽回多少账单。2026 年的技能不是买更便宜的模型,而是设计处理成本更低的提示词。