降低大模型 API 成本——四大杠杆
提示缓存、智能路由、批处理 API 与上下文卫生——组合得当,成本下降 50–80% 是现实,而不是营销话术。

先测量,再削减
看不见的东西无法优化。从第一天起就按功能分别记录词元消耗(输入、输出、推理词元)。通常两三条热点路径就占了账单的 80%——优化从那里开始,而不是从平均值。
- 注意价目表:输入词元通常比输出便宜数倍;推理模型的「思考」词元也计费。
- 每周查看各服务商的用量面板。
杠杆一:提示缓存
如果你的提示带有较长的固定部分(系统提示、参考文档、少样本示例),提示缓存能让这部分在主流服务商处便宜 50–90%。注意顺序:固定内容在前,可变内容(用户问题)在后。
- 缓存通常只存活几分钟;把重复流量聚在一起发。
- 固定块尽量精简并与可变部分分开,避免缓存失效。
杠杆二与三:路由与批处理
并非每个请求都需要前沿模型。前置一个简单路由:轻任务发给小模型,难题升级——该方法报告的节省在 40–70%。非实时任务(归档摘要、分类、定时内容)走批处理 API,通常半价。
- 区分难易:先让模型自评难度,或用输入长度作代理指标。
- 用黄金测试集衡量小模型路径,让质量流失可见。
杠杆四:上下文卫生
最大的隐藏成本是无限增长的对话历史和臃肿的系统提示。智能摘要旧轮次、裁剪工具日志、去重,通常能在不掉质量的情况下省 20–40% 输入词元。语义缓存则对重复意图(FAQ)直接返回缓存答案。
- 系统提示每删 10 个词元,在成千上万请求下都是真金白银。
- 用质量换省钱之前先设评估门:便宜模型必须通过测试才能留下。