跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

智能体与应用

推理(Inference)

Inference

推理(Inference)

运行已训练的模型——即你发送提示、生成词元的时刻;ChatGPT 每条消息的成本就是推理成本。

推理就是运行训练好的模型:提示到达、词元逐字生成的那一刻。AI 的全部运营经济都发生在这里——每条消息、每次 API 调用、每个智能体分钟。

定价是二维的:输入词元与输出词元(新型模型还对缓存记忆计费)。推理模型还会静默计费隐藏的「思考」——一个短答案背后可能拖着 2000 个隐藏思维词元。

降本手册:简单任务用小模型、重复答案上缓存、批量任务走批处理、部署用量化。聪明的推理与造模型同等重要。

返回术语表