跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

核心概念

词元(Token)

Token

词元(Token)

模型读取和生成的最小文本单位——约等于 ¾ 个英文单词或 1–2 个中文词。上下文长度与 API 定价都按词元计算。

词元(Token)是模型读取和生成的最小文本单位——既不是完整的词,也不是字母:英文约 ¾ 个单词为 1 词元,波斯语/阿拉伯语每个单词通常消耗 1–3 个词元。模型眼中的世界就是词元流。

它之所以重要:词元是模型世界的货币与内存单位。API 定价(输入/输出)、上下文窗口长度、响应速度都以词元计量。由于词缀切分,波斯语和阿拉伯语比英文消耗更多词元。

经验法则:1000 词元 ≈ 750 个英文单词。在发送长文本前用免费分词工具统计词元,可让成本与回复质量变得可预测。

返回术语表