词元(Token)是模型读取和生成的最小文本单位——既不是完整的词,也不是字母:英文约 ¾ 个单词为 1 词元,波斯语/阿拉伯语每个单词通常消耗 1–3 个词元。模型眼中的世界就是词元流。
它之所以重要:词元是模型世界的货币与内存单位。API 定价(输入/输出)、上下文窗口长度、响应速度都以词元计量。由于词缀切分,波斯语和阿拉伯语比英文消耗更多词元。
经验法则:1000 词元 ≈ 750 个英文单词。在发送长文本前用免费分词工具统计词元,可让成本与回复质量变得可预测。
Token

模型读取和生成的最小文本单位——约等于 ¾ 个英文单词或 1–2 个中文词。上下文长度与 API 定价都按词元计算。
词元(Token)是模型读取和生成的最小文本单位——既不是完整的词,也不是字母:英文约 ¾ 个单词为 1 词元,波斯语/阿拉伯语每个单词通常消耗 1–3 个词元。模型眼中的世界就是词元流。
它之所以重要:词元是模型世界的货币与内存单位。API 定价(输入/输出)、上下文窗口长度、响应速度都以词元计量。由于词缀切分,波斯语和阿拉伯语比英文消耗更多词元。
经验法则:1000 词元 ≈ 750 个英文单词。在发送长文本前用免费分词工具统计词元,可让成本与回复质量变得可预测。