跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

训练与调优

量化

Quantization

量化

降低模型内部数值的精度(如从 16 位到 4 位),使体积和内存需求大幅缩小,可在普通硬件上运行——质量略有损失。

量化是降低模型内部数值的精度——例如 FP16 降到 INT4。体积与内存成倍下降:原本需要 40GB 内存的模型能在 8GB 上运行。GGUF、AWQ、GPTQ 都是这场游戏的名字。

代价是质量损失。4-bit 配合良好校准数据时损失近乎不可感;2-bit 且不加小心时答案就会糊掉。手艺在于平衡「能在你的设备上跑」与「仍然答得对」。

网络效应:量化模型以更低延迟与成本实现推理,正是把 AI 从服务器搬进手机的推手。

返回术语表