量化是降低模型内部数值的精度——例如 FP16 降到 INT4。体积与内存成倍下降:原本需要 40GB 内存的模型能在 8GB 上运行。GGUF、AWQ、GPTQ 都是这场游戏的名字。代价是质量损失。4-bit 配合良好校准数据时损失近乎不可感;2-bit 且不加小心时答案就会糊掉。手艺在于平衡「能在你的设备上跑」与「仍然答得对」。网络效应:量化模型以更低延迟与成本实现推理,正是把 AI 从服务器搬进手机的推手。