本地部署:Ollama 与 llama.cpp 家用硬件实战
30–80 亿参数模型如今跑在普通笔记本上。本指南讲工具、模型、量化与配置的取舍,帮你在 8–32GB 内存上跑出快速离线对话。

为何本地?隐私、延迟与零边际成本
三个真实理由:数据不出设备,网络与 API 排队延迟消失,账单与用量脱钩。代价是:本地模型仍落后于云端前沿。在混合架构中的正确位置:敏感与常规工作本地做,困难工作交给云。
- 敏感+常规高频工作=本地
- 30–80 亿参数够办多数差事
- 本地+云混合胜过单打一方
工具选择:Ollama 还是直接用 llama.cpp
llama.cpp 是 GGUF 运行时引擎,Ollama 则在此基础上封装模型服务、OpenAI 兼容 API 与模型管理。日常使用与工具集成首选 Ollama;要在特殊硬件上榨干性能或嵌入自有二进制,直接跑 llama.cpp。
- Ollama:开箱即用+OpenAI 兼容 API
- llama.cpp:自定义部署的完全控制
- GGUF 是二者共同格式
内存法则:量化模型装得进你的机器
容量公式:Q4 约为 FP16 的一半;7B 的 Q4 约 5GB 内存,14B 约 10GB,32B 约 20GB。8GB 内存可选 Qwen/Llama 3B;16GB 可跑 7–8B 的 Q4;32GB 则能从容跑 14B。经验法则:一律从 Q4_K_M 起步,仅当自有评估显示质量损失时才升级。
- Q4 ≈ FP16 的一半;首选 Q4_K_M
- 8GB→3B;16GB→7B;32GB→14B
- 长上下文很吃内存