跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

模型选型进阶 10 分钟

本地部署:Ollama 与 llama.cpp 家用硬件实战

30–80 亿参数模型如今跑在普通笔记本上。本指南讲工具、模型、量化与配置的取舍,帮你在 8–32GB 内存上跑出快速离线对话。

本地部署:Ollama 与 llama.cpp 家用硬件实战

为何本地?隐私、延迟与零边际成本

三个真实理由:数据不出设备,网络与 API 排队延迟消失,账单与用量脱钩。代价是:本地模型仍落后于云端前沿。在混合架构中的正确位置:敏感与常规工作本地做,困难工作交给云。

  • 敏感+常规高频工作=本地
  • 30–80 亿参数够办多数差事
  • 本地+云混合胜过单打一方

工具选择:Ollama 还是直接用 llama.cpp

llama.cpp 是 GGUF 运行时引擎,Ollama 则在此基础上封装模型服务、OpenAI 兼容 API 与模型管理。日常使用与工具集成首选 Ollama;要在特殊硬件上榨干性能或嵌入自有二进制,直接跑 llama.cpp。

  • Ollama:开箱即用+OpenAI 兼容 API
  • llama.cpp:自定义部署的完全控制
  • GGUF 是二者共同格式

内存法则:量化模型装得进你的机器

容量公式:Q4 约为 FP16 的一半;7B 的 Q4 约 5GB 内存,14B 约 10GB,32B 约 20GB。8GB 内存可选 Qwen/Llama 3B;16GB 可跑 7–8B 的 Q4;32GB 则能从容跑 14B。经验法则:一律从 Q4_K_M 起步,仅当自有评估显示质量损失时才升级。

  • Q4 ≈ FP16 的一半;首选 Q4_K_M
  • 8GB→3B;16GB→7B;32GB→14B
  • 长上下文很吃内存