跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

模型选型高级 12 分钟

LoRA 与 QLoRA 微调:决策与执行指南

租 GPU 之前先做判断:问题出在行为还是知识?本指南以同样的「评估先行」逻辑,走完 LoRA/QLoRA 从数据到部署之路。

LoRA 与 QLoRA 微调:决策与执行指南

先做决定:微调还是 RAG?

微调改变的是行为,不是知识。模型「不知道」就用 RAG 注入知识;「知道但答得不对味」——语气、输出格式、领域术语、你团队的特定格式——才轮到 LoRA。筛选问题:把正确答案摆在他面前,他能产出同样的东西吗?能,则是行为问题,用微调;不能,则是知识问题,用 RAG。

  • 新知识或公司文档 → RAG
  • 语气、格式、术语 → LoRA/QLoRA
  • 两者皆需:RAG 管知识,轻量 LoRA 管行为

为何是 LoRA 与 QLoRA?适配的经济学

全量训练 700 亿模型要数千美元与数日。LoRA 不动全部权重,只训练网络旁的小低秩矩阵——参数占比不足百分之一。QLoRA 更进一步:把基座模型量化为 4-bit 再叠加同样的 LoRA;结果——单张 24GB 消费级 GPU 即可微调 70 亿模型。产出只是几百 MB 的 adapter 文件,而非数 GB 的模型副本。

  • 产出 = 轻量 adapter,基座模型不动
  • QLoRA:4-bit 基座 + LoRA = 消费级 GPU
  • 一个基座多个 adapter,按团队分发

数据:人人低估的瓶颈

LoRA 不需要百万样本,只需要数百到两千条干净且格式一致的数据。质量公式:每种真实格式的十条精品,胜过一万条无关联的生成数据。构造模式:真实样本亲手撰写(或用前沿模型生成后人工审校),第一天就划分 train/eval,且绝不用 eval 训练。

  • 200–2000 条干净样本已足够
  • 样本输出格式 = 期望格式
  • 第一天就切分 eval

执行:开源工具的一周路径

2026 的默认路径:训练用 Hugging Face TRL 或 LLaMA-Factory,基座选开源 Qwen/Llama/Gemma,再在微调前建好的黄金集上重新评估。LoRA 默认超参(rank 8–32、零 dropout、2e-4 学习率)适合起步;但胜负数字来自你的评估集,不是 loss 曲线。adapter 部署在 vLLM 与 Ollama 中都只是多一行配置。

  • TRL/LLaMA-Factory + 开源 7–14B 基座
  • 微调前后必过黄金集
  • adapter 上 vLLM/Ollama 仅一行配置