فاینتیون با LoRA و QLoRA: راهنمای تصمیم و اجرا
قبل از اینکه GPU بگیری، تصمیم بگیرید: مشکل رفتار است یا دانش؟ این راهنما، مسیر LoRA/QLoRA را از داده تا استقرار با همان منطق «اول ارزیابی» میرود.

اول تصمیم: فاینتیون یا RAG؟
فاینتیون رفتار را عوض میکند، نه دانش را. اگر مدل «نمیداند»، دانش را با RAG وارد کنید؛ اگر «میداند ولی جورِ دیگری جواب میدهد» — لحن، قالب خروجی، اصطلاحات تخصصی، یا فرمت خاصِ تیم شما — LoRA ابزار درست است. پرسش غربالگر: اگر پاسخ درست را روبهاش بگذارید، همان را تولید میکند؟ اگر بله، مشکل رفتار است و فاینتیون؛ اگر نه، مشکل دانش است و RAG.
- دانشِ تازه یا اسناد شرکت → RAG
- لحن، قالب، اصطلاح → LoRA/QLoRA
- هر دو لازم است: RAG برای دانش + LoRA سبک برای رفتار
چرا LoRA و QLoRA؟ اقتصادِ سازگار کردن
آموزشِ کاملِ یک مدل ۷۰ میلیاردی، هزاران دلار و روزها زمان میبرد. LoRA بهجای دستزدن به تمام وزنها، فقط ماتریسهای کمرتبهی کوچکِ کنارِ شبکه را آموزش میدهد — کسری از یک درصد پارامترها. QLoRA یک پله جلوتر میرود: مدل پایه را ۴-بیتی کوانتیزه میکند و همان LoRA را روی همان اجرا میکند؛ نتیجه: فاینتیونِ مدل ۷-میلیاردی روی یک GPU مصرفی ۲۴ گیگی. خروجی هم یک فایل adapter چندصدمگابایتی است، نه کپیِ چندگیگابایتیِ مدل.
- خروجی = adapter سبک، مدل پایه دستنخورده
- QLoRA: مدل ۴-بیتی + LoRA = GPU مصرفی
- چند adapter برای چند تیم روی یک مدل پایه
داده: همان گلوگاهی که همه دستکم میگیرند
برای LoRA به «میلیون نمونه» نیاز ندارید؛ به صدها تا یکیدوهزار نمونهی تمیز و همشکل نیاز دارید. فرمول کیفیت: ده نمونهی عالی از هر قالبِ واقعیِ کار، بهتر از دههزار نمونهی بیربطِ تولیدشده است. الگوی ساخت داده: نمونههای واقعی را خودتان بنویسید (یا با مدلِ مرزی بسازید و دستی بازبینی کنید)، تقسیم train/eval را از همان اول انجام دهید و روی eval هرگز آموزش ندهید.
- ۲۰۰ تا ۲۰۰۰ نمونه تمیز کافی است
- قالب خروجی نمونه = قالبِ مورد انتظار
- eval را از روز اول جدا کن
اجرا: مسیرِ یکهفتهای با ابزارهای متنباز
مسیرِ پیشفرضِ ۲۰۲۶: Hugging Face TRL یا LLaMA-Factory برای آموزش، Qwen/Llama/Gemma بهعنوان مدلِ پایهی باز، و ارزیابیِ مجدد روی همان مجموعهی طلایی که پیش از فاینتیون ساختهاید. ابرپارامترهایِ LoRAِ پیشفرض (rank ۸ تا ۳۲، dropout صفر، نرخ یادگیری ۲e-۴) برایِ شروع خوباند؛ اما عددِ واقعیِ پیروزی را سنجهی شما نشان میدهد، نه منحنی loss. استقرارِ adapter هم در vLLM و هم Ollama با یک خط تنظیم اضافه میشود.
- TRL/LLaMA-Factory + مدل بازِ ۷ تا ۱۴ میلیاردی
- سنجهی طلایی قبل و بعد، اجباری
- adapter روی vLLM/Ollama با یک خط تنظیم