چرا اصلاً فارسی؟
مدلهای بازِ انگلیسیمحور روی فارسی دو دردِ معروف دارند: شکستنِ کلمات در tokenizer و بیوفایی به قالبِ خروجی. فاینتیونِ سبکِ یک مدلِ فارسیپسند (Qwen یا Gemma) با چند صد نمونه، هر دو درد را درِ دامنهی شما کمرنگ میکند — بدونِ هزینهی آموزشِ کامل.
پیشنیازِ دقیقهای: سختافزار و ابزار
QLoRA مدلِ پایه را ۴-بیتی بارگذاری میکند: مدلِ ۷ تا ۸ میلیاردی با Q4_K_M حدود ۵ گیگ RAM/GPU میخواهد و با بهحسابآوردنِ gradient checkpointing و batch کوچک، روی GPU بیستوچهارگیگیِ رایج (RTX 3090/4090) یا حتی دوازدهگیگی جا میشود. ابزارها: PyTorch + bitsandbytes + PEFT + TRL (یا LLaMA-Factory اگر رابطِ گرافیکی میخواهید).
داده: فارسیِ تمیز، کمحجم ولی همشکل
هدفِ ما رفتار است، نه دانشِ جدید؛ پس چند صد تا یکیدوهزار نمونه کافی است. الگو: «پرسشِ واقعیِ تیمِ شما + پاسخِ دقیقاً به همان قالبِ دلخواه». سه قانون: اول، متنها را با فاصلهی مجازیِ فارسی و بدونِ شکستنِ کلمه بنویسید (نمونهی شکسته، مدل را شکسته میکند). دوم، تنوعِ قالب: ایمیل، گزارش، پاسخِ کوتاه، جدول. سوم، ده درصد را برایِ eval جدا کنید و تا آخر دست نزنید.
اجرا: ده خطِ پایتون که کار را میکند
بارگذاریِ مدلِ ۴-بیتی با bitsandbytes، ساختِ LoraConfig (rank ۱۶، alpha ۳۲، dropout صفر، target=all-linear)، سپس SFTTrainer روی دو تا سه epoch با نرخِ یادگیریِ ۱e-۴. زمانِ اجرا با دویست نمونه، دهها دقیقه است — نه ساعت. خروجی: adapterِ چند صد مگابایتی.
ارزیابی: سنجهی فارسیِ خودتان
قبل و بعد را رویِ همان eval بسنجید: دقتِ قالب (آیا جدول، جدول ماند؟)، سالمیِ فارسی (شکستِ کلمه؟ نصفهکارهی انگلیسی؟)، و حفظِ دانش — چون LoRA دانش را عوض نمیکند؛ اگر پاسخها بیرون از دامنهی نمونهها خراب شد، مشکلِ حجمِ داده یا overfit است، نه ابزار.
استقرار: adapter در کنارِ مدل
vLLM با --enable-lora و چند adapter همزمان سرو میشود؛ Ollama هم Modfile با ADAPTER میپذیرد. برایِ API داخلی، همین کافی است. و بهیاد داشته باشید: نسخهبندیِ adapter مثلِ نسخهبندیِ کد است — با هر بارِ افزودنِ دادهیِ جدید، یک نسخهیِ تازه، ویرایشِ سنجه و CHANGELOG کوتاه.
