پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

RAG و فاین‌تیونپیشرفته 20 دقیقه

آموزش مدل فارسی با QLoRA روی یک GPU: گام‌به‌گام

با QLoRA و یک GPU بیست‌وچهار گیگی، مدلِ بازِ فارسی‌پسند را برایِ لحن و قالبِ کارِ خودتان تنظیم کنید: از ساختِ داده تا adapter و استقرار.

آموزش مدل فارسی با QLoRA روی یک GPU: گام‌به‌گام

چرا اصلاً فارسی؟

مدل‌های بازِ انگلیسی‌محور روی فارسی دو دردِ معروف دارند: شکستنِ کلمات در tokenizer و بی‌وفایی به قالبِ خروجی. فاین‌تیونِ سبکِ یک مدلِ فارسی‌پسند (Qwen یا Gemma) با چند صد نمونه، هر دو درد را درِ دامنه‌ی شما کم‌رنگ می‌کند — بدونِ هزینه‌ی آموزشِ کامل.

پیش‌نیازِ دقیقه‌ای: سخت‌افزار و ابزار

QLoRA مدلِ پایه را ۴-بیتی بارگذاری می‌کند: مدلِ ۷ تا ۸ میلیاردی با Q4_K_M حدود ۵ گیگ RAM/GPU می‌خواهد و با به‌حساب‌آوردنِ gradient checkpointing و batch کوچک، روی GPU بیست‌وچهار‌گیگیِ رایج (RTX 3090/4090) یا حتی دوازده‌گیگی جا می‌شود. ابزارها: PyTorch + bitsandbytes + PEFT + TRL (یا LLaMA-Factory اگر رابطِ گرافیکی می‌خواهید).

داده: فارسیِ تمیز، کم‌حجم ولی هم‌شکل

هدفِ ما رفتار است، نه دانشِ جدید؛ پس چند صد تا یکی‌دو‌هزار نمونه کافی است. الگو: «پرسشِ واقعیِ تیمِ شما + پاسخِ دقیقاً به همان قالبِ دلخواه». سه قانون: اول، متن‌ها را با فاصله‌ی مجازیِ فارسی و بدونِ شکستنِ کلمه بنویسید (نمونه‌ی شکسته، مدل را شکسته می‌کند). دوم، تنوعِ قالب: ایمیل، گزارش، پاسخِ کوتاه، جدول. سوم، ده درصد را برایِ eval جدا کنید و تا آخر دست نزنید.

اجرا: ده خطِ پایتون که کار را می‌کند

بارگذاریِ مدلِ ۴-بیتی با bitsandbytes، ساختِ LoraConfig (rank ۱۶، alpha ۳۲، dropout صفر، target=all-linear)، سپس SFTTrainer روی دو تا سه epoch با نرخِ یادگیریِ ۱e-۴. زمانِ اجرا با دویست نمونه، ده‌ها دقیقه است — نه ساعت. خروجی: adapterِ چند صد مگابایتی.

ارزیابی: سنجه‌ی فارسیِ خودتان

قبل و بعد را رویِ همان eval بسنجید: دقتِ قالب (آیا جدول، جدول ماند؟)، سالمیِ فارسی (شکستِ کلمه؟ نصفه‌کاره‌ی انگلیسی؟)، و حفظِ دانش — چون LoRA دانش را عوض نمی‌کند؛ اگر پاسخ‌ها بیرون از دامنه‌ی نمونه‌ها خراب شد، مشکلِ حجمِ داده یا overfit است، نه ابزار.

استقرار: adapter در کنارِ مدل

vLLM با --enable-lora و چند adapter هم‌زمان سرو می‌شود؛ Ollama هم Modfile با ADAPTER می‌پذیرد. برایِ API داخلی، همین کافی است. و به‌یاد داشته باشید: نسخه‌بندیِ adapter مثلِ نسخه‌بندیِ کد است — با هر بارِ افزودنِ داده‌یِ جدید، یک نسخه‌یِ تازه، ویرایشِ سنجه و CHANGELOG کوتاه.