استقرار مدل محلی: Ollama و llama.cpp روی سختافزار خانگی
مدلهای ۳ تا ۱۴ میلیاردی امروز روی لپتاپهای معمولی اجرا میشوند. این راهنما انتخابِ ابزار، مدل، کوانتیزه و تنظیمات را برایِ چتِ آفلاینِ سریع روی RAM هشت تا سیودو گیگی میرود.

چرا محلی؟ حریمِ خصوصی، تأخیر و هزینهی صفر
سه دلیلِ واقعی: داده از دستگاه بیرون نمیرود، تأخیرِ شبکه و صفِ API حذف میشود، و هرچه بیشتر مصرف کنید صورتحساب ثابت میماند. در عوض، مدلِ محلی از مدلِ مرزیِ ابری عقبتر است. نقشِ درستِ آنها درِ معماریِ ترکیبی است: کارِ حساس و روتین محلی، کارِ سخت ابری.
- داده حساس + کارِ روتینِ پرتکرار = محلی
- مدلِ ۳ تا ۸ میلیاردی برایِ خیلی از کارها کافی است
- ترکیبِ محلی+ابری از هر دو تنها بهتر است
انتخاب ابزار: Ollama یا llama.cpp مستقیم
llama.cpp موتورِ اجرای GGUF است و Ollama همان موتور را با سرویسِ مدل، API سازگار با OpenAI و مدیریتِ مدل بستهبندی میکند. برایِ استفادهی روزمره و اتصالِ به ابزارها، Ollama انتخابِ پیشفرض است؛ برایِ جیبیسازیِ حداکثری رویِ سختافزارِ خاص یا اجرایِ درونِ باینریِ خودتان، llama.cpp را مستقیم اجرا کنید.
- Ollama: سرویس آماده + API سازگار با OpenAI
- llama.cpp: کنترلِ کامل برایِ استقرارِ سفارشی
- GGUF فرمتِ مشترکِ هر دو است
قانونِ RAM: مدلِ کوانتیزه درِ جیبِ شما جا میشود
فرمولِ جاشدن: مدلِ Q4 حدودِ نصفِ حجمِ FP16 به RAM نیاز دارد؛ مدلِ ۷ میلیاردی Q4 تقریباً ۵ گیگ، مدلِ ۱۴ میلیاردی تقریباً ۱۰ گیگ، و ۳۲ میلیاردی تقریباً ۲۰ گیگ. RAM هشت گیگ یعنی Qwen/Llamaِ سهمیلیاردی، شانزده گیگ یعنی ۷ تا ۸ میلیاردی Q4، و سیودو گیگ یعنی ۱۴ میلیاردیِ راحت. قانونِ انگشتی: همیشه نسخهی Q4_K_M را شروع کنید و فقط با دلیلِ افتِ کیفیت رویِ سنجهی خودتان ارتقا دهید.
- Q4 تقریباً نصفِ FP16؛ اولین انتخاب Q4_K_M
- RAM هشت گیگ → مدل ۳ میلیاردی؛ ۱۶ → ۷؛ ۳۲ → ۱۴
- contextِ بلندِ محلی RAM میبلعد