پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

انتخاب مدلمتوسط 10 دقیقه

استقرار مدل محلی: Ollama و llama.cpp روی سخت‌افزار خانگی

مدل‌های ۳ تا ۱۴ میلیاردی امروز روی لپ‌تاپ‌های معمولی اجرا می‌شوند. این راهنما انتخابِ ابزار، مدل، کوانتیزه و تنظیمات را برایِ چتِ آفلاینِ سریع روی RAM هشت تا سی‌ودو گیگی می‌رود.

استقرار مدل محلی: Ollama و llama.cpp روی سخت‌افزار خانگی

چرا محلی؟ حریمِ خصوصی، تأخیر و هزینه‌ی صفر

سه دلیلِ واقعی: داده از دستگاه بیرون نمی‌رود، تأخیرِ شبکه و صفِ API حذف می‌شود، و هرچه بیشتر مصرف کنید صورتحساب ثابت می‌ماند. در عوض، مدلِ محلی از مدلِ مرزیِ ابری عقب‌تر است. نقشِ درستِ آن‌ها درِ معماریِ ترکیبی است: کارِ حساس و روتین محلی، کارِ سخت ابری.

  • داده حساس + کارِ روتینِ پرتکرار = محلی
  • مدلِ ۳ تا ۸ میلیاردی برایِ خیلی از کارها کافی است
  • ترکیبِ محلی+ابری از هر دو تنها بهتر است

انتخاب ابزار: Ollama یا llama.cpp مستقیم

llama.cpp موتورِ اجرای GGUF است و Ollama همان موتور را با سرویسِ مدل، API سازگار با OpenAI و مدیریتِ مدل بسته‌بندی می‌کند. برایِ استفاده‌ی روزمره و اتصالِ به ابزارها، Ollama انتخابِ پیش‌فرض است؛ برایِ جیبی‌سازیِ حداکثری رویِ سخت‌افزارِ خاص یا اجرایِ درونِ باینریِ خودتان، llama.cpp را مستقیم اجرا کنید.

  • Ollama: سرویس آماده + API سازگار با OpenAI
  • llama.cpp: کنترلِ کامل برایِ استقرارِ سفارشی
  • GGUF فرمتِ مشترکِ هر دو است

قانونِ RAM: مدلِ کوانتیزه درِ جیبِ شما جا می‌شود

فرمولِ جا‌شدن: مدلِ Q4 حدودِ نصفِ حجمِ FP16 به RAM نیاز دارد؛ مدلِ ۷ میلیاردی Q4 تقریباً ۵ گیگ، مدلِ ۱۴ میلیاردی تقریباً ۱۰ گیگ، و ۳۲ میلیاردی تقریباً ۲۰ گیگ. RAM هشت گیگ یعنی Qwen/Llamaِ سه‌میلیاردی، شانزده گیگ یعنی ۷ تا ۸ میلیاردی Q4، و سی‌ودو گیگ یعنی ۱۴ میلیاردیِ راحت. قانونِ انگشتی: همیشه نسخه‌ی Q4_K_M را شروع کنید و فقط با دلیلِ افتِ کیفیت رویِ سنجه‌ی خودتان ارتقا دهید.

  • Q4 تقریباً نصفِ FP16؛ اولین انتخاب Q4_K_M
  • RAM هشت گیگ → مدل ۳ میلیاردی؛ ۱۶ → ۷؛ ۳۲ → ۱۴
  • contextِ بلندِ محلی RAM می‌بلعد