الانتقال إلى المحتوى الرئيسي

ابحث في النماذج والأدوات والخدمات والشركات والمزودين وواجهات API والخطط والمقالات والأخبار.

اختيار النموذجمتوسط 10 دقيقة

النشر المحلي: Ollama وllama.cpp على عتاد منزلي

نماذج 3–14 مليارات تعمل اليوم على حواسيب عادية. يغطي هذا الدليل اختيار الأداة والنموذج والتكميم والإعدادات لدردشة سريعة دون اتصال على ذاكرة 8–32 غيغابايت.

النشر المحلي: Ollama وllama.cpp على عتاد منزلي

لماذا محليًا؟ خصوصية وزمن استجابة وتكلفة صفرية

ثلاثة أسباب حقيقية: البيانات لا تغادر الجهاز، وزمن الشبكة والطابور يزول، والفاتورة ثابتة مهما كثر الاستهلاك. والثمن: المحلي دون السحابي الحدي. وموضعه الصحيح في العمارة الهجينة: الحساس والروتيني محليًا، والصعب سحابيًا.

  • حساس ومتكرر كثيف = محلي
  • نموذج 3–8 مليارات يكفي لكثير من الأعمال
  • الهجين أفضل من كليهما وحده

اختيار الأداة: Ollama أم llama.cpp مباشرةً

llama.cpp محرك تشغيل GGUF؛ وOllama يغلّف ذلك المحرك بخدمة نماذج وAPI متوافق مع OpenAI وإدارة نماذج. للاستخدام اليومي ووصلات الأدوات Ollama هو الافتراضي؛ وللضغط الأقصى على عتاد خاص أو التضمين في ثنائيك شغّل llama.cpp مباشرةً.

  • Ollama: خدمة جاهزة + API متوافق مع OpenAI
  • llama.cpp: تحكم كامل للنشر المخصص
  • GGUF صيغة مشتركة

قاعدة الذاكرة: النماذج المكمّمة تسكن جهازك

صيغة السكن: Q4 نحو نصف FP16؛ 7 مليارات بـQ4 نحو 5 غيغابايت، و14 نحو 10، و32 نحو 20. ذاكرة 8 تعني Qwen/Llama 3 مليارات؛ و16 تعني 7–8 بـQ4؛ و32 تعني 14 مريحًا. قاعدة إبهام: ابدأ دائمًا بـQ4_K_M ولا ترقِّ إلا بدليل تراجع الجودة في تقييمك.

  • Q4 ≈ نصف FP16؛ ابدأ بـQ4_K_M
  • 8 جيجابايت → 3 مليارات؛ 16 → 7؛ 32 → 14
  • السياق الطويل يلتهم الذاكرة