الانتقال إلى المحتوى الرئيسي

ابحث في النماذج والأدوات والخدمات والشركات والمزودين وواجهات API والخطط والمقالات والأخبار.

اختيار النموذجمتقدم 12 دقيقة

الضبط الدقيق مع LoRA وQLoRA: دليل قرار وتنفيذ

قبل استئجار GPU قرّر: المشكلة سلوك أم معرفة؟ هذا الدليل يسلك مسار LoRA/QLoRA من البيانات إلى النشر بمنطق «التقييم أولًا».

الضبط الدقيق مع LoRA وQLoRA: دليل قرار وتنفيذ

قرّر أولًا: ضبط أم RAG؟

الضبط يغيّر السلوك لا المعرفة. إن كان النموذج «لا يعرف» فأدخل المعرفة بـRAG؛ وإن كان «يعرف ويجيب بغير أسلوبك» — نبرةً وقالب إخراج ومصطلحات وتنسيق فريقك — فLoRA هي الأداة. سؤال الفرز: لو وضعت الجواب الصحيح أمامه هل ينتجه؟ نعم تعني مشكلة سلوك فاضبط، لا تعني مشكلة معرفة فاستعمل RAG.

  • معرفة جديدة أو مستندات الشركة → RAG
  • نبرة وقالب ومصطلح → LoRA/QLoRA
  • كلاهما: RAG للمعرفة وLoRA خفيف للسلوك

لماذا LoRA وQLoRA؟ اقتصاد التكييف

التدريب الكامل لنموذج بـ70 مليارات يكلّف آلاف الدولارات وأيامًا. يدرّب LoRA المصفوفات الصغرى منخفضة الرتبة بجانب الشبكة لا كل الأوزان — جزء من الواحد بالمئة. ويتجاوز QLoRA ذلك: يكمّم الأساس إلى 4 بت ويشغّل LoRA فوقه؛ النتيجة: ضبط نموذج 7 مليارات على GPU استهلاكي واحد بسعة 24 غيغابايت. والمخرج ملف محمّل بمئات الميغابايت لا نسخة النموذج.

  • المخرج محمّل خفيف والأساس سليم
  • QLoRA: أساس 4 بت + LoRA = GPU استهلاكي
  • محامل متعددة لأساس واحد، لكل فريق واحد

البيانات: عنق الزجاجة الذي يستهين به الجميع

لا يحتاج LoRA ملايين العينات بل مئات إلى بضع آلاف نظيفة متسقة. صيغة الجودة: عشرة أمثلة ممتازة لكل قالب حقيقي تغلب على عشرة آلاف مولّدة عشوائية. نمط البناء: اكتب الأمثلة الحقيقية بيدك (أو ولدّها بنموذج حدّي وراجعها يدويًا)، واقسم تدريب/تقييم من اليوم الأول ولا تدرّب على التقييم أبدًا.

  • تكفي 200–2000 عينة نظيفة
  • قالب مخرج المثال هو القالب المرتقب
  • افصل التقييم من اليوم الأول

التنفيذ: مسار الأسبوع الواحد بأدوات مفتوحة

مسار 2026 الافتراضي: TRL أو LLaMA-Factory للتدريب، ونموذج Qwen/Llama/Gemma مفتوح أساسًا، وإعادة تقييم على المجموعة الذهبية نفسها. معايير LoRA الافتراضية (رتبة 8–32، إسقاط صفر، تعلّم 2e-4) بداية جيدة؛ لكن رقم الفوز من مجموعة تقييمك لا منحنى الخسارة. ونشر المحمّل سطر إعداد واحد في vLLM وOllama.

  • TRL/LLaMA-Factory + أساس مفتوح 7–14 مليار
  • مجموعة ذهبية قبل وبعد إلزاميًا
  • محمّل على vLLM/Ollama بسطر واحد