الانتقال إلى المحتوى الرئيسي

ابحث في النماذج والأدوات والخدمات والشركات والمزودين وواجهات API والخطط والمقالات والأخبار.

البنية والنماذج

مزيج الخبراء (MoE)

Mixture of Experts (MoE)

مزيج الخبراء (MoE)

معمارية تقسّم النموذج إلى عدة «خبراء» ويُفعَّل لكل مدخل الخبراء المناسبون فقط — فتحصل على نماذج أكبر بكثير بتكلفة استدلال أقل.

مزيج الخبراء يقسّم النموذج إلى قطع: عدة «خبراء» لكلٍّ منهم قطعة من المعرفة، إضافة إلى موجّه ينشط الخبراء القلائل المعنيين لكل مدخل. نموذج بأربعمئة مليار معامل قد ينشط عشرة مليارات فقط لكل رمز.

معادلته الجذابة: معرفة نماذج عملاقة بتكلفة استدلال متوسطة. لهذا يهيمن MoE على 2025–2026: DeepSeek V3 وGPT-4 وGemini كلها MoE.

التنبيه التقني الذي يجب معرفته: «إجمالي المعاملات» و«المعاملات النشطة لكل رمز» عددان مختلفان؛ قارن النماذج بالثاني (وجودة البيانات) لا بالأول.

العودة إلى المسرد