مزيج الخبراء يقسّم النموذج إلى قطع: عدة «خبراء» لكلٍّ منهم قطعة من المعرفة، إضافة إلى موجّه ينشط الخبراء القلائل المعنيين لكل مدخل. نموذج بأربعمئة مليار معامل قد ينشط عشرة مليارات فقط لكل رمز.
معادلته الجذابة: معرفة نماذج عملاقة بتكلفة استدلال متوسطة. لهذا يهيمن MoE على 2025–2026: DeepSeek V3 وGPT-4 وGemini كلها MoE.
التنبيه التقني الذي يجب معرفته: «إجمالي المعاملات» و«المعاملات النشطة لكل رمز» عددان مختلفان؛ قارن النماذج بالثاني (وجودة البيانات) لا بالأول.
