Mixture of Experts معماری مدل را به تکهها تقسیم میکند: چند «متخصص» که هر کدام روی بخشی از دانش تخصص دارند، بهعلاوهی یک روتر که برای هر ورودی فقط چند متخصص مرتبط را بیدار میکند. مدل کلِ ۴۰۰ میلیارد پارامتری ممکن است برای هر توکن فقط ۱۰ میلیارد را فعال کند.
معادلهی جذابش این است: دانش مدلهای غول + هزینهی استنتاج مدلهای متوسط. به همین دلیل ستارهی ۲۰۲۵-۲۰۲۶ است: DeepSeek V3، GPT-4 و Gemini همگی MoEاند.
نکتهی فنی که باید بدانید: «تعداد پارامتر کل» با «پارامتر فعال به ازای هر توکن» دو عدد متفاوتاند؛ مقایسهی مدلها باید با عدد دوم و کیفیت داده انجام شود، نه عدد اول.
