پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

معماری و مدل‌ها

ترکیب متخصص‌ها (MoE)

Mixture of Experts (MoE)

ترکیب متخصص‌ها (MoE)

معماری‌ای که مدل را به چند «متخصص» تقسیم می‌کند و برای هر ورودی فقط چند متخصص مرتبط فعال می‌شوند؛ نتیجه: مدل خیلی بزرگ‌تر با هزینه استنتاج کمتر.

Mixture of Experts معماری مدل را به تکه‌ها تقسیم می‌کند: چند «متخصص» که هر کدام روی بخشی از دانش تخصص دارند، به‌علاوه‌ی یک روتر که برای هر ورودی فقط چند متخصص مرتبط را بیدار می‌کند. مدل کلِ ۴۰۰ میلیارد پارامتری ممکن است برای هر توکن فقط ۱۰ میلیارد را فعال کند.

معادله‌ی جذابش این است: دانش مدل‌های غول + هزینه‌ی استنتاج مدل‌های متوسط. به همین دلیل ستاره‌ی ۲۰۲۵-۲۰۲۶ است: DeepSeek V3، GPT-4 و Gemini همگی MoE‌اند.

نکته‌ی فنی که باید بدانید: «تعداد پارامتر کل» با «پارامتر فعال به ازای هر توکن» دو عدد متفاوت‌اند؛ مقایسه‌ی مدل‌ها باید با عدد دوم و کیفیت داده انجام شود، نه عدد اول.

بازگشت به واژه‌نامه