跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

架构与模型

专家混合(MoE)

Mixture of Experts (MoE)

专家混合(MoE)

将模型划分为多个「专家」并只激活与输入相关的少数专家的架构——以更低的推理成本获得大得多的模型。

专家混合(MoE)把模型拆成若干部件:多个各管一片知识的「专家」,外加一个路由器,每个输入只唤醒少数相关专家。4000 亿总参数的模型每个词元可能只激活 100 亿。

它的迷人等式是:巨人模型的知识量 + 中等模型的推理成本。这正是它统治 2025–2026 的原因:DeepSeek V3、GPT-4 与 Gemini 都是 MoE。

必须知道的技术细节:「总参数」与「每词元激活参数」是两个不同的数字;比较模型应看后者(以及数据质量),而非前者。

返回术语表