跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

训练与调优

蒸馏

Distillation

蒸馏

将大模型的知识迁移到小模型:小模型从大模型的输出中学习,以低得多的成本实现相近表现。

蒸馏是把知识从「教师模型」迁移到更小的「学生模型」:学生模仿教师的输出——不只是最终答案,还有概率分布与推理过程。结果是一个更小的模型,以零头成本复刻教师的表现。

2026 年的标准链路:昂贵的大教师来制造,便宜快的学生来交付。Gemma、Phi、Qwen 的快速版本都是大模型蒸馏的孩子。

与微调之别:蒸馏是压缩既有模型的能力,微调是面向新领域。二者常组合——先蒸馏,后微调。

返回术语表