تقطیر، انتقال دانش از مدل معلم به مدل شاگرد کوچکتر است: شاگرد خروجیهای معلم (نه فقط پاسخ نهایی، بلکه توزیع احتمال و استدلالش) را تقلید میکند. نتیجه مدلی کوچکتر که رفتار معلم را با کسری از هزینه تقلید میکند.
زنجیرهی استاندارد مدلهای ۲۰۲۶: معلمِ بزرگ و گران میسازد، شاگردِ ارزان و سریع مصرفکننده میشود. نسخههای سریع Gemma و Phi و Qwen، همگی فرزندان تقطیرِ مدلهای بزرگترند.
تفاوت با fine-tuning: تقطیر برای فشردهسازی توان یک مدلِ موجود است؛ fine-tuning برای دامنهی تازه. اغلب ترکیب میشوند: اول تقطیر، بعد تنظیم.
