پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

آموزش و تنظیم

تقطیر

Distillation

تقطیر

انتقال دانش از یک مدل بزرگ به یک مدل کوچک: کوچک از خروجی‌های بزرگ یاد می‌گیرد تا با هزینه‌ی کمتر رفتار مشابهی داشته باشد.

تقطیر، انتقال دانش از مدل معلم به مدل شاگرد کوچک‌تر است: شاگرد خروجی‌های معلم (نه فقط پاسخ نهایی، بلکه توزیع احتمال و استدلالش) را تقلید می‌کند. نتیجه مدلی کوچک‌تر که رفتار معلم را با کسری از هزینه تقلید می‌کند.

زنجیره‌ی استاندارد مدل‌های ۲۰۲۶: معلمِ بزرگ و گران می‌سازد، شاگردِ ارزان و سریع مصرف‌کننده می‌شود. نسخه‌های سریع Gemma و Phi و Qwen، همگی فرزندان تقطیرِ مدل‌های بزرگ‌ترند.

تفاوت با fine-tuning: تقطیر برای فشرده‌سازی توان یک مدلِ موجود است؛ fine-tuning برای دامنه‌ی تازه. اغلب ترکیب می‌شوند: اول تقطیر، بعد تنظیم.

بازگشت به واژه‌نامه