پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

مدل‌های کوچک مرزها را جابه‌جا می‌کنند: کیفیت ۷۰ میلیاردی روی ۳ میلیارد پارامتر

مدل‌های کوچک مرزها را جابه‌جا می‌کنند: کیفیت ۷۰ میلیاردی روی ۳ میلیارد پارامتر

نقشه‌ی قدرت مدل‌ها در دو سال اخیر یک‌بار از نو رسم شد. مدل‌های ۳ تا ۸ میلیارد پارامتری مثل Phi، Gemma و Qwenِ کوچک، در معیارهای سنجشِ متنی از مدل‌های ۵۰ تا ۷۰ میلیاردیِ نسل پیش عبور می‌کنند. رازشان جادو نبود: تقطیر (آموزش روی خروجیِ مدل‌های بزرگ) به‌همراه داده‌ی آموزشیِ کم‌حجم ولی صیقل‌خورده. نتیجه: کیفیتِ مرزی با کسری از حافظه و انرژی.

برای توسعه‌دهنده این یعنی سه تصمیم تازه: اول، بسیاری از کارهای روتین — دسته‌بندی تیکت، خلاصه‌سازی، رانکِرِ RAG، پاسخ‌های قالبی — اصلاً به مدل مرزی نیاز ندارند و مدل کوچک روی همان GPU ارزان‌تر و ده‌ها برابر سریع‌تر جواب می‌دهد. دوم، اجرای روی دستگاه (لپ‌تاپ، گوشی، دستگاه‌های لبه) از رویا به عمل رسید؛ مدل ۳ میلیاردیِ کوانتیزه در رم ۸ گیگ جا می‌شود. سوم، هنوز جای مدل بزرگ باز است: استدلال عمیق، ریاضیات و تحلیل‌های چندسندی.

الگوی برنده‌ی ۲۰۲۶ «مسیریابی» است: مدل کوچک پیش‌فرض، مدل بزرگ فقط برای وظیفه‌ی سخت. این یعنی صورتحسابی که با حجم کار رشد نمی‌کند. جدول مدل‌های سایت برای همین ساخته شده: پارامتر، قیمت و کیفیت را کنار هم ببینید و تیم‌تان را با پرسشِ «کوچک‌ترین مدلی که کار را راه می‌اندازد کدام است؟» شروع کنید — نه «بهترین مدل چیست؟»

بازگشت به وبلاگ