پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

آموزش و تنظیم

کوانتیزاسیون

Quantization

کوانتیزاسیون

کم‌دقت‌کردن اعداد داخلی مدل (مثلاً از ۱۶ بیت به ۴ بیت) تا حجم و حافظه‌ی لازم چند برابر کم شود و روی سخت‌افزار معمولی اجرا شود — با افت کیفیت جزئی.

کوانتیزاسیون، کم‌کردن دقت اعداد داخلی مدل است — مثلاً FP16 به INT4. اندازه و حافظه‌ی مدل چند برابر می‌افتد و مدلی که به ۴۰ گیگابایت RAM نیاز داشت روی ۸ گیگابایت اجرا می‌شود. فرمت‌های GGUF، AWQ و GPTQ همه نام همین بازی‌اند.

قیمت: افت کیفیت. با ۴ بیت و داده‌ی کالیبراسیون خوب، افت تقریباً نامحسوس است؛ با ۲ بیت و بدون احتیاط، پاسخ‌ها آشفت می‌شوند. هنر، تعادل بین «اجرا شد روی دستگاه شما» و «هنوز درست جواب می‌دهد».

اثر شبکه‌ای: مدل کوانتیزه‌شده با تأخیر و هزینه‌ی کمتر، استنتاج را در مقیاس ارزان می‌کند — همان چیزی که AI را از سرور به گوشی می‌آورد.

بازگشت به واژه‌نامه