کوانتیزاسیون، کمکردن دقت اعداد داخلی مدل است — مثلاً FP16 به INT4. اندازه و حافظهی مدل چند برابر میافتد و مدلی که به ۴۰ گیگابایت RAM نیاز داشت روی ۸ گیگابایت اجرا میشود. فرمتهای GGUF، AWQ و GPTQ همه نام همین بازیاند.
قیمت: افت کیفیت. با ۴ بیت و دادهی کالیبراسیون خوب، افت تقریباً نامحسوس است؛ با ۲ بیت و بدون احتیاط، پاسخها آشفت میشوند. هنر، تعادل بین «اجرا شد روی دستگاه شما» و «هنوز درست جواب میدهد».
اثر شبکهای: مدل کوانتیزهشده با تأخیر و هزینهی کمتر، استنتاج را در مقیاس ارزان میکند — همان چیزی که AI را از سرور به گوشی میآورد.
