الانتقال إلى المحتوى الرئيسي

ابحث في النماذج والأدوات والخدمات والشركات والمزودين وواجهات API والخطط والمقالات والأخبار.

التدريب والضبط

الكمّنة (Quantization)

Quantization

الكمّنة (Quantization)

تقليل دقة الأرقام الداخلية للنموذج (مثلًا من 16 بت إلى 4 بت) ليتقلص حجمه وذاكرته الجازمة ويعمل على عتاد عادي — مع خسارة طفيفة في الجودة.

الكمّنة تقليل دقة الأرقام الداخلية للنموذج — من FP16 مثلًا إلى INT4. يتقلص الحجم والذاكرة مرات؛ نموذج يحتاج 40 غيغابايت RAM يعمل في 8. صيغ مثل GGUF وAWQ وGPTQ كلها أسماء لهذه اللعبة.

الثمن: خسارة جودة. مع 4 بت وبيانات معايرة جيدة الخسارة شبه محسوسة؛ ومع 2 بت بلا حذر تتشوش الإجابات. الحرفة في موازنة «اشتغل على جهازك» مقابل «ما زال يجيب صحيحًا».

الأثر الشبكي: النماذج المكمّنة تجعل الاستدلال رخيصًا زمنًا وتكلفة — وهو ما ينقل الذكاء الاصطناعي من الخادم إلى الهاتف.

العودة إلى المسرد