استنتاج همان «اجرای» مدل آموزشدیده است: لحظهای که پرامپت میآید و توکنها یکییکی ساخته میشوند. اقتصاد عملیات AI دقیقاً همینجا است — هزینهی هر پیام، هر فراخوانی API و هر دقیقهی عامل.
قیمتگذاری دوبعدی است: توکن ورودی (گرانتر در مدلهای جدید بهخواب حافظه) و توکن خروجی. مدلهای استدلالی بهخاطر «زنجیرهی فکر» پنهان، خروجی پنهان هم حساب میکنند — پاسخ کوتاه میتواند ۲۰۰۰ توکن استدلال پشت سر خود داشته باشد.
راهبرد کاهش: مدل کوچک برای کار ساده، cache برای پاسخهای تکراری، batch برای حجم، و کوانتیزه برای استقرار. استنتاجِ هوشمندانه، همانقدر مدلسازی مهم است.
