پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

عامل‌ها و کاربرد

استنتاج

Inference

استنتاج

اجرای مدلِ آموزش‌دیده — یعنی لحظه‌ای که پرامپت می‌دهی و توکن‌ها تولید می‌شوند؛ هزینه‌ی هر پیام ChatGPT همان هزینه‌ی inference است.

استنتاج همان «اجرای» مدل آموزش‌دیده است: لحظه‌ای که پرامپت می‌آید و توکن‌ها یکی‌یکی ساخته می‌شوند. اقتصاد عملیات AI دقیقاً همین‌جا است — هزینه‌ی هر پیام، هر فراخوانی API و هر دقیقه‌ی عامل.

قیمت‌گذاری دوبعدی است: توکن ورودی (گران‌تر در مدل‌های جدید به‌خواب حافظه) و توکن خروجی. مدل‌های استدلالی به‌خاطر «زنجیره‌ی فکر» پنهان، خروجی پنهان هم حساب می‌کنند — پاسخ کوتاه می‌تواند ۲۰۰۰ توکن استدلال پشت سر خود داشته باشد.

راهبرد کاهش: مدل کوچک برای کار ساده، cache برای پاسخ‌های تکراری، batch برای حجم، و کوانتیزه برای استقرار. استنتاجِ هوشمندانه، همان‌قدر مدل‌سازی مهم است.

بازگشت به واژه‌نامه