پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

حافظه نهان KV: چرا تکرار پرامپت ارزان‌تر از پاسخ اول است

حافظه نهان KV: چرا تکرار پرامپت ارزان‌تر از پاسخ اول است

وقتی مدلی متنی را تولید می‌کند، برای هر توکن ورودی «کلید» و «مقدار» محاسبه می‌کند و مرحله‌های بعدیِ توجه به آن‌ها وابسته است. حافظه نهان KV این مقادیر را نگه می‌دارد تا در تولید توکن بعدی، توکن‌های قبلی از اول ساخته نشوند. همین مکانیزم فنی پشت یکی از کمترشناخته‌شده‌ترین تخفیف‌های صورتحساب شماست: اگر پیشوند پرامپتی کش شده باشد، مدل آن بخش را دوباره محاسبه نمی‌کند — و ارائه‌دهندگان هم معمولاً همان‌قدر کمتر پول می‌گیرند.

ریاضی‌اش ساده و بی‌رحم است: پاسخ اول هزینه‌ی «پرفیل» کامل را می‌دهد، اما هر پاسخ بعدی روی همان پیشوند تقریباً فقط توکن‌های تازه را می‌پردازد. در برخی ارائه‌دهندگان خواندن کش تا ۹۰ درصد ارزان‌تر از محاسبه‌ی دوباره است. نتیجه‌ی عملی: سیستم‌های پرترافیک باید «ثابت را اول، متغیر را آخر» بچینند — پرامپت سیستمی و ابزارها در ابتدای درخواست بی‌تغییر بمانند و فقط بخش متغیرِ پایین اضافه شود؛ هر ویرایش در ابتدای پرامپت، کل کش را می‌سوزاند.

این یعنی پرسش اقتصادی تازه‌ای برای طراحی سیستم: «چقدر از کار من پیشوند ثابت دارد؟» ربات پشتیبانی با یک کتابچه راهنما، خلاصه‌ساز با دستور ثابت، یا چت‌باتی که تاریخچه‌اش فقط بلندتر می‌شود — همه نامزدهای کش‌زدن‌اند. جدول قیمت مدل‌های سایت، قیمت هر توکن ورودی و خروجی را کنار هم نشان می‌دهد؛ پیش از امضای قرارداد، کسری از هزینه را که کش نجات می‌دهد محاسبه کنید. مهارت ۲۰۲۶ همین است: نه خریدن مدل ارزان‌تر، بلکه طراحی پرامپتی که ارزان‌تر پردازش شود.

بازگشت به وبلاگ