پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

مفاهیم پایه

توکن

Token

توکن

واحد کوچک متن که مدل آن را می‌خواند و تولید می‌کند — تقریباً ¾ یک کلمه انگلیسی یا ۱ تا ۲ کلمه فارسی. طول زمینه و قیمت API هر دو بر حسب توکن حساب می‌شوند.

توکن واحد کوچک متنی است که مدل آن را می‌خواند و تولید می‌کند؛ نه دقیقاً کلمه است نه حرف. در انگلیسی حدود ¾ یک کلمه و در فارسی/عربی هر کلمه معمولاً ۱ تا ۳ توکن است. مدل دنیا را به رشته‌ی توکن می‌بیند.

چرا اهمیت دارد؟ چون واحد پول و واحد حافظه‌ی دنیای مدل‌هاست: قیمت API (ورودی/خروجی)، طول پنجره‌ی زمینه و سرعت پاسخ همه بر حسب توکن سنجیده می‌شوند. متن فارسی به‌دلیل تفکیک پسوند و پیشوند، توکن بیشتری از معادل انگلیسی می‌گیرد.

قاعده‌ی سرانگشتی: ۱۰۰۰ توکن ≈ ۷۵۰ کلمه انگلیسی. قبل از ارسال متن‌های طولی، شمارش توکن با ابزارهای رایگان، هم هزینه و هم کیفیت پاسخ را قابل‌پیش‌بینی می‌کند.

بازگشت به واژه‌نامه