توکن واحد کوچک متنی است که مدل آن را میخواند و تولید میکند؛ نه دقیقاً کلمه است نه حرف. در انگلیسی حدود ¾ یک کلمه و در فارسی/عربی هر کلمه معمولاً ۱ تا ۳ توکن است. مدل دنیا را به رشتهی توکن میبیند.
چرا اهمیت دارد؟ چون واحد پول و واحد حافظهی دنیای مدلهاست: قیمت API (ورودی/خروجی)، طول پنجرهی زمینه و سرعت پاسخ همه بر حسب توکن سنجیده میشوند. متن فارسی بهدلیل تفکیک پسوند و پیشوند، توکن بیشتری از معادل انگلیسی میگیرد.
قاعدهی سرانگشتی: ۱۰۰۰ توکن ≈ ۷۵۰ کلمه انگلیسی. قبل از ارسال متنهای طولی، شمارش توکن با ابزارهای رایگان، هم هزینه و هم کیفیت پاسخ را قابلپیشبینی میکند.
