الانتقال إلى المحتوى الرئيسي

ابحث في النماذج والأدوات والخدمات والشركات والمزودين وواجهات API والخطط والمقالات والأخبار.

مفاهيم أساسية

الرمز (Token)

Token

الرمز (Token)

الوحدة الصغيرة من النص يقرأها النموذج وينتجها — نحو ثلاثة أرباع كلمة إنجليزية أو كلمة إلى كلمتين عربيتين. يُحسب طول السياق وسعر API بالرموز.

الرمز (Token) هي الوحدة النصية الصغيرة التي يقرأها النموذج وينتجها — ليست كلمة ولا حرفًا بالضبط. نحو ثلاثة أرباع الكلمة الإنجليزية، بينما تكلّف كل كلمة عربية أو فارسية رمزًا إلى ثلاثة. يرى النموذج العالم كتيّارات من الرموز.

أهميتها: الرمز هو عملة وذاكرة عالم النماذج. سعر API (إدخال/إخراج) وطول نافذة السياق وسرعة الاستجابة تُقاس كلها بالرموز. النص العربي والفارسي يستهلك رموزًا أكثر من الإنجليزي بسبب السوابق واللاحقات.

قاعدة إصبع: 1000 رمز ≈ 750 كلمة إنجليزية. عدّ الرموز قبل إرسال النصوص الطويلة بأدوات مجانية يجعل التكلفة وجودة الرد قابلين للتوقع.

العودة إلى المسرد