الذكاء الاصطناعي والـ models
Token
قطعة من النص — تقريبًا ثلاثة أرباع كلمة. لا تقرأ الـ AI models الحروف أو الكلمات الكاملة؛ بل تقرأ tokens. فقد تكون كلمة
unbelievable ثلاثة tokens: un وbeliev وable. لماذا يهمّك
ضمن موضوع الـ context والـ context window → كل شيء تقريبًا يُقاس بالـ tokens: كم يستطيع الذكاء الاصطناعي أن يقرأ دفعةً واحدة، وكم بسرعة يردّ، وكم يكلّف. والـ context window ما هو إلا ميزانية tokens.
انظر أيضًا