מה זה טוקן (token) ב-AI, בפשטות: למה זה קובע מחיר, מהירות וזיכרון
טוקן הוא פיסה קטנה של טקסט, היחידה שבה כלי AI קוראים, חושבים ומחשבים מחיר. הסבר פשוט שמבהיר מגבלות אורך, זיכרון שיחה ותמחור.
בקצרה: טוקן הוא פיסה קטנה של טקסט, בערך חלק ממילה, שזו היחידה שבה כלי AI קוראים, חושבים ומחשבים מחיר. כשמבינים מה זה טוקן, פתאום מובן למה יש מגבלת אורך לשיחה, למה מחירי ה-API נכתבים "לכל מיליון טוקנים", ולמה שיחה ארוכה מאוד מתחילה להאט או לשכוח.
יש מילה אחת שצצה בכל מקום סביב AI, ורוב בעלי העסקים פשוט מדלגים עליה כי היא נשמעת טכנית: טוקן. אבל זו אחת המילים הכי שוות להבין, כי היא מסבירה בבת אחת שלושה דברים שמבלבלים: למה ChatGPT לפעמים שוכח, למה כלים מסוימים עולים כסף לפי שימוש, ולמה יש גבול לכמה אפשר להעמיס על AI בבת אחת. בלי להיבהל, נתחיל מההתחלה.
אז מה זה טוקן, באמת
חשבו על טוקן כמו על פיסת לגו של שפה. כלי AI לא קורא מילים שלמות כמו שאנחנו קוראים. הוא מפרק את הטקסט לחתיכות קטנות, וכל חתיכה כזו נקראת טוקן. לפעמים טוקן הוא מילה שלמה, לפעמים רק חלק ממילה, ולפעמים סימן פיסוק. בעברית, מילה ממוצעת מתפרקת לרוב לכמה טוקנים.
הדבר החשוב להבין הוא שזו היחידה שבה ה-AI עובד. הוא קורא בטוקנים, חושב בטוקנים, ומייצר את התשובה טוקן אחרי טוקן. כל מה שקורה מאחורי הקלעים, מהשאלה ועד התשובה, נמדד ביחידה הזו. במילים פשוטות, זה אומר שטוקן הוא גם מה שנכנס וגם מה שיוצא.
למה אכפת לעסק מזה: שלושה דברים פרקטיים
הסיבה שכדאי להכיר את המילה הזו היא לא כדי להישמע מקצועי. היא כדי לקבל החלטות טובות יותר. הנה איפה זה נוגע בפועל:
- מחיר. כלים שמחייבים לפי שימוש, ובמיוחד כשמחברים AI דרך API, מתמחרים לפי טוקנים. בגלל זה דפי תמחור כותבים מספרים כמו "כך וכך דולר לכל מיליון טוקנים", בנפרד לטקסט שנכנס ולטקסט שיוצא. ככל שהבקשה והתשובה ארוכות יותר, נצרכים יותר טוקנים, והעלות עולה.
- זיכרון השיחה. לכל כלי AI יש גבול לכמה טקסט הוא יכול להחזיק בראש בו זמנית, וגם הוא נמדד בטוקנים. זה מה שנקרא חלון ההקשר. כשהשיחה נהיית ארוכה מאוד, הכלי מתחיל לשכוח את ההתחלה, פשוט כי כבר אין מקום.
- מהירות. יותר טוקנים זה יותר עבודה. שיחה עמוסה מאוד או מסמך ענק שמדביקים פנימה יכולים לגרום לתשובה לחזור לאט יותר.
כדי לקבל תחושת גודל: חלון הקשר של שני מיליון טוקנים, שמתחילים לראות במודלים החדשים, שווה בערך למיליון וחצי מילים, משהו כמו כמה ספרים שלמים שאפשר להחזיק בזיכרון בבת אחת. זה ממחיש כמה היחידה הקטנה הזו מצטברת לכמויות גדולות.
מי שרוצה להעמיק דווקא בנושא הזיכרון, כתבנו בנפרד בשפה פשוטה על מה זה חלון ההקשר ולמה ChatGPT לפעמים שוכח. וזה חלק מסדרה של מושגי יסוד, לצד הסברים כמו מה זה קונקטור ב-AI, שעוזרים להרכיב את התמונה בלי רקע טכני.
איך זה עוזר לקבל החלטות טובות יותר
ברגע שהמושג ברור, כמה דברים מתחילים להיות הגיוניים. אם מחיר של כלי נראה זול אבל מחושב לפי טוקנים, כדאי לבדוק כמה טקסט באמת עומדים להזין אליו בחודש, כי שם נקבעת העלות האמיתית. אם שיחה ארוכה התחילה לתת תשובות פחות מדויקות, לרוב עדיף לפתוח שיחה חדשה ולהדביק רק את מה שרלוונטי, במקום להמשיך לגרור הקשר ענק. ואם מדביקים מסמך עצום ומקבלים תשובה איטית, זה לא תקלה, זו פשוט כמות הטוקנים שעושה את שלה.
מאיפה מתחילים
הצעד הראשון קטן ממה שנדמה: בפעם הבאה שנכנסים לדף תמחור של כלי AI ורואים את המילה "טוקנים", במקום לדלג, אפשר לעצור רגע ולשאול שתי שאלות פשוטות. כמה טקסט אני בערך מזין בחודש, וכמה זה יוצא לי לפי המספר שכתוב כאן. עצם זה שהמילה כבר לא מפחידה הופך את כל דפי התמחור והמגבלות להרבה יותר ברורים, וזה כל מה שצריך כדי להתחיל לבחור כלים בראש שקט.
כתיבת תגובה