העדפות
הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף
הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף
טוקנים הם היחידות הקטנות של טקסט שמודלים של AI קוראים ומייצרים. גלו כיצד פועל תהליך הטוקניזציה ומדוע טוקנים משפיעים על העלות והקשר.
.webp){kind=small}
.webp){kind=small}
טוקנים הם היחידות הבסיסיות שמודלי שפה של AI קוראים ומייצרים. לפני שמודל יכול לעבוד עם הטקסט שלכם, טוקנייזר מפצל את הטקסט הזה לטוקנים, שיכולים להיות מילים שלמות, שברי מילים, תווים בודדים או סימני פיסוק. המודל לעולם לא רואה אותיות גולמיות כפי שאנחנו רואים; הוא רואה רצף של טוקנים, לומד את הקשרים הסטטיסטיים ביניהם, ומייצר את תשובותיו טוקן אחר טוקן.
טוקן הוא רצף נפוץ של תווים הנלקח מאוצר מילים קבוע שעליו אומן המודל. קבוצת כל הטוקנים הייחודיים שהמודל מכיר היא אוצר המילים שלו, שיכול למנות אלפי רבים של ערכים. חלק מהטוקנים הם מילים שלמות, אחרים הם שברים, והתמהיל הנכון תלוי באופן שבו נבנה הטוקנייזר.
דוגמה פשוטה ממחישה את הרעיון. המשפט "I heard a dog bark loudly at a cat" עשוי להתפצל למילים עצמן כטוקנים נפרדים, בעוד שמילה ארוכה יותר כמו "darkness" יכולה להתפצל ל-"dark" ו-"ness". מכיוון שהמודל פועל על השברים הללו, מספר הטוקנים בקטע טקסט לעיתים רחוקות תואם את מספר המילים, וזו ההפתעה הראשונה שרוב האנשים נתקלים בה כשהם בוחנים את הנושא מקרוב.
קיימים שלושה סגנונות עיקריים של טוקניזציה: לפי מילים, לפי תווים, ולפי תת-מילים. טוקניזציה לפי מילים מפצלת לפי תווי הפרדה, טוקניזציה לפי תווים מפרקת את הטקסט לאותיות בודדות, וטוקניזציה לפי תת-מילים נמצאת בתווך, ומפצלת את הטקסט לחלקי מילים. רוב המודלים המודרניים, כולל משפחת GPT, משתמשים בשיטת תת-מילים הנקראת byte pair encoding, המאזנת בין גודל אוצר המילים לבין הגמישות.
הפשרה כאן אמיתית. טוקנים קטנים יותר מאפשרים למודל להתמודד עם מילים לא מוכרות, שגיאות כתיב ותחביר מורכב, אך הם הופכים קטע טקסט נתון ליותר טוקנים, מה שמצריך יותר כוח חישוב ומשאיר פחות מקום בתוך מגבלה קבועה. טוקנים גדולים יותר יעילים יותר לקטע טקסט אך דורשים אוצר מילים גדול יותר ומתקשים עם מילים נדירות. שלב הטוקניזציה הזה הוא הבסיס לעיבוד שפה טבעית במערכות מודרניות.
לאחר שהטקסט עבר טוקניזציה, המודל מקצה לכל טוקן ייחודי מזהה מספרי, כך שמשפט הופך לרצף של מספרים. מזהים אלה ממופים לאחר מכן לembeddings, שהם וקטורים מספריים רב-ערכיים שלוכדים באיזו תדירות טוקנים מופיעים יחד או בהקשרים דומים. Embeddings הם האופן שבו המודל מייצג משמעות ולא רק איות.
היצירה היא איטרטיבית. כדי לייצר פלט, המודל מנבא וקטור עבור הטוקן הבא, בוחר את הטוקן הסביר ביותר מתוך אוצר המילים שלו, מוסיף אותו לרצף, וחוזר על התהליך, ובכך בונה את התשובה טוקן אחר טוקן. הניבוי הזה, שלב אחר שלב, הוא לולאת הליבה של כל LLM, והוא מסביר מדוע פלטים ארוכים יותר לוקחים יותר זמן ועולים יותר לייצור במהלך הסקת AI.
טוקנים הם גם יחידת האימון. במהלך האימון המקדים, המודל נחשף לרצפים עצומים של טוקנים ולומד לנבא את הטוקן הבא, ומשפר את דיוקו לאורך איטרציות רבות. מערכי נתוני אימון נמדדים בטוקנים, לעיתים קרובות מיליארדים או טריליונים מהם, וחוקי קנה המידה מקשרים בין נפח טוקנים גדול יותר לבין איכות מודל טובה יותר.
זו הסיבה שאנשים לפעמים מכנים את הטוקנים "המטבע של AI". באימון, טוקנים מייצגים השקעה באינטליגנציה של המודל, ובהסקה הם מניעים גם את העלות וגם את ההכנסה. אותה יחידה שמודדת כמה המודל למד גם מודדת כמה עולה להשתמש בו, וכך קושרת את הכלכלה של נתוני אימון AI ישירות לטוקנים.
לכל מודל יש מספר מקסימלי של טוקנים שהוא יכול להתמודד איתם בבת אחת, המבוטא בדרך כלל כחלון הקשר משולב המכסה גם קלט וגם פלט. אם למודל יש חלון הקשר של 100 טוקנים והקלט שלכם משתמש בתשעה, נותרים 91 עבור התגובה. בחרו טוקניזציה מפורטת יותר, ואותו קלט עלול לצרוך חלק גדול בהרבה מהתקציב.
למגבלה הזו יש השלכות ממשיות. מסמך ארוך או שיחה ארוכה עם תורות רבים עלולים לחרוג מהחלון, ולאלץ את המודל להשמיט או לדחוס תוכן קודם ולאבד עקבות של פרטים. חלונות הקשר גדולים יותר מקלים על כך, ומאפשרים למודל להסיק מסקנות על פני קלטים ארוכים ולהישאר עקבי, וזו הסיבה שגודל חלון ההקשר הוא מפרט מרכזי עבור כל מודל.
מכיוון שטוקנים הם יחידת העבודה, הם גם יחידת החיוב. רוב הספקים גובים תשלום לפי טוקן ומתמחרים קלט ופלט בנפרד, כאשר טוקני פלט עולים לרוב יותר. בקשה ששולחת פרומפט קצר אך מבקשת תשובה ארוכה עשויה להיות מושפעת בעיקר מעלות הפלט, בעוד שסיכום מסמך גדול מטה את המאזן לכיוון עלות הקלט.
ספקים גם אוכפים מגבלות קצב המבוטאות בטוקנים לדקה, המעצבות את מהירות הפעולה של אפליקציה. המשמעות המעשית היא שיעילות הטוקנים חשובה: פרומפטים תמציתיים, אורך פלט מבוקר וניהול הקשר קפדני, כל אלה מפחיתים עלות והשהיה. האופטימיזציה כאן יכולה להיות דרמטית, כאשר צוותים מסוימים מדווחים על הפחתות עלות גדולות לטוקן באמצעות הנדסה טובה יותר, וזוהי דאגה ממשית בעת תכנון תהליכי מחקר מילות מפתח ותכנון תוכן הקוראים ל-AI בקנה מידה גדול.
טוקנים אינם מוגבלים לטקסט. מודלים מולטימודליים מודרניים ממירים תמונות לטוקנים חזותיים, קול לטוקני שמע, ווידאו לרצפים שהמודל יכול לעבד באותו אופן שבו הוא מעבד מילים. הייצוג המשותף הזה הוא מה שמאפשר למערכת אחת להתמודד עם טקסט, תמונות ושמע יחד, ומתקנן קלטים מגוונים לרצפי טוקנים.
עבור אופטימיזציה למנועים גנרטיביים, טוקנים מסבירים כיצד AI קורא את הדפים שלכם. מודלים קולטים את התוכן שלכם כטוקנים, מתאימים אותו לתוך חלון הקשר לצד שאילתה, ומייצרים תשובה טוקן אחר טוקן, מה שמתגמל תוכן שהוא ברור וקל לפירוק לחלקים. מבנה דפים כך שעובדות מרכזיות יהיו תמציתיות ועצמאיות עוזר למודל לייצג אותן בתוך תקציב הטוקנים שלו, וזו הסיבה שתוכן מוכן ל-LLM ואסטרטגיית תוכן AI איתנה משתלמים בתשובות AI.
טוקנים הם אבני הבניין של עיבוד השפה ב-AI: המילים, תת-המילים והתווים שטוקנייזר מייצר, שכל אחד מהם ממופה למזהה ול-embedding שהמודל משתמש בהם כדי לקרוא וליצור טקסט. הם גם המטבע של AI, מודדים את קנה המידה של האימון, מגדירים את חלון ההקשר, וקובעים את המחיר של כל בקשה. הבנתם מבהירה מדוע תוכן תמציתי ובנוי היטב קל וזול יותר למודלים להשתמש בו.
לעניין הנראות, הלקח הוא ש-AI רואה את התוכן שלכם כטוקנים, כך שבהירות ומבנה עוזרים לו להתאים, להבין ולצטט אתכם. שלבו תוכן מוכן ל-LLM איתן עם אסטרטגיית תוכן AI ברורה, והשתמשו בכלי המחקר ותכנון התוכן של Sorank כדי לתכנן תוכן ש-AI קורא ביעילות. מקורות התייחסות: NVIDIA וMicrosoft Learn.
אין כלל קבוע, אך קירוב נפוץ בקרב מפתחים הוא כטוקן אחד לכל ארבעה תווים של טקסט באנגלית, או בערך שלושת רבעי ממילה. מילים קצרות ונפוצות הן בדרך כלל טוקן בודד, בעוד שמילים ארוכות או נדירות יותר מתפצלות למספר טוקני תת-מילה. סימני פיסוק ורווחים גם הם נספרים, כך שלמשפט כמעט תמיד יש יותר טוקנים ממספר המילים שבו.
רוב ספקי ה-AI גובים תשלום לפי טוקן, ובדרך כלל הם מתמחרים טוקני קלט וטוקני פלט בנפרד, כאשר הפלט יקר יותר לעיתים קרובות. המשמעות היא שגם פרומפט ארוך וגם תשובה ארוכה מוסיפים לחשבון. מכיוון שהעלות עולה ביחס למספר הטוקנים, כתיבת פרומפטים תמציתיים וניהול היקף הייצור של המודל הם דרכים מעשיות לשלוט בהוצאות.
חלון ההקשר הוא המספר המקסימלי של טוקנים שמודל יכול להחזיק בבת אחת, ומכסה גם את הקלט שאתם שולחים וגם את הפלט שהוא מייצר. אם שיחה או מסמך חורגים מהמגבלה הזו, המודל נאלץ להשמיט או לדחוס טוקנים קודמים, מה שעלול לעלות לו בהקשר חשוב. חלון הקשר גדול יותר מאפשר למודל לעבוד עם קלטים ארוכים יותר ולהישאר עקבי לאורך חילופי דברים ארוכים יותר.
.svg)
.svg)
