איך ChatGPT עובד? מהאימון ועד חיפוש ברשת וציטוט מקורות

הבנה של איך ChatGPT עובד מסבירה גם את החוזקות שלו וגם את הטעויות שלו, ומראה מה הופך אתר למועמד לציטוט בתשובות שלו. OpenAI השיקה את ChatGPT בנובמבר 2022; השם מגיע מ-GPT, ‏Generative Pre-trained Transformer.

איזה מודל עומד מאחורי ChatGPT?

ChatGPT פועל על מודל שפה גדול (LLM). LLM הוא מודל סטטיסטי עם מיליארדי פרמטרים שלמד מתוך טקסטים את הקשרים בין מילים, עובדות וסגנונות. הוא שומר דפוסים שנלמדו מהטקסטים האלה ומשתמש בהם כדי להפיק המשך סביר לכל טקסט; הדפים עצמם אינם נשמרים כפי שהם.

הארכיטקטורה היא ה-transformer, שהוצגה על ידי חוקרי Google במאמר Attention Is All You Need ב-2017. המנגנון המרכזי שלה, attention, מאפשר למודל לשקלל כל מילה בקלט מול כל המילים האחרות, וכך הוא מבין ש"הוא" מתייחס לשם עצם שהופיע שלוש שורות קודם.

איך ChatGPT אומן?

1. אימון מקדים

המודל קורא אוסף עצום של טקסטים (דפי אינטרנט ציבוריים, ספרים, קוד, נתונים ברישיון) ולומד משימה אחת: לחזות את הטוקן הבא. כשהמשימה הפשוטה הזו חוזרת מיליארדי פעמים, היא מאלצת אותו ללמוד דקדוק, עובדות, דפוסי חשיבה ושפות רבות. התוצאה היא חוזה טקסט חזק שעדיין לא ממלא הוראות היטב.

2. כוונון מפוקח

אנשים כותבים דוגמאות לתשובות טובות לבקשות, והמודל מאומן לחקות אותן. הוא לומד את המבנה של עוזר מועיל: לענות על השאלה, לארגן את התשובה, לבקש הבהרה כשצריך.

3. למידת חיזוק ממשוב אנושי

מעריכים משווים כמה תשובות לאותה בקשה ומדרגים אותן. מודל תגמול לומד את ההעדפות האלה, ואז מודל השפה עובר אופטימיזציה כדי להפיק תשובות שמקבלות ציון גבוה. OpenAI תיארה את השיטה הזו, שנקראת RLHF, במאמר המחקר על InstructGPT. זה מה שהופך את ChatGPT למנומס, מסודר וזהיר יותר מול בקשות מזיקות.

מה קורה כששולחים הודעה?

טוקנים וחלון ההקשר

טוקן הוא פיסת טקסט: באנגלית טוקן אחד הוא בממוצע כארבעה תווים, או שלושה רבעים של מילה; בעברית מילה צורכת לרוב יותר טוקנים. חלון ההקשר הוא מספר הטוקנים שהמודל יכול לשקול בבת אחת, כולל השיחה, מסמכים ודפי אינטרנט שהוא קורא. כששיחה מתארכת מדי, החלקים הישנים ביותר יוצאים מהטווח.

יצירה מילה אחר מילה

בכל שלב המודל מחשב הסתברות לכל טוקן אפשרי ובוחר אחד, עם מידה מבוקרת של אקראיות. לכן אותה שאלה יכולה לקבל תשובות מעט שונות, ולכן ChatGPT כותב ברהיטות גם כשהוא טועה: הוא מכוון להמשך סביר, בלי לבדוק עובדות מול מקור.

איך ChatGPT מחפש ברשת ומצטט מקורות?

מודל מכיר רק את נתוני האימון שלו, עד תאריך חיתוך. כדי לענות על אירועים עדכניים, מחירים או מוצרים, ChatGPT יכול להריץ חיפוש ברשת. OpenAI הכריזה על היכולת הזו בשם ChatGPT search באוקטובר 2024. העוזר מנסח מחדש את השאלה שלכם לשאילתה אחת או יותר, מקבל תוצאות מספקי חיפוש ומהסורק של OpenAI עצמה, קורא את הדפים וכותב תשובה עם קישורים למקורות.

השיטה הזו נקראת יצירה מועשרת באחזור (RAG): המודל מפיק טקסט שמבוסס על מסמכים שהוא אחזר זה עתה. OpenAI מתעדת את הסורקים שלה בפלטפורמת המפתחים: OAI-SearchBot לחיפוש, GPTBot לאימון ו-ChatGPT-User לדפים שנפתחים בשם משתמש. לפי OpenAI, אתרים שחוסמים את OAI-SearchBot בקובץ robots.txt אינם מוצגים בתשובות של ChatGPT search.

מהן המגבלות של ChatGPT?

• הזיות: הוא יכול לטעון בביטחון עובדות שגויות, ציטוטים מומצאים או מקורות שאינם קיימים, כי הוא חוזה טקסט סביר.
• תאריך חיתוך: בלי חיפוש ברשת הוא לא יודע דבר על מה שקרה אחרי נתוני האימון.
• מגבלות הקשר: מסמכים או שיחות ארוכים מאוד חורגים ממה שהוא יכול לשקול בבת אחת.
• רגישות לניסוח: בקשה מנוסחת מעט אחרת יכולה להניב תשובה אחרת, או רשימה אחרת של מותגים מומלצים.
• בחירת מקורות: כשהוא מחפש הוא קורא רק קומץ דפים, ולכן חשוב להיות ביניהם.

מה המשמעות עבור מי שרוצה להיות מצוטט ב-ChatGPT?

הבנת התהליך נותנת רשימת בדיקה ברורה לכל מותג שרוצה להופיע בתשובות של ChatGPT:

1. לאפשר לסורקים להיכנס: אפשרו את OAI-SearchBot בקובץ robots.txt והגישו תוכן ב-HTML שעובד בלי JavaScript כבד.
2. להתברג בחיפוש הקלאסי: ChatGPT search מתחיל מתוצאות חיפוש, ולכן דפים שמדורגים היטב בשאילתות הבסיסיות נקראים בסבירות גבוהה יותר.
3. לכתוב קטעים שקל לשלוף: תשובה ישירה מתחת לכל כותרת, פסקאות קצרות ועצמאיות, הגדרות, טבלאות ונתונים עם מקור.
4. להיות נוכחים איפה שהוא קורא: ביקורות, כתבות השוואה, פורומים, כלי תקשורת וויקיפדיה מעצבים את מה שהמודל אומר על המותג שלכם, גם בנתוני האימון וגם בחיפוש בזמן אמת.
5. לשמור על עקביות: אותו שם, אותו תיאור ואותן עובדות באתר ובפרופילים חיצוניים עוזרים למודל לזהות את המותג שלכם כישות אחת.
6. למדוד: שאלו את השאלות שהלקוחות שלכם שואלים ובדקו אם אתם מצוטטים. בודק הנראות ב-ChatGPT החינמי נותן תשובה ראשונה בתוך דקה.

ChatGPT חוזה טקסט ממה שלמד, ובשאלות עדכניות גם מהדפים המעטים שהוא בוחר לקרוא: המותגים שהוא מצטט הם אלה שהדפים שלהם קלים למציאה, קלים לשליפה ומאושרים על ידי מקורות אחרים. כדי לעקוב לאורך זמן אחר הנוכחות שלכם ב-ChatGPT, Gemini ו-Claude ולפרסם תוכן שנבנה כדי להיות מצוטט, Sorank עוקבת אחר הפרומפטים שלכם וכותבת מאמרים מותאמים במצב autopilot, עם 3 ימי ניסיון חינם.