llms.txt: קובץ מדריך מוצע לאתרים ידידותיים ל-AI

במשך 20 שנה, robots.txt היה הדרך לתקשר עם זחלני מנועי החיפוש. הייתם מציבים אותו בשורש האתר כדי לומר ל-Google ול-Bing אילו עמודים לסרוק ואילו לדלג עליהם. היום גם עוזרי AI של OpenAI, Anthropic, Google ואחרות קוראים את הרשת, ויש להם צרכים שונים. llms.txt הוא הצעה לתקשר איתם.

ההצעה של llms.txt, שפורסמה ב-2024 על ידי ג'רמי הווארד (Jeremy Howard), ממייסדי Answer.AI, נועדה לעזור למודלי שפה להבין במה עוסק האתר שלכם ולמצוא את העמודים השימושיים ביותר שלו. במקום לאלץ מערכת AI לנחש אם האתר שלכם הוא חנות מקוונת, פרסום חדשותי או אתר תיעוד טכני, llms.txt אומר לה זאת במפורש. עקרונית, בהירות כזו עשויה לעזור למערכות AI לאחזר ולצטט את התוכן שלכם בצורה מדויקת יותר. זו עדיין הצעה ולא תקן מאומץ, ואף ספק AI לא התחייב להשתמש בה.

הבעיה ש-llms.txt פותר

למערכות AI יש בעיה מעשית. מודל שפה יכול לקרוא רק כמות מוגבלת של טקסט בכל פעם, וההפיכה של אתר שלם, על התפריטים, הסקריפטים והפרסומות שלו, לטקסט נקי ושמיש היא משימה קשה. כש-ChatGPT או Gemini צריכים לענות על שאלה בנוגע לאתר או למוצר שלכם, הם לא יודעים מה לתעדף. האם לקרוא את עמודי המוצר או את מאמרי הבלוג? איזה עמוד תיעוד הוא העמוד המרכזי? אילו עמודים הם נצחיים ואילו מיושנים? ללא הכוונה, מערכת AI עלולה לבזבז את ההקשר המוגבל שלה על עמודים בעלי ערך נמוך או לפספס תוכן חשוב.

robots.txt פתר בעיה אחרת עבור מנועי החיפוש. הוא אִפשר לחסום כתובות URL, להפנות זחלנים למפת האתר ולהגן על תקציב הזחילה שלכם. אבל robots.txt רק שולט בגישה; הוא לא מסביר את התוכן שלכם. למערכות AI יש צרכים שונים. מיקום הדירוג חשוב להן פחות, והבנה של התחומים שבהם אתם סמכות חשובה להן יותר.

llms.txt נועד לגשר על הפער הזה. הוא נותן למודלי שפה סיכום קצר של האתר שלכם ורשימה מאוצרת של העמודים המרכזיים שלכם. במקום שמערכת AI תצטרך להסיק שהאתר שלכם עוסק ב"פתרונות חיוב ל-SaaS", אתם יכולים לומר לה זאת ישירות. המטרה היא להקל על מציאת התוכן הטוב ביותר שלכם ועל השימוש בו. עדיין אין עדות לכך שהוא משפר את האינדוקס או את הסיכוי להיות מצוטטים בתשובות של AI.

מבנה ותחביר ליבה של llms.txt

הפורמט של llms.txt הוא Markdown פשוט, שקריא גם לבני אדם וגם למודלי שפה. הקובץ נמצא בשורש הדומיין שלכם (www.example.com/llms.txt) ופועל לפי סדר קבוע: כותרת, סיכום קצר, פרטים אופציונליים וקטעים של קישורים לעמודים המרכזיים שלכם. הנה דוגמה בסיסית:

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

התחביר פשוט בכוונה, כדי שגם בני אדם וגם מודלי שפה יוכלו לקרוא אותו. אתם מציינים מי אתם, מסכמים במה האתר עוסק ומצביעים על העמודים החשובים ביותר. בניגוד ל-robots.txt, ב-llms.txt אין הוראות התרה או חסימה: זה מדריך ולא כלל גישה, ואף ספק AI גדול לא התחייב לפעול לפיו.

אבני הבניין של קובץ llms.txt

כותרת H1 (האלמנט היחיד שהוא חובה) היא שם האתר או הפרויקט שלכם. שמרו עליה תמציתית ותיאורית. "Example SaaS Company" עדיף על "ברוכים הבאים לאתר שלנו."

סיכום בבלוק ציטוט הוא ה-elevator pitch שלכם לגבי מה שהאתר מכסה. היו ספציפיים לגבי תחום המומחיות שלכם. במקום "אנחנו כותבים על טכנולוגיה", כתבו "אנחנו מפרסמים מדריכים טכניים למפתחי Python, עם דגש על תכנות אסינכרוני, בדיקות ופריסה לייצור." הספציפיות הזו עוזרת למערכות AI להבין את הסמכות שלכם.

פרטים אופציונליים הם פסקאות או רשימות, ללא כותרות, שמוסיפים את ההקשר שמודל צריך כדי לקרוא את שאר הקובץ, כמו למי האתר מיועד או איך לפרש את העמודים המקושרים.

קטעי H2 מקבצים את הקישורים שלכם לפי נושא, כמו Docs, מוצרים או מדריכים. כל קטע הוא רשימת Markdown של קישורים לעמודים המרכזיים שלכם. בחרו את העמודים שהייתם רוצים שמודל יקרא קודם.

פריטי קישור בנויים בפורמט [שם העמוד](URL), ולאחריו אפשר להוסיף נקודתיים ותיאור קצר של העמוד. השתמשו בכתובת הקנונית של כל עמוד, בגרסה שאתם מעדיפים (עם www או בלעדיו).

הקטע Optional הוא H2 מיוחד בשם "Optional". אפשר לדלג על הקישורים שתחתיו כשנדרש הקשר קצר יותר, ולכן כאן ממקמים עמודים משניים.

מה אין בקובץ: ב-llms.txt אין שדות Allow, Disallow או Crawl-Delay, וגם לא שדות תאריך. הוא לא שולט בגישה או בסריקה; כללים אלה נשארים ב-robots.txt.

צעד נוסף: גרסאות Markdown של העמודים שלכם

מעבר לקובץ הבסיסי, ההצעה גם ממליצה להציע גרסת Markdown נקייה של כל עמוד שימושי למודלי שפה, זמינה באותה כתובת עם הסיומת .md (לדוגמה, www.example.com/docs/getting-started.md). הקישורים ב-llms.txt שלכם יכולים אז להצביע ישירות על הגרסאות האלה:

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

חלק מהאתרים מפרסמים גם קובץ llms-full.txt שמרכז את הטקסט המלא של העמודים המרכזיים שלהם בקובץ אחד, עבור כלים שרוצים הכול בבקשה אחת. זהו מנהג שנהוג באתרי תיעוד מסוימים ולא חלק חובה מההצעה. בשני המקרים המטרה זהה: פחות רעש למודל לקרוא.

llms.txt לעומת robots.txt: הבדלים מרכזיים

robots.txt הוא בעיקר מגביל: אתם אומרים לזחלנים לאן אסור להם להיכנס. llms.txt הוא בעיקר מידעי: אתם אומרים למודלי שפה במה האתר שלכם עוסק ואילו עמודים חשובים. robots.txt משתמש בשדה User-agent כדי לכוון לזחלנים ספציפיים, והזחלנים הגדולים מצייתים לו; ב-llms.txt אין שדה כזה, וספקי AI גדולים לא אישרו שהם קוראים אותו.

robots.txt משפיע ישירות על הנראות בחיפוש. אם אתם אוסרים על זחלנים לסרוק עמוד, הוא בדרך כלל לא ייסרק. ל-llms.txt אין השפעה על דירוגים מסורתיים, והשפעתו על הנראות ב-AI לא הוכחה. אם אתם משתמשים בו, השאירו את שני הקבצים באתר, לכל אחד התפקיד שלו.

בפועל, השתמשו ב-robots.txt כדי להחליט אילו זחלנים, כולל זחלני AI כמו GPTBot או ClaudeBot, רשאים לגשת לאילו חלקים באתר. השתמשו ב-llms.txt רק כדי להפנות מודלים לתוכן הטוב ביותר שלכם; הוא לא יכול להגביל דבר. לדוגמה:

robots.txt: חוסם את /checkout ואת /admin עבור הזחלנים שתבחרו (לדוגמה GPTBot)
llms.txt: מקשר רק לעמודי התיעוד, המדריכים והמוצרים שאתם רוצים שמודלים יקראו

שיטות עבודה מומלצות ליישום

צרו את קובץ llms.txt שלכם והציבו אותו בכתובת www.example.com/llms.txt. השתמשו בטקסט רגיל בקידוד UTF-8 עם עיצוב Markdown. ודאו שהשרת מגיש אותו עם כותרת Content-Type מסוג text/plain או text/markdown. בדקו אותו על ידי כניסה ישירה לכתובת בדפדפן; אתם אמורים לראות את הטקסט הגולמי. ודאו שהמבנה תואם את המפרט של llms.txt: כותרת H1, סיכום בבלוק ציטוט וקטעי H2 של קישורים.

כתבו תיאורים ברורים וספציפיים. אל תעתיקו סתם את הסלוגן של דף הבית. היו כנים לגבי מה שהאתר מכסה. אם אתם מפרסמים תוכן על 15 נושאים שונים, פרטו אותם. אם אתם ממוקדים מאוד, אמרו זאת. עבור מודל, תיאור כן וספציפי שימושי יותר מתיאור מעורפל. כללו מילות מפתח שמתארות את התחום או הענף שלכם. אם אתם אתר מסחר אלקטרוני, ציינו "מסחר אלקטרוני, מוצרים, תמחור". אם אתם חברת SaaS, ציינו "תוכנה, חיוב, אינטגרציות."

עדכנו את הקובץ בכל פעם שהעמודים המרכזיים שלכם משתנים. בפורמט אין שדה תאריך, ולכן האחריות לעדכון עליכם. אם המיקוד הנושאי של האתר משתנה באופן משמעותי, עדכנו את הסיכום ואת הקטעים. הגדירו תזכורת רבעונית לבדוק ולרענן את ה-llms.txt שלכם, במיוחד אם אתם יוצרים קטגוריות תוכן חדשות או מחדדים את המיצוב שלכם.

עקבו אחר האימוץ של llms.txt. חלק מפלטפורמות התיעוד וכלי המפתחים כבר מפרסמים קבצי llms.txt, אבל OpenAI, Anthropic ו-Google DeepMind לא התחייבו לקרוא אותו כשהן סורקות את הרשת. הוספה של קובץ כזה היא ניסוי בעלות נמוכה ולא ערובה לשום דבר.

llms.txt וחששות פרטיות

יש מי ששואלים אם llms.txt יכול לשלוט באופן שבו חברות AI משתמשות בתוכן שלהם. התשובה היא לא. חברות AI ותומכי פרטיות מתדיינים על האתיקה של סריקת הרשת ושל אימון מודלים. התקנים של חיפוש וסריקה מתפתחים כבר שני עשורים כדי לאזן בין גישה לכבוד ליוצרי תוכן. llms.txt הוא חלק מהשיחה הזו, אבל הוא תוכנן כדי לעזור למודלים למצוא את התוכן שלכם, לא כדי להגביל את השימוש בו.

אם אתם רוצים למנוע את השימוש בתוכן שלכם לאימון AI, llms.txt הוא הכלי הלא נכון: אין בו הוראה לכך. במקום זאת, השתמשו בכללי robots.txt עבור סוכני המשתמש (user agents) הרלוונטיים של AI, לדוגמה:

User-agent: GPTBot
Disallow: /

גם הציות ל-robots.txt הוא וולונטרי, אבל ספקי AI רציניים מפרסמים את שמות הזחלנים שלהם ואומרים שהם מכבדים אותו. אם אתם רוצים הגנה חזקה יותר, חסמו בוטים בהגדרות השרת או חומת האש שלכם. בינתיים אף אחד משני הקבצים אינו מנגנון משפטי. ככל שהרגולציה תתפתח ותקני התעשייה יתחזקו, ייתכן שייווצרו מנגנונים חזקים יותר.

מדידת השפעת llms.txt

קשה למדוד ROI של llms.txt, מכיוון שאף ספק AI לא אמר שהוא משתמש בקובץ. אבל אפשר לעקוב אחר אינדיקטורים. עקבו אחר ההזכרות והציטוטים שלכם ב-ChatGPT, Gemini, Claude ו-Perplexity לפני הוספת הקובץ ואחריה. אם אתם רואים עלייה בציטוטים, זהו מתאם ולא הוכחה שהקובץ גרם לכך, כי גורמים רבים אחרים משפיעים על ציטוטים. השוו את הצמיחה בציטוטים שלכם למתחרים שעוד לא יישמו את llms.txt.

השתמשו בכלים למעקב אחר הזכרות ב-AI כדי לכמת את הנראות שלכם בחיפוש AI. עקבו אחר מספר הפעמים שהתוכן שלכם מצוטט על ידי עוזרי ה-AI הגדולים. כך תוכלו לשפוט בעצמכם אם הוספת llms.txt משנה משהו עבור האתר שלכם.

עתידו של llms.txt

robots.txt הוגדר כתקן אינטרנט (RFC 9309) רק ב-2022, אחרי עשרות שנות שימוש. llms.txt עדיין בשלב ההצעה, וייתכן שילך באותו מסלול ואולי לא. אתרים בלי הקובץ אינם נענשים כיום, ואף פלטפורמת חיפוש AI גדולה לא אמרה שהיא בודקת את הקובץ.

מכיוון שיצירת הקובץ אורכת דקות ואינה עולה דבר, הוספת llms.txt היא ניסוי סביר ובסיכון נמוך, במיוחד לאתרים עתירי תיעוד. רק שמרו על ציפיות מציאותיות: זו הצעה, התועלת שלה לא הוכחה, ובדרך כלל הזמן שלכם מושקע טוב יותר באיכות התוכן, במבנה ובאותות שמערכות AI באמת נשענות עליהם.

איך להוסיף קובץ llms.txt ב-WordPress, ב-Shopify, ב-Webflow ובמערכות ניהול תוכן אחרות

קובץ llms.txt צריך להיות זמין בשורש הדומיין, בכתובת yourdomain.com/llms.txt, כטקסט פשוט. הדרך לשם תלויה במידת השליטה שמערכת ניהול התוכן נותנת לכם על קבצי השורש:

• אתרים באחסון עצמי ו-WordPress: העלו את הקובץ לתיקיית השורש דרך מנהל הקבצים של האחסון או ב-FTP. חלק מתוספי ה-SEO ל-WordPress יכולים גם ליצור ולהגיש אותו.
• פלטפורמות מאוחסנות שחוסמות העלאה לשורש (בוני אתרים ופלטפורמות מסחר רבים): השתמשו בהגדרה או באפליקציית llms.txt של הפלטפורמה אם קיימת; אחרת, ארחו את הקובץ במקום אחר והוסיפו הפניה מ-/llms.txt, ובדקו שהכתובת הסופית עדיין מחזירה טקסט פשוט.
• אתרים סטטיים ו-headless: שימו את llms.txt בתיקייה הציבורית כדי שיעלה בכל פריסה, וצרו אותו מחדש כשדפי המפתח משתנים.

כתבו את התוכן עם מחולל ה-llms.txt החינמי, ובדקו את הכתובת, סוג התוכן ומבנה ה-Markdown עם מאמת ה-llms.txt. מדריך ההתקנה שלנו צעד אחר צעד מפרט כל מקרה.

סיכום

llms.txt הוא קובץ מדריך מוצע ובעלות נמוכה לאתרים שרוצים לעזור למודלי שפה למצוא את התוכן הטוב ביותר שלהם. כשאתם מציבים את קובץ ה-Markdown הפשוט הזה בשורש הדומיין שלכם, אתם מתארים מה האתר מכסה ומקשרים לעמודים המרכזיים שלכם. הפורמט פשוט והיישום אורך דקות, אבל אף ספק AI לא התחייב להשתמש בו, ולכן התייחסו אליו כאל ניסוי ולא כאל דרישה. אם חשוב לכם להיות מצוטטים על ידי ChatGPT, Claude, Gemini ו-Perplexity, התמקדו קודם בתוכן ברור ומובנה היטב ובאותות חזקים ברחבי הרשת. השתמשו בכלי חקר מילות המפתח והגילוי של Sorank כדי לזהות אילו נושאים להדגיש בקובץ llms.txt שלכם.