העדפות
הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף
הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף
Robots.txt לסורקי AI: ה-User agents של OpenAI, Anthropic, Perplexity וגוגל, מה כל אחד עושה, ותצורה שמשאירה אתכם ניתנים לציטוט.
סכמו את המאמר בעזרת בינה מלאכותית
קובץ robots.txt לסורקי AI הפך להחלטה עסקית ולא רק לקובץ טכני. אותו קובץ שפעם דיבר רק עם Googlebot מחליט היום אם ChatGPT, Claude, Perplexity ו-Gemini יכולים לקרוא, לצטט ולקשר לדפים שלכם. הפורמט עצמו לא השתנה: זהו עדיין פרוטוקול החרגת הרובוטים שתוקנן כ-RFC 9309, עם שורות User-agent, Allow ו-Disallow. מה שהשתנה הוא מספר הסוכנים, והעובדה שספק אחד מפעיל כמה בוטים למטרות שונות.
רוב ספקי ה-AI מפרידים היום בין אימון, אינדוקס לחיפוש וגישה ביוזמת משתמש באמצעות User agents שונים. הטבלה מסכמת את העיקריים לפי התיעוד של כל ספק.
| ספק | User agent | מטרה | השפעת החסימה |
|---|---|---|---|
| OpenAI | GPTBot | נתוני אימון למודלים של OpenAI | התוכן לא ישמש לאימונים עתידיים |
| OpenAI | OAI-SearchBot | אינדוקס לחיפוש של ChatGPT | הדפים עלולים לא להופיע כמקורות בחיפוש של ChatGPT |
| OpenAI | ChatGPT-User | דפים שמשתמש מבקש מ-ChatGPT לפתוח | ChatGPT לא יוכל לפתוח את הדף לפי בקשה |
| Anthropic | ClaudeBot | נתוני אימון למודלי Claude | התוכן לא ישמש לאימונים עתידיים |
| Anthropic | Claude-SearchBot, Claude-User | איכות חיפוש וגישה לפי בקשה | פחות נראות בתשובות של Claude שמחפשות ברשת |
| Perplexity | PerplexityBot, Perplexity-User | אינדקס חיפוש וגישה לפי בקשה | סיכוי נמוך יותר לציטוט ב-Perplexity |
| Googlebot | חיפוש Google, כולל AI Overviews ומצב AI | יציאה מלאה מהחיפוש | |
| Google-Extended (אסימון) | שימוש בתוכן למודלי Gemini ולעיגון מחוץ לחיפוש | אין השפעה על הדירוג | |
| Apple | Applebot-Extended (אסימון) | שימוש בתוכן למודלים הגנרטיביים של Apple | Applebot ממשיך לסרוק עבור Siri ו-Spotlight |
| Common Crawl | CCBot | ארכיון פתוח של הרשת שמערכי נתונים רבים של AI משתמשים בו | התוכן ייעדר מסריקות עתידיות של הארכיון |
מקורות: תיעוד הסורקים של OpenAI ורשימת הסורקים הנפוצים של גוגל. השמות משתנים מדי פעם, לכן בדקו את דף כל ספק לפני שאתם עורכים את הקובץ. הערכים במילון שלנו על סורקי AI ועל הסורקים של OpenAI מספקים את ההגדרות הקצרות.
לרוב העסקים שמחפשים לקוחות, לא: חסמו אימון אם חייבים, והשאירו את סורקי החיפוש פתוחים. השיקול תלוי במה שאתם מוכרים:
קבוצות מפורשות לכל User agent, בוטי חיפוש מאושרים ובחירה ברורה לגבי בוטי אימון. דוגמה לעסק שרוצה נראות ב-AI בלי להזין אימון:
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xmlהסירו את הקבוצה השנייה אם אתם מסכימים שהתוכן ישמש לאימון. מחולל ה-robots.txt החינמי שלנו בונה את הקובץ, ובודק ה-robots.txt מראה אילו סוכנים קובץ חי באמת מאפשר.
הנפוצה ביותר היא כלל גורף שהועתק מפורום. טעויות שכיחות:
לא, הוא רק פותח את הדלת. כשהסורקים יכולים לקרוא את הדפים, הציטוט תלוי בכך שהדפים עונים בבירור על שאלות, בנויים לחילוץ ומאושרים במקורות אחרים. נתונים מובנים לחיפוש AI, סעיפים שעונים מיד וקובץ llms.txt אופציונלי עוזרים בשלב הבא.
התייחסו לכל סורק AI כהחלטה נפרדת: פתחו את בוטי החיפוש והגישה, בחרו במודע לגבי בוטי האימון וודאו שהשרת מיישם את אותה מדיניות. לאחר מכן מדדו אם הדלת הפתוחה הופכת לציטוטים. Sorank עוקב אחר המותג שלכם ב-ChatGPT, Claude ו-Gemini מדי שבוע ומפרסם תוכן שבנוי כדי להיות מצוטט: התחילו עם 3 ימי ניסיון חינם.
לא לבד. GPTBot אוסף נתונים לאימון המודלים של OpenAI. החיפוש של ChatGPT נשען על סורק אחר, OAI-SearchBot, ועל ChatGPT-User עבור דפים שמשתמש מבקש לפתוח. חסימה של GPTBot בלבד מגבילה שימוש לאימון ומשאירה את הדפים שלכם זכאים להופיע ולקבל קישור בחיפוש של ChatGPT.
לא. Google-Extended הוא אסימון ב-robots.txt ולא סורק נפרד, וגוגל מציינת שאין לו השפעה על הכללה או דירוג בחיפוש. AI Overviews ומצב AI הם חלק מהחיפוש ומשתמשים ב-Googlebot. Google-Extended קובע אם התוכן שלכם ישמש את מודלי Gemini ועיגון מחוץ לחיפוש.
הספקים הגדולים מתעדים את ה-User agents שלהם ומצהירים שהסורקים מכבדים את robots.txt, עם הסתייגויות לגבי גישה שמשתמש יוזם ישירות. על חלק מהבוטים הפחות שקופים דווח שהם מתעלמים ממנו. לחסימה הדוקה, שלבו את robots.txt עם כללי שרת או חומת אש לפי User agent וטווחי IP שפורסמו.
מחולל llms.txt
בודק Sitemap
ממיר עמודי אינטרנט ל-Markdown
מונה מיליםמחולל Schema
תצוגה מקדימה של Open Graph
כלי לדחיסת תמונותכלי לניתוח קישורים נכנסים
חיישן תנודתיות בתוצאות החיפוש
מחולל כתובות URLמחולל תגיות מטאכלי מחקר מילות מפתחבדיקת SEO בעמוד
מחלץ כתובות URL
בודק גודל עמודמחולל robots.txtמחולל Faviconבודק סמכות דומייןהם ניסו את Sorank לפניכם
“אנחנו סוכנות פרסום (Ads) ורצינו סוף סוף להחזיר את ה-SEO שלנו למסלול. Sorank נתנה לנו תמונה ברורה של האתר שלנו, עזרה לנו לתעדף אופטימיזציות ולבנות נכון את התוכן. הכלי קל לשימוש, מעוצב היטב לעבודת צוות, ומאוד מעשי לריכוז המעקב בלי לקפוץ בין מספר פלטפורמות. בסיס איתן מאוד לפתיחת דף חדש עם ה-SEO שלנו.”
Gaspard Madouiסוכנות פרסום (Ads)“במשך שנתיים, 100% מהלקוחות שלי הגיעו מ-LinkedIn. פרסום יומי, תגובות, מעקבים בהודעות פרטיות... תלות מוחלטת באלגוריתם. ידעתי שאני צריך לעבוד על SEO אבל תמיד דחיתי את זה: ארוך מדי, טכני מדי, לא התחום שלי. עם Sorank, סוף סוף עשיתי את הצעד. בתוך 4 חודשים, אני מייצר 15 לידים אורגניים בחודש בלי לפרסם כלום. זה עדיין לא 50/50 מול LinkedIn, אבל אני ישן טוב יותר בידיעה שיש לי עכשיו מקור לידים שני שגדל באופן אוטומטי.”
Valentin Thomyסוכנות ColdMailing
“פשוט נתתי לתוכנה של Sorank לעשות את שלה, ועכשיו ציון DR של האתר שלי הוא 25 והדף שלי מדורג גבוה יותר.”
Lucas FlandrePodcast Host“פתרון מצוין לניהול SEO בלי כאב ראש. הביקורות מהירות, הממשק ברור, ואתה רואה במהירות אילו פעולות ליישם. זה הפך לכלי חיוני למעקב ולשיפור ה-SEO של האתרים שלי. ממליץ בחום.”
Xavיזם
