בודק robots.txt - אמתו את התחביר ואת גישת סורקי הבינה המלאכותית

הכלי בודק robots.txt מאחזר ומנתח את קובץ ה-robots.txt של כל דומיין, מאמת את התחביר שלו ומדגיש הנחיות שמשפיעות על סורקי הבינה המלאכותית כמו GPTBot, PerplexityBot ו-Google-Extended. הזינו את הדומיין שלכם בכלי שלמעלה כדי לקבל ניתוח מיידי.

יסודות robots.txt ולמה סורקי הבינה המלאכותית משנים את התמונה

robots.txt הוא קובץ טקסט רגיל בשורש הדומיין שלכם, שמורה לסורקים לאילו נתיבים מותר או אסור להם לגשת. במשך שנים כתבו מנהלי אתרים כללים בעיקר עבור Googlebot ו-Bingbot. עליית החיפוש מבוסס הבינה המלאכותית הביאה מחלקה חדשה של בוטים, לכל אחד מהם user-agent משלו, שצריך להתיר או לחסום במפורש.

בין ה-user-agent הנפוצים של סורקי הבינה המלאכותית: GPTBot (OpenAI/ChatGPT), PerplexityBot (Perplexity), Google-Extended (אימון הבינה המלאכותית של גוגל ותכונות Gemini), ClaudeBot (Anthropic) ו-OAI-SearchBot (חיפוש האינטרנט של OpenAI). אם ה-robots.txt שלכם משתמש ב-Disallow: / גורף עבור User-agent: *, הוא חוסם את כולם, אלא אם הותרו בנפרד.

מה הכלי שלמעלה בודק

• תקינות התחביר: מאתר הנחיות פגומות, שורות ריקות חסרות בין בלוקים של user-agent ושדות שאינם נתמכים.
• גישת הבוטים של הבינה המלאכותית: לכל סורק מרכזי, הכלי מדווח אם הוא מורשה, מורשה חלקית או חסום לגמרי.
• הנחיות Crawl-delay: השהיות מוגזמות מאטות את האינדוקס בבינה המלאכותית; הכלי מסמן ערכים שחורגים מהספים המומלצים.
• הצהרות Sitemap: בודק שקיימת שורת Sitemap שמפנה לקובץ sitemap תקין בפורמט XML.
• תבניות תווים כלליים: מאמת את השימוש ב-* וב-$, שמנתחים שונים מפרשים באופן שונה.
• כללים סותרים: כשכלל ספציפי סותר כלל רחב יותר, הכלי מסביר איזו הנחיה גוברת.

כיצד לפרש את התוצאות ולפעול

• אם GPTBot או PerplexityBot חסומים: החליטו אם זה מכוון. אם אתם רוצים נראות בחיפוש מבוסס הבינה המלאכותית, הוסיפו Allow: / מפורש בבלוק ה-user-agent שלהם או הסירו את החסימה הגורפת.
• אם Google-Extended חסום: העמודים שלכם עלולים להיות מוחרגים מהידע של Gemini ומתכונות שנשענות על מאגר האימון של גוגל. שקלו את ההשלכות בזהירות.
• אל תסירו את כל ההגבלות באופן עיוור. חסימת גורפי תוכן וגנבי תוכן היא לגיטימית. מקדו את ההגבלות: חסמו בוטים או נתיבים ספציפיים, לא את כל הסורקים.
• אחרי כל שינוי, הריצו שוב את הכלי שלמעלה כדי לוודא שהשינוי הוחל נכון, לפני שהוא עולה לאוויר.
• שלבו את robots.txt עם קובץ llms.txt בנוי היטב, כדי לתת לסורקי הבינה המלאכותית גם הרשאה וגם מפת ניווט.

נקודת ייחוס: בוט אחד חסום, פלטפורמה שלמה שלא רואה אתכם

תוצאות AI Overviews מופיעות כיום בכ-31% מהשאילתות בגוגל. שורת Disallow שגויה אחת שמכוונת ל-Google-Extended יכולה להוציא את העמודים שלכם ממאגר התשובות של Gemini לחלוטין. באותו אופן, חסימת GPTBot פירושה שתכונת גלישת האינטרנט של ChatGPT אינה יכולה לקרוא את התוכן שלכם בזמן הסריקה. העלות אינה סימטרית: תיקון כלל ב-robots.txt אורך דקות, ושחזור נראות אבודה בבינה המלאכותית אורך שבועות.

למעקב שוטף אחר הנוכחות של המותג שלכם בתשובות הבינה המלאכותית בכל המערכות המרכזיות, Sorank עוקבת אחר הציטוטים והנראות באופן אוטומטי.