חסום על ידי robots.txt: מה המשמעות של הסטטוס ב-Search Console ואיך מתקנים אותו

הסטטוס חסום על ידי robots.txt מופיע בדוח הוספת הדפים לאינדקס של Google Search Console, בין הסיבות לכך שדפים לא נוספו לאינדקס. התיעוד של דוח הוספת הדפים לאינדקס מתאר אותו בשורה אחת: הדף נחסם על ידי קובץ robots.txt של האתר. מאחורי השורה הזו מסתתרים שני מצבים שונים מאוד, חסימה תקינה וחסימה בטעות, ובנוסף קרוב משפחה מבלבל: "נוסף לאינדקס למרות החסימה על ידי robots.txt". המדריך הזה מראה איך להבחין ביניהם ולתקן כל אחד בלי לשבור שום דבר אחר. אם הקובץ עצמו חדש לכם, התחילו מההגדרה שלנו ל-robots.txt.

מה המשמעות של "חסום על ידי robots.txt" ב-Search Console?

קובץ robots.txt נמצא בשורש המארח (example.co.il/robots.txt) ומודיע לסורקים אילו נתיבים מותר להם לאחזר. כש-Googlebot מוצא כתובת URL, דרך קישור או מפת אתר, הוא בודק קודם את הקובץ. אם כלל Disallow תואם לנתיב עבור ה-user-agent שלו, הוא לא מאחזר את הדף. Search Console מציג אז את הכתובת תחת "חסום על ידי robots.txt".

יש לכך שתי השלכות. Google לא רואה את התוכן, הכותרת, הקישורים הפנימיים או תגי המטא של הדף. ומכיוון שהוא אף פעם לא קורא את הדף, הוא גם לא רואה תג noindex. הסטטוס מופיע כסיבה לאי-הוספה לאינדקס, ולרוב האתרים הוא אינפורמטיבי בלבד: Google עצמו מציין שכתובות שנחסמו ב-robots.txt נחסמו כנראה בכוונה.

הבעיה מתחילה כשהרשימה כוללת דפים שאתם רוצים לראות ב-Google: דפי מוצר, מאמרים, קטגוריות או האתר כולו אחרי הסבה. במקרה כזה החסימה היא סיבה ישירה לאתר שלא מופיע ב-Google, ואחת הבעיות הטכניות המהירות ביותר לתיקון.

"חסום על ידי robots.txt" או "נוסף לאינדקס למרות החסימה"?

הסטטוס השני נראה סותר, והוא זה שמדאיג את בעלי האתרים יותר מכול. המבוא של Google ל-robots.txt מסביר: robots.txt אינו מנגנון להרחקת דף מ-Google. אם דפים אחרים מקשרים לכתובת חסומה, Google יכול להוסיף את הכתובת עצמה לאינדקס בלי לסרוק אותה. התוצאה מציגה אז את הכתובת בלי תיאור, כי Google מעולם לא קרא את הטקסט.

המפתח הוא להחליט קודם מה אתם רוצים לכל כתובת: באינדקס או מחוץ לאינדקס. robots.txt עונה על שאלה אחרת (נסרק או לא נסרק), והערבוב בין השתיים הוא מקור רוב הטעויות.

למה הדפים שלכם חסומים על ידי robots.txt?

רוב החסימות בטעות נובעות מכמה סיבות. בדקו אותן בסדר הזה:

• כלל מסביבת הבדיקות שעלה לייצור. Disallow: / מגן על אתר בדיקות, עולה יחד עם ההשקה וחוסם הכול.
• הגדרה במערכת ניהול התוכן. ב-WordPress יש אפשרות "בקשה ממנועי חיפוש לא לאנדקס את האתר"; לפלטפורמות אחרות יש מתגים דומים שעורכים את robots.txt או מוסיפים כותרות.
• כלל רחב מהמתוכנן. Disallow: /p חוסם את /products/ ואת /pricing/ בדיוק כמו את /p/. כללי robots.txt מתאימים לתחילת הנתיב.
• תווים כלליים. * תואם כל רצף תווים ו-$ מסמן את סוף הכתובת. Disallow: /*? חוסם כל כתובת עם פרמטר, כולל דפי עימוד או סינון שאתם רוצים באינדקס.
• משאבים חסומים. חסימה של /assets/ או /wp-includes/ מסתירה את קובצי ה-CSS וה-JavaScript ש-Google צריך כדי לעבד את הדף, ופוגעת בהבנת התוכן שלכם.
• הסבת אתר. הנתיבים משתנים, קובץ robots.txt הישן נשאר, או שהאחסון החדש מגיש קובץ ברירת מחדל משלו.
• המארח הלא נכון. לכל תת-דומיין ולכל פרוטוקול יש קובץ משלו: הכללים ב-www.example.co.il לא חלים על shop.example.co.il.

זכרו ש-Google פועל לפי הכלל הספציפי ביותר (הנתיב התואם הארוך ביותר), וכשכלל Allow וכלל Disallow ספציפיים באותה מידה, הכלל המגביל פחות מנצח. לכן Allow: /blog/ ממוקד יכול לפתוח מחדש תיקייה שנמצאת תחת חסימה רחבה יותר.

איך מתקנים "חסום על ידי robots.txt" שלב אחר שלב

1. ייצאו את הכתובות שנפגעו

ב-Google Search Console פתחו את "הוספה לאינדקס", אחר כך "דפים", ולחצו על השורה "חסום על ידי robots.txt". ייצאו את הרשימה ומיינו לפי תיקייה. בדרך כלל דפוס מתגלה תוך דקה: ספרייה אחת, פרמטר אחד, תת-דומיין אחד.

2. הפרידו בין חסימות מכוונות לטעויות

סמנו כל דפוס כ"להשאיר חסום" או "צריך להיות ב-Google". עגלות, תהליכי תשלום, חשבונות לקוח, תוצאות חיפוש פנימי ואזורי ניהול שייכים לקבוצה הראשונה. כל מה שעונה על שאילתת חיפוש, מקבל קישורים או מופיע במפת האתר XML שלכם שייך לשנייה. כתובת שנמצאת גם במפת האתר וגם חסומה היא סתירה שצריך לפתור.

3. מצאו את הכלל התואם

פתחו את כלי בדיקת כתובות ה-URL עבור כתובת לדוגמה: הוא מציין אם הסריקה מותרת. אחר כך קראו את הקובץ החי, או הדביקו את הכתובת בבודק robots.txt החינמי שלנו כדי לראות איזו שורה חוסמת אותה ועבור איזה user-agent.

4. ערכו את הקובץ

מחקו או צמצמו את הכלל, או הוסיפו Allow ספציפי יותר. שמרו על שינוי מינימלי ובדקו אותו גם על כתובת שאתם רוצים לשחרר וגם על כתובת שחייבת להישאר חסומה. אם הקובץ מבולגן, בנו גרסה נקייה עם מחולל robots.txt שלנו והשוו לפני הפרסום.

5. גרמו ל-Google לקרוא את הקובץ החדש

לפי המפרט של robots.txt, Google שומר בדרך כלל את הקובץ במטמון עד 24 שעות. כדי לזרז, פתחו את "הגדרות" ואז את דוח robots.txt ב-Search Console (זמין לנכסים ברמת הדומיין), ובקשו סריקה מחדש של הקובץ. אחר כך בקשו הוספה לאינדקס של הכתובות המשוחררות החשובות ביותר בכלי בדיקת כתובות ה-URL.

6. אמתו ועקבו

לחצו על "אימות התיקון" בדף הבעיה. האימות יכול להימשך בין כמה ימים לכמה שבועות, וכתובות חדשות נבדקות ככל ש-Google סורק אותן מחדש. המדריך שלנו להוספה לאינדקס של Google מסביר מה קורה אחרי הסריקה, כש-Google מחליט אם הדף שווה שמירה.

איך מתקנים "נוסף לאינדקס למרות החסימה על ידי robots.txt"

התיקון תלוי במה שאתם רוצים עבור הדף:

1. אתם רוצים את הדף ב-Google. הסירו את החסימה. Google יסרוק את הדף, יקרא את התוכן ויציג תוצאה רגילה עם כותרת ותיאור.
2. אתם לא רוצים את הדף ב-Google. הסירו גם כאן את החסימה, ואז הוסיפו <meta name="robots" content="noindex"> ב-head, או כותרת HTTP ‏X-Robots-Tag: noindex לקובצי PDF וקבצים אחרים. אחרי ש-Google יסרוק את הדף מחדש ויסיר אותו, אפשר לחסום אותו שוב אם נפח הסריקה חשוב, אף שרוב האתרים לא צריכים זאת לעולם. ההגדרה שלנו ל-noindex מסבירה את האפשרויות.
3. הדף לא אמור להיות ציבורי. הגנו עליו בסיסמה או מחקו אותו (404 או 410). לא robots.txt ולא noindex הם אמצעי אבטחה.

בניווט מבוסס מסננים עם אלפי כתובות סינון, חסימה ב-robots.txt יכולה להישאר הכלי הנכון לחיסכון בתקציב הסריקה. האזהרה "נוסף לאינדקס למרות החסימה" על חלק מהכתובות האלה מקובלת אז, כל עוד הגרסאות הקנוניות של הקטגוריות שלכם ניתנות לסריקה ונמצאות באינדקס.

איך בודקים שהתיקון עבד

שלושה סימנים מאשרים תיקון מוצלח. בדיקת הכתובת החיה מציגה "הסריקה מותרת: כן". מספר הדפים החסומים בדוח הוספת הדפים לאינדקס יורד בשבועות שאחרי. והדפים ששוחררו מתחילים לצבור חשיפות בדוח הביצועים. מעבר מהיר בבודק יכולת ההוספה לאינדקס שלנו תופס גם את החסמים האחרים שמגיעים לעיתים קרובות יחד עם טעויות robots.txt: noindex שנשכח, תג קנוני שגוי או הפניה.

המעקב חשוב כי הטעויות האלה חוזרות. עדכון ערכת עיצוב, תוסף או סקריפט פריסה יכולים לשכתב את robots.txt בלי שאיש ישים לב. מעקב אחר דפים שהקליקים והחשיפות שלהם צונחים פתאום הוא ההתרעה המוקדמת המהירה ביותר.

לוח הבקרה GEO ו-SEO של Sorank מתחבר ל-Search Console ומציג את הדפים העולים והיורדים בתצוגה אחת. כך חסימה שנכנסה עם פריסה מופיעה כקבוצת כתובות בירידה, ולא כאובדן איטי ובלתי מוסבר.

robots.txt, סורקי בינה מלאכותית ו-GEO

ל-robots.txt יש היום קהל שני: הסורקים של עוזרי הבינה המלאכותית. OpenAI, ‏Anthropic, ‏Perplexity ו-Google מפרסמים כל אחד user-agents משלהם (GPTBot ו-OAI-SearchBot, ‏ClaudeBot, ‏PerplexityBot, ‏Google-Extended) שמכבדים את robots.txt. כלל שנועד לאחד מהם, או חסימה כללית User-agent: *, קובעים אם ChatGPT, ‏Claude או Perplexity יכולים לקרוא את הדפים שלכם כשהם מחפשים ברשת כדי לבנות תשובה.

אותו היגיון כמו מול Google חל גם כאן: החליטו לכל בוט מה אתם רוצים. חסימת סורקי אימון לצד היתר לסורקי חיפוש היא פשרה נפוצה, והמדריך שלנו לrobots.txt עבור סורקי בינה מלאכותית מפרט את ה-user-agents ואת הכללים לכל אחד. ערך המילון על סורקי בינה מלאכותית מסביר איזה בוט עושה מה.

כדי לראות את השפעת הבחירות האלה, עקבו אחרי הפרומפטים שחשובים לעסק שלכם. מעקב האזכורים בבינה מלאכותית של Sorank מראה אם ChatGPT, ‏Gemini או Claude מצטטים את האתר שלכם, ואילו מתחרים הם מצטטים במקומכם.

הכלל שכדאי לזכור

robots.txt קובע מה סורקים רשאים לקרוא; noindex קובע מה תוצאות החיפוש רשאיות להציג. שמרו חסימות לאזורים בלי ערך חיפוש, לעולם אל תחסמו דף שאתם רוצים להוסיף לאינדקס או להוציא ממנו, ובדקו את דוח הוספת הדפים לאינדקס אחרי כל הסבה או פריסה. רוב הבעיות של "חסום על ידי robots.txt" נפתרות תוך דקות ברגע שנמצא הכלל האחראי, ולוח הבקרה של Search Console ב-Sorank עוזר לכם לזהות את הבאה לפני שהיא עולה לכם בתנועה.