Excluded by 'noindex' tag: האם זה תקין, ואיך מתקנים את זה?

« Excluded by 'noindex' tag » הוא הסטטוס היחיד של האינדוקס שאתם יוצרים בעצמכם, בכוונה או בטעות. התיעוד של דוח אינדוקס הדפים של Google מתאר את הסיבה בשלושה משפטים: "כאשר Google ניסה לאנדקס את הדף, הוא נתקל בהנחיית 'noindex' ולכן לא אינדקס אותו. אם אינכם רוצים שהדף יאונדקס, מזל טוב! אם אתם רוצים שהדף יאונדקס, עליכם להסיר את הנחיית 'noindex'." המדריך הזה עוזר לכם להחליט לאיזה צד של המשפט שייך כל כתובת, לאתר את המקור המדויק של כלל לא רצוי ולתקן אותו בלי לשבור דברים אחרים.

מה המשמעות של « Excluded by 'noindex' tag »?

כלל noindex מבקש ממנועי החיפוש לא להציג דף בתוצאות שלהם. Google קורא אותו בשני מקומות, כפי שהמדריך שלו על חסימת אינדוקס באמצעות noindex מסביר:

• מטא-תג robots ב-<head> של ה-HTML: <meta name="robots" content="noindex"> לכל מנועי החיפוש, או name="googlebot" ל-Google בלבד.
• כותרת HTTP בשם X-Robots-Tag שהשרת שולח יחד עם התשובה, עם הערך noindex או none. זו האפשרות היחידה לקבצים בלי HTML, כמו PDF.

כאשר Googlebot מוצא אחד מהם, הוא מחזיק את הכתובת מחוץ לאינדקס. הסטטוס מופיע ב-Search Console, תחת אינדוקס ואז דפים, בטבלה "Why pages aren't indexed". דף העזרה מציין את אותה סיבה בשם "URL marked 'noindex'": שתי התוויות מתארות מצב אחד.

שלוש עובדות משנות את הדרך לקרוא את הדוח:

• Google ציית לכם. בניגוד ל-"Crawled - currently not indexed", שבו Google מחליט נגד דף, הסטטוס הזה משקף הוראה ששלח האתר שלכם.
• הוא דורש סריקה. Google יכול לראות כלל noindex רק בדף שמותר לו להוריד. דף החסום ב-robots.txt לעולם לא מגיע לסטטוס הזה.
• הכלל יכול להגיע מכל חוליה בשרשרת. ה-HTML, ה-CMS, התוסף, ערכת הנושא, הגדרות השרת וה-CDN יכולים כל אחד להוסיף אותו, ומקור הדף לא מציג כותרות HTTP.

האם זה תקין או שגיאה?

לרוב האתרים יש כתובות בסטטוס הזה, ורבות מהן אמורות להיות שם. Google כותב שדפים הרשומים כלא מאונדקסים נמצאים שם "לא בהכרח בגלל שגיאה". מיינו את הרשימה לפי סוג הכתובת לפני שמתקנים דבר.

השורה האחרונה חשובה יותר ממה שנראה. מפת אתר אומרת ל-Google "אנדקסו את הדפים האלה", ו-noindex אומר את ההפך. הגבילו את מפת האתר לכתובות שניתנות לאינדוקס ולכתובות קנוניות בלבד (המדריך שלנו על הגשת מפת אתר ל-Google מסביר איך לנקות אותה).

מאיפה מגיע noindex לא רצוי?

כאשר דף חשוב נושא noindex, הסיבה כמעט תמיד היא אחד המקורות שלהלן. בדקו אותם לפי הסדר הזה, מהנפוץ ביותר לנדיר ביותר.

מקרה WordPress נפוץ מספיק כדי להזכיר. לפי התיעוד של WordPress על מסך הקריאה, סימון "Discourage search engines from indexing this site" מוסיף noindex,nofollow לתוך ה-head של כל דף (מגרסה 5.3). תיבה אחת שנשכחה אחרי השקה מספיקה כדי להוציא אתר שלם מ-Google. השקות ועיצובים מחדש הם הרגעים המסוכנים ביותר, ולכן רשימת הבדיקה למיגרציית SEO כוללת תמיד בדיקה של כללי הסריקה. להגדרות ייעודיות ל-WordPress, ראו את הדף שלנו על SEO ו-GEO ב-WordPress.

איך מאבחנים את הסטטוס, שלב אחר שלב?

1. פתחו את הדוח. ב-Search Console עברו לאינדוקס, ואז לדפים, לחצו על "Excluded by 'noindex' tag" וייצאו את הרשימה.
2. מיינו את הכתובות לפי הטבלה שלמעלה. הפרידו את אלה שצריכים להישאר מחוץ לאינדקס.
3. בדקו כתובת חשובה אחת. הדביקו אותה בכלי בדיקת הכתובות. השורה "Indexing allowed?" מראה אם Google ראה noindex ואם הוא בא ממטא-תג robots או מכותרת X-Robots-Tag.
4. בדקו את הכתובת החיה. לחצו על "Test live URL": אם הגרסה החיה כבר בלי noindex, הכלל כבר הוסר ו-Google צריך רק סריקה מחדש.
5. בדקו בעצמכם את שני המקומות. חפשו noindex במקור הדף, ואחר כך בכותרות התשובה (כלי הפיתוח של הדפדפן, לשונית Network). בודק כותרות HTTP חינמי מציג את ה-X-Robots-Tag בלי לפתוח כלי פיתוח, ובודק יכולת האינדוקס בודק את מטא-התג, הכותרת וה-robots.txt במעבר אחד.
6. אתרו את המקור בעזרת טבלת המקורות, והתחילו בהגדרת ה-CMS ובתוסף ה-SEO.

איך מתקנים את זה?

התיקון תלוי במקור. שנו את ההגדרה במקום שבו הכלל נוצר, ולא רק את מה שנראה על המסך, אחרת הוא יחזור בעדכון הבא.

אחרי התיקון, בקשו אינדוקס לכתובות החשובות ביותר בכלי בדיקת הכתובות, ושלחו מחדש את מפת האתר אם הושפעו דפים רבים. לקבוצת כתובות מתוקנות לחצו על "Validate fix" בדוח. Google מציין שהאימות "typically takes up to about two weeks, but in some cases can take much longer". נקו קודם את המטמון של הדף או של ה-CDN, אחרת Google עלול להביא את הגרסה הישנה עם הכלל הישן. אם דפים עדיין לא מופיעים אחרי שבועות, המדריך שלנו על הכנסת דפים לאינדקס של Google מפרט את הצעדים הבאים, ואם הם עוברים ל-Crawled - currently not indexed, הבעיה כבר בתוכן ולא בכלל.

Noindex, robots.txt או canonical: מה להשתמש?

שלושת הכלים האלה מתבלבלים לעיתים קרובות, ושילובם השגוי יוצר את הדוחות המבלבלים ביותר.

Google אומר את זה בבירור: אם robots.txt חוסם דף, "the crawler will never see the noindex rule". אם אתם רוצים שדף ייצא מהאינדקס, השאירו אותו סריק עם noindex עד שייעלם, ורק אז החליטו אם לחסום אותו. בדקו את הקובץ עם בודק robots.txt, וקראו את מפרט מטא-תג robots לרשימה המלאה של הכללים: שם מצוין גם ש-"the more restrictive rule applies" כשכללים מתנגשים.

למה זה חשוב ל-SEO ולנראות ב-AI?

דף תחת noindex לא מקבל קליקים אורגניים מ-Google, יהיה איכותו אשר יהיה. באתר גדול, כלל לא רצוי בתבנית אחת יכול להסיר מאות דפי מוצר או מאמרים בבת אחת, והסימן הראשון הוא לעיתים ירידה בתנועה שבועות מאוחר יותר. אם האתר נראה כאילו נעלם לגמרי, התחילו מרשימת הבדיקה שלנו על אתר שלא מופיע ב-Google.

עוזרי AI מוסיפים עלות שנייה. ChatGPT, Perplexity ו-Gemini לעיתים קרובות עונים על ידי שליפת דפים מאינדקסי חיפוש ברשת וציטוט שלהם, ולכן לדף שחסר באינדקס יש סיכוי קטן להיות מצוטט. המחקר שלנו על הפלטפורמות ש-AI מצטט הכי הרבה מראה אילו מקורות הם מעדיפים.

Sorank הוא המוצר שלנו: תוכנה ל-SEO ול-GEO במצב autopilot. הלוח הבקרה של GEO ו-SEO שלה מציג קליקים, חשיפות ומיקומים מ-Search Console, כך שירידה פתאומית בחשיפות בקבוצת דפים בולטת מהר, והתוסף Chrome החינמי של Sorank מסמן בעיות SEO בכל דף שתפתחו.

בקצרה: השאירו noindex על דפים שלעולם לא צריכים לדרג, והסירו אותו במקור מדפים שכן צריכים, שמרו על מפת האתר נקייה מכתובות עם noindex, ואל תחסמו דף ב-robots.txt בזמן ש-Google עדיין צריך לקרוא את ה-noindex שלו. לפרסום דפים שנבנו כדי להיות מאונדקסים ומצוטטים, ראו את תוכניות Sorank, החל מ-49€ לחודש, עם תקופת ניסיון חינמית של 3 ימים.