“Crawled - currently not indexed”: מה המשמעות וכיצד לתקן

Crawled - currently not indexed הוא אחד הסיבות המופיעות תחת “למה דפים לא מאונדקסים” ב-Search Console, ולעתים קרובות הוא הגדול ביותר באתרי תוכן ובחנויות מקוונות. התיעוד של דוח אינדוקס הדפים של Google מתאר את הסטטוס בשתי משפטים: “הדף נסרק על ידי Google אך לא אונדקס. ייתכן שייכלל באינדקס בעתיד, וייתכן שלא; אין צורך לשלוח שוב את הכתובת הזו לסריקה.” מדריך זה מסביר מה החליט Google, אילו כתובות יכולות להישאר בסטטוס הזה, איך למצוא את הסיבה האמיתית בכתובות החשובות, ואיזה תיקון מתאים לכל סיבה.

מה המשמעות של “Crawled - currently not indexed”?

Google מעבד כתובת בשלושה שלבים: גילוי וסריקה, אחריהם אינדוקס, ולבסוף דירוג (ערך המילון שלנו על סריקה ואינדוקס מפרט כל שלב). דף בסטטוס הזה עבר את השלב הראשון: Googlebot ביקש את הדף וקיבל תגובה. הוא נעצר בשלב השני: לאחר עיבוד התוכן, Google בחר שלא לשמור אותו באינדקס שלו.

הבחירה הזו מכוונת ומתועדת. המדריך של Google על אופן פעולת החיפוש קובע: “אינדוקס אינו מובטח; לא כל דף ש-Google מעבד יאונדקס.” הוא מציין שלוש סיבות נפוצות: איכות תוכן נמוכה, כללי robots בתגיות מטא שאוסרים אינדוקס, ועיצוב אתר שמקשה על האינדוקס. מכיוון שכלל noindex יוצר סטטוס משלו (“הוחרג על ידי תגית ‘noindex’”), דף המופיע כנסרק אך לא מאונדקס מצביע בעיקר על הסיבה הראשונה והשלישית.

שלוש נקודות שכדאי לזכור:

• זו אינה סנקציה. לא מדובר בפעולה ידנית, והשאר של האתר אינו נענש בגללה.
• זה אינו סופי. Google כותב שהדף “ייתכן שייכלל באינדקס בעתיד, וייתכן שלא”. כל סריקה חוזרת היא החלטה חדשה.
• זה יכול לפגוע בדפים שהיו מאונדקסים בעבר. Google מסיר באופן קבוע כתובות שאינו רואה עוד כשוות שמירה, כך שמאמר ישן יכול לעבור לסטטוס הזה בלי שום שינוי מצדכם.

לתהליך האינדוקס המלא ולמנופים שמאיצים אותו, ראו את המדריך שלנו על אינדוקס ב-Google.

Crawled או Discovered - currently not indexed: מה ההבדל?

שני הסטטוסים דומים, אבל הם נעצרים בשלבים שונים, ולכן הם דורשים תיקונים שונים.

בקצרה, “Discovered” היא בעיקר בעיית סריקה, ו“Crawled” היא בעיקר החלטת אינדוקס. שיפור מהירות השרת כמעט never מעביר דף שנסרק לאינדקס; שיפור הדף עצמו כן.

האם זו בעיה, או שאפשר להשאיר את הכתובות האלה בשקט?

לכל אתר בגודל מסוים יש כתובות בסטטוס הזה, ורבות מהן לעולם לא היו צריכות לדרג. לפני שמתקנים משהו, מיינו את הרשימה לפי סוג הכתובת. מספר יציב של כתובות בעלות ערך נמוך אינו סיבה לדאגה; זינוק פתאומי, או דפים חשובים ברשימה, הם כן.

למה Google סורק דף אך לא מאנדקס אותו?

1. התוכן מוסיף מעט מדי

זו הסיבה הנפוצה ביותר. דפים עם כמה שורות טקסט, תוכן כללי שחוזר על מה שעשרות דפים מאונדקסים כבר אומרים, או דפים שנבנו מתבנית שבה רק שם אחד הוחלף, הם תוכן דל טיפוסי. ההנחיות של Google ליצירת תוכן מועיל שואלות אם דף מספק “ערך משמעותי בהשוואה לדפים אחרים בתוצאות החיפוש”. דף שלא עומד במבחן הזה יכול להיסרק שוב ושוב בלי להיות מאונדקס.

2. הדף קרוב מדי לדף אחר

דפים כמעט זהים (גרסאות מוצר עם אותו תיאור, דפי ערים שמחליפים רק את שם העיר, גרסאות להדפסה) מקובצים ומושמטים לעתים קרובות. כש-Google מזהה בבירור את הכפילות, בדרך כלל תופיע כאן עמדה של קנונית; כשהדמיון חלקי, הדף עלול להגיע לכאן. תגית canonical עקבית ותוכן שבאמת שונה פותרים את העניין.

3. התוכן קיים רק אחרי הרצת JavaScript

יסודות ה-SEO של JavaScript של Google מתארים שלושה שלבים: סריקה, רינדור ואינדוקס, ומציינים שדף הממתין לרינדור “עשוי להישאר בתור הזה כמה שניות, אך לעתים זה יכול לקחת יותר מכך”. אם ה-HTML הגולמי כמעט ריק והטקסט מופיע רק אחרי הרינדור (או שהרינדור נכשל כי סקריפט או קריאת API נחסמו), Google עלול להעריך דף כמעט ריק. רינדור בצד השרת או רינדור מוקדם מסירים את הסיכון הזה; המדריך שלנו על SEO ל-JavaScript מציג את האפשרויות.

4. האתר מאותת שהדף אינו חשוב

דף שאפשר להגיע אליו רק דרך מפת האתר, או שקבור חמש לחיצות עמוק עם קישור יחיד מארכיון מעומד, אומר ל-Google שהוא לא חשוב לכם במיוחד. קישורים פנימיים מדפים מאונדקסים ונצפים הם אחד האותות החזקים ביותר שאתם שולטים בהם.

5. מקרים אחרים

חלק מהכתובות מופיעות כאן מסיבות מחוץ לדף: הדוח מפגר (הכתובת עשויה כבר להיות מאונדקסת), יעד הפניה נסרק דרך הכתובת הישנה, או דפי שגיאה רכים (תוצאות חיפוש ריקות, “לא נמצאו מוצרים”) מחזירים קוד סטטוס 200. מקרים אלה דורשים בדיקה, לא כתיבה מחדש.

איך לאבחן את “Crawled - currently not indexed” שלב אחר שלב

1. פתחו את הדוח. ב-Search Console עברו לאינדוקס, ואז לדפים, ולחצו על “Crawled - currently not indexed” תחת “למה דפים לא מאונדקסים”. שימו לב למגמה: קפיצה פתאומית באה לעתים קרובות אחרי מעבר אתר, החלפת תבנית או קבוצת דפים חדשים.
2. מיינו את הכתובות לפי סוג בעזרת הטבלה למעלה, והשאירו רק את הדפים שאתם רוצים שיופיעו בתוצאות החיפוש.
3. בדקו כל כתובת חשובה. הדביקו אותה בכלי בדיקת הכתובות. ודאו את הסטטוס, תאריך הסריקה האחרונה, ושסריקה ואינדוקס מותרים. אפשר גם לבדוק דף בשניות עם בודק יכולת האינדוקס החינמי שלנו.
4. סננו התראות שווא. אם מופיע “הכתובת נמצאת ב-Google”, הדוח מפגר והדף לא צריך דבר.
5. בדקו את הכתובת החיה וצפו ב-HTML המרונדר. אם הטקסט הראשי, הקישורים או הכותרת חסרים בגרסה המרונדרת, הבעיה ברינדור.
6. השוו לדפים שמדורגים. חפשו את שאילתת היעד וקראו את התוצאות הראשונות. אם הן עונות בשלמות רבה יותר או בפורמט אחר, לדף שלכם יש פער באיכות או בכוונה.
7. ספרו את הקישורים הפנימיים שמובילים לדף, למשל בעזרת מנתח הקישורים הפנימיים שלנו. אפס או קישור אחד מדפים עמוקים הוא אות חלש.

איך לתקן: תיקון אחד לכל סיבה

שתי הרגלים גורמים לתיקונים להחזיק. הראשון, ביקורת תוכן קבועה: גיזום או איחוד של דפים חלשים מעלה את האיכות הממוצעת של מה ש-Google סורק. השני, שמירה על מפת אתר XML נקייה, עם כתובות קנוניות וניתנות לאינדוקס בלבד שאתם רוצים שידורגו, ושליחה מחדש ל-Google אחרי ניקוי גדול.

כמה זמן לוקח לדף להתאנדק אחרי תיקון?

לא קורה כלום עד ש-Googlebot סורק את הדף שוב, וזה יכול לקחת מכמה ימים עד כמה שבועות, בהתאם לתדירות הביקורים של Google באתר. אחרי תיקון כמה כתובות, אפשר ללחוץ על “אמת תיקון” בדוח; Google מציין שהאימות “בדרך כלל נמשך כשבועיים, אך במקרים מסוימים יכול להימשך הרבה יותר”. האימות אופציונלי: הדוח מתעדכן מעצמו ככל שהדפים נסרקים שוב.

באתר גדול, בדיקה של כתובות אחת אחת איטית. לפי מגבלות השימוש ב-API של Search Console, ממשק בדיקת הכתובות מאפשר 2000 שאילתות ביום ו-600 בדקה לכל אתר, מספיק כדי לעקוב לאורך זמן אחר כמה מאות דפים בעדיפות גבוהה. אם דף נשאר בסטטוס הזה אחרי שתיים או שלוש סריקות חוזרות, התיקון לא הספיק: בדקו קודם מחדש את האיכות והכוונה.

למה זה חשוב ל-SEO ולנראות במסייעי AI?

דף מחוץ לאינדקס של Google לא מביא קליקים אורגניים, יהיה איכותו אשר יהיה. באתר תוכן, חלק גדול ממאמרים בסטטוס הזה הוא גם מאמץ הפקה שהלך לאיבוד, ומאותת ל-Google שהאתר מפרסם דפים שאינו צריך, מה שעלול להאט את האינדוקס של דפים חדשים.

מסייעי AI מוסיפים סיבה שנייה. ChatGPT, Perplexity ו-Gemini עונים על שאלות רבות על ידי שליפת דפים מאינדקסים של חיפוש ברשת, ואז מצטטים את המקורות שבהם השתמשו. דף שלא מאונדקס סיכוייו הרבה יותר נמוכים להישלף, ולכן גם להיות מצוטט. המחקר שלנו על הפלטפורמות שה-AI מצטט הכי הרבה מראה אילו מקורות הם מעדיפים בעת מענה.

Sorank הוא המוצר שלנו: תוכנה ל-SEO וגם ל-GEO שפועלת במצב autopilot. לוח ה-GEO וה-SEO שלה מציג קליקים, חשיפות ודירוגים מ-Search Console, כך שתראו מתי דפים מתוקנים מתחילים לקבל חשיפות. מחולל המאמרים שלה כותב מאמרים עם מקורות וקישורים פנימיים כבר במקומם, שני הרכיבים שהסטטוס הזה מעניש לרוב.

בקצרה: מיינו את הכתובות, התעלמו מאלה שאינן צריכות לדרג, ותקנו את הסיבה בדפים החשובים (תוכן, כפילויות, רינדור, קישורים פנימיים) לפני שמבקשים מ-Google להסתכל שוב. כדי לפרסם דפים שמאונדקסים ומצוטטים מההתחלה, ראו את התוכניות של Sorank, מ-49€ לחודש, עם ניסיון חינמי של 3 ימים.