"Discovered - currently not indexed": מה הסטטוס אומר ואיך מתקנים אותו

Discovered - currently not indexed הוא אחת הסיבות הנפוצות ביותר שמופיעות תחת "למה דפים לא מאונדקסים" בGoogle Search Console, ואחת הסיבות הכי מובנות לא נכון. התיעוד של דוח אינדוקס הדפים של Google נותן הגדרה קצרה: "הדף נמצא על ידי Google, אבל עוד לא נסרק. בדרך כלל Google רצה לסרוק את הכתובת, אבל הסריקה הייתה צפויה להעמיס על האתר, ולכן Google תזמן מחדש את הסריקה." המדריך הזה מסביר מה עומד מאחורי המשפט הזה, איך מבדילים בין עיכוב רגיל לבעיה אמיתית, והתיקונים שמוציאים כתובות מהתור. לתהליך האינדוקס המלא ראו את המדריך שלנו על הכנסת דפים לאינדוקס של Google.

מה המשמעות של "Discovered - currently not indexed"?

Google מאנדקס דף בשלושה שלבים: גילוי (הוא לומד שהכתובת קיימת), סריקה (Googlebot מוריד את הדף) ואינדוקס (Google מנתח את התוכן ומחליט אם לשמור אותו). כתובת בסטטוס הזה עברה רק את השלב הראשון. Google מכיר את הכתובת והיא בתור, אבל מעולם לא הורידה אותה, ולכן עוד לא שפטה את התוכן. לכן השדה "נסרק לאחרונה" ריק כשבודקים כתובת כזו.

הסטטוס הזה מתבלבל לעיתים קרובות עם השכן שלו, "Crawled - currently not indexed". ההבדל קובע איפה מחפשים את הסיבה.

בקצרה, "Discovered" היא בעיית סריקה, ו"Crawled" היא החלטת אינדוקס. שכתוב התוכן של דף ש-Google מעולם לא הוריד לא ישנה דבר, עד ש-Googlebot יחזור ויביא אותו.

האם "Discovered - currently not indexed" היא בעיה?

זה תלוי בהיקף ובדפים שמושפעים. שלושה מצבים נורמליים ואינם דורשים פעולה:

• דפים חדשים שפורסמו בימים או בשבועות האחרונים. גילוי וסריקה הם שלבים נפרדים, וGoogle מתזמן אותם.
• כתובות שממילא לא רוצים לאנדקס: שילובי מסננים, תוצאות חיפוש פנימי, ארכיוני תגיות, פרמטרים למעקב. הופעתן ברשימה היא רק רמז לחסום אותן או להפסיק לקשר אליהן, לא יותר.
• חלק קטן מאתר גדול. אין אתר שכל הכתובות שלו מאונדקסות.

זה הופך לבעיה כשהדפים החשובים (מוצרים, קטגוריות, מאמרים, דפי שירות) נשארים ברשימה שבועות, או כשהמספר שלהם גדל מהר יותר ממספר הדפים המאונדקסים. המדריך של Google על תקציב סריקה מזכיר בדיוק את האות הזה: אתרים שבהם "חלק גדול מסך כל הכתובות" מסווג כ-Discovered - currently not indexed כדאי שיבדקו איך Google מחלק את הסריקה ביניהן.

מה גורם ל-"Discovered - currently not indexed"?

Google מחליט כמה לסרוק לפי שני גורמים שמתוארים בתיעוד תקציב הסריקה שלו: מגבלת קיבולת הסריקה (כמה השרת שלכם יכול לשאת בלי להאט) והביקוש לסריקה (כמה Google רוצה את הכתובות שלכם, לפי גודל, תדירות עדכון, איכות הדפים והרלוונטיות ביחס לאתרים אחרים). כל סיבה למטה מורידה אחד משני הגורמים האלה. מושג תקציב הסריקה חשוב בעיקר באתרים גדולים, אבל שרת איטי או מבנה אתר חלש יכולים להפעיל את הסטטוס גם באתר של כמה מאות דפים.

1. שרת איטי או לא יציב

זו הסיבה ש-Google מזכיר ראשונה. לפי מדריך תקציב הסריקה, קיבולת הסריקה עולה כששעות התגובה "נשארות יציבות או משתפרות", וצונחת כשהאתר מואט או מחזיר שגיאות שרת. אירוח משותף, בסיס נתונים עמוס, תבנית כבדה או חומת אש שמצמצמת את Googlebot מקטינים את מספר הכתובות ש-Google מוכן להוריד ביום.

2. יותר מדי כתובות בעלות ערך נמוך מתחרות על הסריקה

ניווט לפי פאסטים, פרמטרים למיון, מזהי סשן, דפי לוח שנה אינסופיים, דפי תגיות שנוצרים אוטומטית ווריאנטים כמעט זהים של מוצרים יוצרים אלפי כתובות. המדריך של Google מזהיר שכתובות כפולות ולא חשובות צורכות זמן סריקה, ושדפי soft 404 "ימשיכו להיסרק ויבזבזו את התקציב שלכם". הדפים הטובים שלכם מחכים באותו תור.

3. קישורים פנימיים חלשים

כתובת שמופיעה רק במפת האתר ב-XML, או שמקושרת מדף חמש לחיצות מהעמוד הראשי, שולחת אות עדיפות חלש. התיעוד של Google על קישורים הניתנים לסריקה מוסיף מלכודת טכנית: Google יכול לעקוב אחרי קישור רק אם הוא אלמנט HTML מסוג <a> עם תכונת href. תפריטים או כפתורי "טען עוד" שנבנו רק באירועי JavaScript עלולים להסתיר דפים מהסורק.

4. אותות איכות לאורך כל האתר

הביקוש לסריקה תלוי בחלקו בדרך שבה Google מדרג את שאר האתר. אם חלק גדול מהדפים שכבר נסרקו הם תוכן דל או תוכן כפול, ל-Google יש מעט סיבות למהר עם הבאים. לכן הסטטוס מופיע לעיתים קרובות אחרי פרסום מאות דפים דומים בבת אחת.

5. אתר חדש או לא מוכר

דומיין צעיר עם מעט backlinks ותוכן חדש רב מתחיל עם ביקוש סריקה נמוך. מולר אמר באותו מושב של 2022 שאתר חדש יחסית עם הרבה תוכן צריך לצפות שחלק גדול ממנו יישאר בסטטוס הזה תקופה מסוימת.

איך מאבחנים את זה ב-Search Console?

עבדו מתוך דוגמאות לפני ששוברים משהו. הרצף הזה לוקח בערך שעה ברוב האתרים.

1. פתחו את הרשימה. תחת אינדוקס > דפים, לחצו על "Discovered - currently not indexed" וייצאו את הכתובות לדוגמה (Search Console מציג עד 1,000).
2. מיינו לפי סוג. קבצו את הכתובות לפי תיקייה או תבנית: מוצרים, מאמרים, כתובות עם פרמטרים, עימוד, תגיות. אם רובן כתובות שאתם לא רוצים לאנדקס, הפתרון הוא לצמצם אותן, לא לדחוף אותן פנימה.
3. בדקו כמה דפים חשובים. כלי בדיקת הכתובות מאשר שהדף מעולם לא נסרק, ומראה אם Google מצא אותו במפת אתר או דרך דף שמפנה אליו.
4. בדקו את צד השרת. פתחו הגדרות > סטטיסטיקות סריקה. דוח סטטיסטיקות הסריקה מציג את סטטוס המארח ל-90 יום (משיכת robots.txt, פתרון DNS, חיבור לשרת), את שיעור שגיאות 5XX והתנתקויות בזמן, ואת זמן התגובה הממוצע. זמן תגובה שעולה כשמספר הבקשות יורד מצביע על בעיית קיבולת.
5. בדקו את הקישורים הפנימיים. ספרו כמה קישורים פנימיים מובילים לדפים המושפעים ומהיכן. מנתח קישורים פנימיים מראה דפים יתומים ודפים שקבורים עמוק במבנה.
6. קראו את יומני השרת, אם יש לכם. היומנים מראים אילו כתובות Googlebot מבקש באמת כל יום ואיפה הוא מבזבז זמן, לעיתים קרובות על כתובות עם פרמטרים שלא ידעתם שקיימות.

איך מתקנים את "Discovered - currently not indexed"?

התאימו את התיקון לסיבה שנמצאה באבחון. הטבלה מסכמת את המקרים העיקריים.

שפרו קודם את קיבולת השרת

אם דוח סטטיסטיקות הסריקה מראה שגיאות שרת או זמני תגובה שעולים, שום דבר אחר לא יעבוד לפני שזה מתוקן, כי Google עצמו מוריד את קצב הסריקה כדי להגן על האתר. שאלו את ספק האירוח על המגבלות שלו, הוסיפו מטמון לדפים ורשת הפצת תוכן, והסירו סקריפטים כבדים מהתבניות.

צמצמו כתובות שאינכם צריכים

כל כתובת חסרת תועלת ש-Googlebot מוריד היא כתובת שימושית שהוא לא מוריד. הסירו קישורים פנימיים לשילובי מסננים ופרמטרים למעקב, השתמשו בבודק robots.txt כדי לבדוק כללי Disallow לפני חסימת דפוסים, ותקנו דפי soft 404. ההנחיות של Google ברורות לגבי כפילויות: הסירו אותן כדי למקד את הסריקה "בתוכן ייחודי ולא בכתובות ייחודיות".

חזקו קישורים פנימיים לדפים החשובים

קשרו את הדפים המושפעים מדפים ש-Google סורק לעיתים קרובות: העמוד הראשי, הקטגוריות המרכזיות, מאמרים פופולריים. השתמשו בקישורי <a href> רגילים עם טקסט עוגן תיאורי. ארכיטקטורת אתר ברורה שומרת כל דף חשוב בתוך שלוש או ארבע לחיצות מהעמוד הראשי, וזה מעלה את עדיפות הסריקה שלו.

נקו את מפת האתר ובקשו אינדוקס במידה

שלחו מפת אתר XML נקייה, והשתמשו בכפתור "בקשת אינדוקס" רק לכמה כתובות אסטרטגיות: יש לו מכסה יומית, והוא לא מגדיל את קיבולת הסריקה הכללית של האתר. אחרי שתיקנתם את הסיבה, לחצו על "אמת תיקון" בדוח. Google אומר ש"אימות בדרך כלל לוקח עד כשבועיים, אבל במקרים מסוימים יכול להימשך הרבה יותר", ואל תלחצו שוב עד שהאימות מצליח או נכשל.

אם דפים נשארים לא גלויים אחרי הצעדים האלה, הסיבה עשויה להיות במקום אחר: רשימת הבדיקה שלנו על הסיבות שאתר לא מופיע ב-Google מכסה עונשים, תגי noindex ושגיאות canonical.

למה זה חשוב לנראות ב-AI (GEO)?

דף ש-Googlebot לא סורק אף פעם לא יכול להופיע בדירוג ב-Google, וגם לא יכול לשמש מקור ל"סקירות AI" או ל"מצב AI" של Google, שנשענים על האינדקס של Google. לכן צבר סריקה מעכב את הנראות שלכם גם בתוצאות הקלאסיות וגם בתשובות ה-AI.

ChatGPT, Perplexity ו-Claude נשענים על סורקים ואינדקסים של שותפים משלהם, כך שדף יכול להישלף על ידם בזמן ש-Google מתעלם ממנו, או להיפך. יומני השרת שלכם מראים אילו בוטים של AI מבקרים באילו דפים; ערך המילון שלנו על יומני סורקי AI מסביר איך לקרוא אותם. התיקונים במדריך הזה (שרת מהיר, פחות כתובות חסרות תועלת, קישורים פנימיים ברורים) עוזרים לכל הסורקים, גם ל-Googlebot וגם לבוטים של AI.

Sorank, המוצר שלנו, פועל על צד התוכן של הבעיה. לוח הבקרה GEO ו-SEO שלו מתחבר ל-Search Console כדי לעקוב אחרי קליקים, הופעות ומיקומים אחרי כל תיקון, ומחולל המאמרים שלו מפרסם פחות מאמרים אבל מעמיקים יותר, עם קישורים פנימיים אוטומטיים לדפים קיימים, כך שכתובות חדשות מקושרות מיום פרסומן.

בקצרה: "Discovered - currently not indexed" אומר ש-Google מכיר את הכתובת שלכם, אבל עוד לא הקדיש לה זמן סריקה. התעלמו מהסטטוס בכמה דפים חדשים, ופעלו כשהוא מכסה דפים חשובים: האיצו את השרת, צמצמו כתובות חסרות תועלת וקשרו את הדפים שחשובים. כדי לאוטומט את חלק התוכן והקישורים הפנימיים, ראו את התוכניות של Sorank, החל מ-49€ לחודש עם חיוב שנתי, עם ניסיון חינם של 3 ימים.