העדפות

הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף (מדיניות קובצי Cookie)

Crawl Stats: איך לקרוא את דוח Google Search Console ולתקן את מה שהוא מראה

למדו לקרוא כל גרף בדוח Crawl Stats ב-Google Search Console, מה הוא מפספס לעומת יומני שרת, ואיך לתקן את הבעיות שהוא מציג לכם בפועל, צעד אחר צעד.

פורסם בתאריך
19/11/2026
עודכן בתאריך
19/11/2026
זמן קריאה
13 דקות
Crawl Stats: איך לקרוא את דוח Google Search Console ולתקן את מה שהוא מראה

כלים

בעמוד זה

בקצרה

דוח Crawl Stats ב-Google Search Console מראה איך Googlebot מבקש את כתובות האתר שלכם: כמה בקשות הוא שולח, כמה בייטים הוא מוריד, כמה מהר השרת עונה ואילו קודי סטטוס הוא מקבל בחזרה. קראו קודם את סטטוס המארח, אחר כך את קודי התגובה, ואז את פילוח המטרה וסוג הקובץ. הדוח הוא סיכום ולא יומן, ולכן השתמשו בו כדי לאתר את הבעיה, ואשרו אותה ביומני השרת.

רוצים להעמיק? שאלו את

שאלון קצר

מי צריך לתקן את הצד הטכני של האתר שלכם?

שאלה 1 מתוך 425%
מה קורה היום?

מהו דוח Crawl Stats, ומי צריך לפתוח אותו

Crawl Stats הוא מבט מצד Google על הפעילות של Googlebot באתר שלכם. הוא מראה מה Googlebot עשה, לא למה הדפים שלכם מדורגים או לא מדורגים. Google מתארת את הדוח כמיועד למשתמשים מתקדמים, ואתר עם פחות מאלף דפים כלל לא בהכרח צריך אותו. אם אתם מנהלים אתר תדמיתי קטן, אפשר לדלג עליו עד שמשהו ישתנה.

עמוד המוצר הציבורי של Google Search Console
עמוד Search Console הציבורי של Google, נקודת ההתחלה לכלי הסריקה והאינדוקס.

Search Console הוא מוצר אחד עם דוחות רבים. עמוד המוצר הציבורי שלו מכסה סריקה ואינדוקס בכלל: מפות אתר, בדיקת כתובת URL, כיסוי אינדקס. Crawl Stats נמצא תחת ההגדרות ולא בתפריט הראשי, ולכן הרבה אנשים אף פעם לא פותחים אותו.

רק נכסים ברמת השורש מקבלים את הדוח

הדוח זמין רק לנכסים ברמת השורש: נכס מסוג Domain, או נכס מסוג URL prefix שנבנה על שורש האתר. נכס של תיקייה משנה, כמו example.com/blog/, לא מקבל אותו. הנתונים מכסים רק את הדומיין שבחרתם. בקשות לתת-דומיינים אחים לא מופיעות בדוח של תת-דומיין אחר, אבל תצוגה של דומיין אב כוללת את כל תת-הדומיינים שלו. גם http וגם https נספרים באותה תצוגה.

הערה

אם האתר שלכם משתמש בתת-דומיינים לשפות, כמו en.example.com ו-de.example.com, פתחו כל אחד מהם בנפרד. לכל אחד יש נתונים משלו, ותת-דומיין גרמני שבור לא יופיע בתצוגה האנגלית.

למי זה מיועד

פתחו את הדוח כשאחד מאלה נכון: אתם מפרסמים הרבה דפים, שיניתם את מבנה כתובות ה-URL או את אירוח האתר, נראה ש-Googlebot מבקר פחות מבעבר, או שדפים מתגלים ולעולם לא מאונדקסים. אתר שמוסיף כמה מאמרים בחודש לומד מהדוח בעיקר על שגיאות, ואת השגיאות עדיף למצוא בסריקה רגילה של האתר.

פתחו את הדוח וקראו כל גרף

פתחו את הנכס, היכנסו להגדרות, מצאו את Crawl stats ולחצו על Open report. בראש הדוח יש שלושה גרפים: סך בקשות הסריקה, סך גודל ההורדה וזמן התגובה הממוצע. מתחתם מופיעים סטטוס המארח וארבעה פילוחים: תגובות סריקה, סוג קובץ, מטרת סריקה וסוג Googlebot. כל פילוח הוא אחוז לפי מספר הבקשות.

דף העזרה של Google Search Console שמסביר את דוח Crawl Stats
דף העזרה של Google לדוח Crawl Stats.

הנה מה שכל חלק סופר ואיך לקרוא אותו.

חלק בדוחמה הוא סופראיך לקרוא אותו
סך בקשות סריקהכל הבקשות לכתובות שלכם, מוצלחות או לא, כולל ניסיונות DNS וחיבור שנכשלו ולולאות הפניה. ניסיונות שנחסמו על ידי robots.txt נספרים גם הם.קפיצה או ירידה פתאומית: בדקו שינויים ב-robots.txt ובמבנה הכתובות לאותם תאריכים.
סך גודל ההורדההבייטים שהורדו במהלך הסריקה. משאב שנשמר במטמון נספר רק בבקשה הראשונה שלו.בייטים שעולים בזמן שהבקשות יציבות אומרים שהדפים שלכם כבדו.
זמן תגובה ממוצעהזמן הממוצע לשליפת כל משאב, כשכל משאב מקושר נספר בנפרד.קראו את המגמה, לא ערך בודד. עקבו אחריה אחרי כל פריסה.
סטטוס המארחשליפת robots.txt, פתרון DNS וקישוריות לשרת. ירוק פירושו אין בעיה משמעותית ב-90 הימים האחרונים, צהוב פירושו בעיות בנות יותר משבוע, אדום פירושו בעיות בשבוע האחרון.כל פריט אדום או צהוב הוא בעיית שרת או רשת לפני שהוא בעיית SEO.
תגובות סריקהחלקן של התגובות לפי סוג, על בסיס מספר הבקשות.עקבו אחרי חלקן של התגובות הגרועות לאורך זמן. המספר הגולמי חשוב פחות.
סוג קובץחלקן של התגובות לפי סוג: HTML, תמונה, JavaScript, CSS, PDF, JSON, וידאו. מבוסס על מספר התגובות, לא על בייטים.מראה איפה Googlebot מוציא את הבקשות שלו. חלק גבוה של JavaScript ו-CSS אומר שהדפים שלכם תלויים במשאבים רבים.
מטרת סריקהגילוי (כתובת ש-Google מעולם לא סרקה) או רענון (סריקה חוזרת של כתובת מוכרת).ראו את הסעיף על גילוי ורענון בהמשך.
סוג GooglebotSmartphone, Desktop, Image, Video, Page resource load, AdsBot, StoreBot ואחרים.באתר שמאונדקס בגישה למובייל קודם, Smartphone צריך להיות הקבוצה הגדולה ביותר. שינוי פתאומי ראוי לבדיקה.

האחוזים סופרים בקשות, לא כתובות URL

כל פילוח סופר בקשות. כתובת ש-Googlebot שולף 50 פעמים נספרת 50 פעמים. לכן "40% מהתגובות הן 301" אומר לכם כמה בקשות פגעו בהפניה, לא כמה כתובות מופנות. כדי לדעת אילו כתובות מעורבות, אתם זקוקים ליומנים. כתובות הדוגמה ש-Google מציגה הן מדגם, ו-Google אומרת שהן לא מקיפות.

מה הדוח לא מראה

דף העזרה של Google אומר שהדוח מציג כרגע את רוב בקשות הסריקה, אבל ייתכן שחלק מהבקשות לא ייספרו. הוא גם אומר שבקשות שנכשלו ולא הגיעו לשרת שלכם לא יופיעו ביומנים. לכן הדוח מציג כשלי DNS וחיבור שהיומנים לא יכולים להראות, ולכן כדאי לקרוא את שני המקורות. Google לא מציינת כמה זמן נשמרים הגרפים, לכן שמרו עותק משלכם בכל חודש, עם צילום מסך או הערה קצרה עם המספרים, אם אתם רוצים היסטוריה.

איור איזומטרי כחול ולבן של בוט שנע בין צמתים מחוברים לעבר אתר
כל בקשה של Googlebot נעה מ-Google אל הדפים שלכם, וכל תגובה נרשמת.

קראו את קודי התגובה, שלב אחר שלב

פילוח התגובות הוא החלק בדוח שהכי הרבה פעמים מוביל לתיקון. קראו אותו בסדר הזה, ועצרו בשלב הראשון שמראה בעיה אמיתית.

מיון תגובות הסריקה בחמישה שלבים

  1. בדקו את סטטוס המארחאדום או צהוב ב-robots.txt, DNS או קישוריות פירושו ש-Googlebot לא הצליח להגיע לאתר בכלל. תקנו את זה לפני הכול.
  2. הסתכלו על התגובות הגרועות5XX, שאר ה-4XX, robots.txt לא זמין, timeouts ושגיאות הפניה. רשמו את החלק שלהן ואם הוא משתנה משבוע לשבוע.
  3. בדקו את חלק ההפניותהרבה תגובות 301 ו-302 אומרות ש-Googlebot מבזבז בקשות על קפיצות במקום על דפים.
  4. אשרו את ה-404404 תקין אם הדף הוסר בכוונה. זו בעיה אם הקישורים הפנימיים או מפת האתר עדיין מצביעים אליו.
  5. שלפו את הכתובות מהיומניםהפכו כל קטגוריה גרועה לרשימת כתובות, ואז תקנו את מקור הקישורים, לא את הדוח.

תגובות טובות, אולי טובות, ורעות

Google מסווגת את התגובות לשלוש קבוצות. הקיבוץ הוא סינון ראשוני, לא פסק דין על כל כתובת.

  • טובות: 200, 301, 302, 304 ו-meta refresh.
  • אולי טובות: 404.
  • רעות: robots.txt לא זמין, 401 ו-407, 5XX, שאר ה-4XX, שגיאות DNS, שגיאות שליפה, timeouts ושגיאות הפניה.

401 נספר כרע בדוח, אבל הוא נכון אם הדף נמצא מאחורי התחברות שצריכה להישאר סגורה. החליטו לגבי כל כתובת בנפרד. הדוח אומר לכם לאיזו קבוצה להסתכל, ואתם מחליטים מה כל תגובה צריכה להיות.

הפניות: העלות שלא רואים

302 נספר כתגובה טובה, לכן חלק ההפניות יכול להיראות תקין בזמן שהוא עדיין מבזבז סריקה. בניתוח של אתר גדול, שפורסם באפריל 2021 ב-Search Engine Journal על ידי Tomek Rudzki מ-Onely, 16% מהבקשות הלכו לדפים מופנים, והכותב המליץ לבדוק כל קפיצה בהפניה.

כך שרשרת פוגעת. נניח ש-/blog/seo-tips מפנה ל-/blog/seo-tips-2025, שמפנה ל-/blog/seo-tips-guide. Googlebot צריך שלוש בקשות כדי להגיע לתוכן, וכל קישור פנימי שעדיין מצביע על הכתובת הראשונה חוזר על העלות. הפנו את הכתובת הראשונה ישירות לכתובת הסופית, ועדכנו את הקישורים הפנימיים כדי שיפסיקו להשתמש בנתיבים הישנים. בודק ההפניות החינמי עוקב אחרי שרשרת של כל כתובת, קפיצה אחרי קפיצה, כך שאפשר לראות את הנתיב לפני התיקון. אם אתם לא בטוחים אם הפניה צריכה להיות קבועה, קראו את המדריך שלנו על 301 לעומת 302: 301 אומר שההעברה קבועה, ו-302 אומר שהיא זמנית.

טיפ

מיינו את כתובות ההפניה לפי כמה פעמים Googlebot מבקש אותן ביומנים שלכם. תקנו קודם את חמש השרשראות המבוקשות ביותר. הן בדרך כלל מהוות את רוב חלק ההפניות.

5XX ו-429: האות שמוריד את קצב הסריקה

המדריך של Google לאתרים גדולים אומר שכשאתר מגיב עם שגיאות שרת (5XX) או עם אותות הגבלת קצב כמו HTTP 429, Google מורידה את מגבלת קצב הסריקה. לכן עלייה ב-5XX עולה לכם יותר מהכתובות השבורות בלבד. היא יכולה להאט גם את הסריקה של הדפים הבריאים שלכם. תקציב הסריקה של אתר תלוי בחלקו באיכות התגובה של השרת, וה-5XX מקטין את החלק הזה.

כשאתם רואים עלייה ב-5XX, בדקו מתי היא קורית. שגיאות באותה שעה כל יום מצביעות על עבודת גיבוי, ייבוא מתוזמן או שיא תנועה. שגיאות מיד אחרי פריסה מצביעות על הפריסה. שגיאות שמפוזרות לאורך היום מצביעות על קיבולת. לכל דפוס יש תיקון שונה, ואף אחד מהם לא נפתר בעריכה של דף אחד.

גילוי, רענון וסוג קובץ: מה הפרופורציות אומרות

פילוח מטרת הסריקה מחלק את הבקשות לגילוי, כש-Google רואה כתובת בפעם הראשונה, ולרענון, כשהיא סורקת מחדש כתובת שהיא כבר מכירה. היחס ביניהם מראה על מה Google מבזבזת את הזמן.

  • חלק גילוי גבוה באתר שמוסיף מעט דפים אומר ש-Google ממשיכה למצוא כתובות חדשות. חפשו מחוללי כתובות: פרמטרים של סינון ומיון, דפי תוצאות חיפוש פנימי, ארכיוני לוח שנה ומזהי סשן. כל אחד מהם יוצר כתובות שנראות חדשות.
  • חלק רענון גבוה בדפים שלעולם לא משתנים אומר ש-Google ממשיכה לבקר בהם. בדקו אם הדפים האלה מחזירים 304 Not Modified. Google אומרת שהחזרת 304 לדף שלא השתנה אומרת לה להשתמש שוב בעותק שיש לה. אם הדפים מחזירים 200 עם בייטים מלאים בכל פעם, השרת שלכם שולח את הדף כולו בכל ביקור.

אתר גדול, יום סריקה אחד

7460דפים שנסרקו ביום בממוצע
35%מהסריקות האלה היו סריקות גילוי, לכתובות ש-Google מעולם לא שלפה

מקור: Tomek Rudzki (Onely), Search Engine Journal, אפריל 2021. אתר של כמיליון דפים, עם צבר כתובות "Discovered, currently not indexed".

הניתוח עשה בדיקה גסה ושימושית. בקצב הזה הוא העריך שהצבר ייסרק בערך בעוד שנה. המספר הזה הוא חישוב של כותב אחד על אתר אחד, והצילומים מ-2021, אז אל תעתיקו אותו. השיטה עדיין עובדת על הנתונים שלכם: חלקו את מספר הכתובות שממתינות לגילוי במספר סריקות הגילוי היומיות בדוח. אם התשובה נמדדת בחודשים, יש לכם בעיית סריקה לתקן לפני שתפרסמו עוד.

פילוח סוג הקובץ סופר תגובות, לא בייטים, ולכן הוא מראה כמה בקשות הולכות לכל סוג משאב, לא כמה הן כבדות. הפניות נופלות תחת "Other file type", ובקשות שנכשלו מופיעות כ-"Unknown (Failed)". חלק הולך וגדל של Unknown (Failed) הוא אות כשל, לא סוג קובץ, ויש לטפל בו יחד עם התגובות הרעות.

Crawl Stats, יומני שרת ובדיקת URL: שלוש הסתכלויות על Googlebot

יש שלוש דרכים לראות מה Googlebot עשה באתר שלכם: דוח Crawl Stats, יומני השרת שלכם, וכלי בדיקת כתובת ה-URL ב-Search Console. כל אחד עונה על שאלה אחרת, ולכל אחד יש נקודות עיוורות שהשניים האחרים מכסים. לבעיה אמיתית, השתמשו בשלושתם.

דוח Crawl Stats

עיקרון: סיכום של בקשות Googlebot לנכס שלם, שמחושב על ידי Google. מתי להשתמש בו: למגמות, לסטטוס המארח ולסקירה ראשונה של הבעיה. יתרונות: הוא חינמי, מכסה כשלים שלא מגיעים לשרת בכלל, ומוסיף את המטרה וסוג Googlebot, שיומנים לא נותנים ישירות. מגבלות: זה סיכום, חלק מהבקשות עלולות לא להיספר, וכתובות הדוגמה הן מדגם. דוגמה: חלק ה-5XX עולה שלושה ימים במארח אחד. הדוח אומר לכם את הימים ואת המארח, והיומנים אומרים לכם את הכתובות ואת השעות.

יומני שרת

עיקרון: הרשומה הגולמית שהשרת של האתר כותב על כל בקשה שהוא מקבל. מתי להשתמש בו: לרשימות מדויקות של כתובות, לקודי סטטוס לפי שעה, ולהוכחה מאחורי מגמה בדוח. יתרונות: מלא לכל בקשה שהגיעה לשרת, עם הכתובת המדויקת וקוד הסטטוס. מגבלות: הם לא מכילים בקשות שנכשלו לפני שהגיעו לשרת, אפשר לזייף user agent, ורוב השרתים מסובבים או מוחקים יומנים אחרי תקופה מסוימת. הנה פקודה שסופרת את קודי הסטטוס של בקשות שמזוהות כ-Googlebot ביומן בפורמט combined:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

הפקודה מתאימה למחרוזת ה-user agent, ואז סופרת את קוד הסטטוס, שהוא השדה התשיעי בפורמט combined. אם השרת שלכם כותב פורמט אחר, שנו את מספר השדה. התוצאה היא טבלה של ספירות לפי קוד סטטוס, כשהנפוץ ביותר ראשון.

אזהרה

כל אחד יכול לשלוח בקשה שטוענת שהיא Googlebot. לפני שאתם פועלים על קפיצה חשודה, ודאו שכתובות ה-IP שייכות ל-Google. Google מתעדת בדיקת reverse DNS לצורך כך, והיא שווה את הזמן לפני שחוסמים או מפנים משהו על בסיס user agent.

כלי בדיקת כתובת URL

עיקרון: בדיקה של כתובת אחת שמראה מתי Google שלפה אותה בפעם האחרונה, מה היא קיבלה, ואם היא מאונדקסת. מתי להשתמש בו: לאישור תיקון אחד, למשל אם Google שלפה את הדף המתוקן אחרי ששיניתם אותו. יתרונות: מהיר, מדויק וקל לקריאה לכתובת בודדת. מגבלות: כתובת אחת בכל פעם, לכן הוא לא יכול להראות דפוס לאורך האתר. בניתוח שהוזכר למעלה, הכלי הראה שדף קטגוריה מרכזי לא נסרק במשך שלושה חודשים, והכותב השתמש בו כתחליף ליומנים לדף הזה.

דוח Crawl Stats מול יומני שרת

דוח Crawl Stats
  • סופר ניסיונות DNS וחיבור שנכשלו
  • מציג סטטוס מארח וסוג Googlebot
  • מציג כתובות דוגמה במדגם, לא את כולן
  • חלק מהבקשות עלולות לא להיספר
יומני שרת
  • כל בקשה שהגיעה לשרת שלכם
  • הכתובת המדויקת וקוד הסטטוס לכל בקשה
  • מפספסים ניסיונות DNS וחיבור שנכשלו
  • אפשר לזייף את ה-user agent
שיטההשאלה שהיא עונה עליההיקףנקודה עיוורת
דוח Crawl Statsהאם Googlebot בריא, ואיך הוא מתנהג בסך הכול?הנכס כולו, בסיכוםכתובות דוגמה במדגם, וחלק מהבקשות עלולות לא להיספר
יומני שרתאילו כתובות קיבלו איזו תגובה, ומתי?כל בקשה שהגיעה לשרת שלכםניסיונות DNS וחיבור שנכשלו, ו-user agents שאפשר לזייף
בדיקת URLמתי Google שלפה את הדף הזה בפעם האחרונה, ומה היא קיבלה?כתובת אחתלא אומרת כלום על שאר האתר

סקירה חודשית, שלב אחר שלב

חודש אחד של נתונים אומר מעט. הדוח מועיל כשמשווים אותו לנורמה שלכם, לכן שמרו רישום קצר וסקרו אותו באותו יום בכל חודש. זה שגרה שעובדת לרוב האתרים.

הסקירה החודשית בשישה שלבים

  1. שמרו את החודשצילום מסך או הערה של שלושת הגרפים, סטטוס המארח ופילוח התגובות.
  2. השוו לקו הבסיסשינוי בסך הבקשות יכול להיות תקין אחרי חודש פרסום גדול. חלק חדש של 5XX ראוי תמיד למבט.
  3. בדקו לפי הסדרקודם סטטוס המארח, אחר כך התגובות הרעות, ואז חלק ההפניות.
  4. שלפו את הכתובותלכל קטגוריה רעה, קחו מהיומנים את הכתובות המובילות לאותה תקופה.
  5. תקנו את המקורהקישורים הפנימיים, כללי ההפניה, קיבולת השרת או כלל ה-robots.txt. לא את הגרף.
  6. רשמו את השינויכתבו את התאריך של כל תיקון, וקראו את החודש הבא עם התאריך הזה בראש.

סימנים שמצדיקים פעולה החודש

  • סטטוס המארח צהוב או אדום באחת משלוש הבדיקות
  • חלק ה-5XX עולה כמה ימים ברצף, או מזנק באותה שעה
  • תגובות ההפניה גדלות אחרי שינוי באתר שנועד להסיר אותן
  • חלק הגילוי נשאר גבוה באתר שמפרסם מעט
  • יום גרוע אחד בלי שום שינוי ביומנים, שזה רעש עד שזה חוזר

לפני ואחרי מעבר

נניח שאתם מעבירים את הבלוג שלכם מ-/old-blog/ ל-/blog/ עם הפניות 301. מיד אחרי המעבר, צפו שחלק ההפניות יעלה, כי Googlebot עדיין מבקש את הנתיבים הישנים. במהלך השבועות הבאים החלק אמור לרדת כש-Google לומדת את הכתובות החדשות. צפו גם לעלייה בחלק הגילוי, כי הכתובות החדשות חדשות בשבילה. אם חלק ההפניות נשאר גבוה אחרי כמה שבועות, חפשו שרשראות, קישורים פנימיים ישנים, או הפניות ששכחתם להוסיף. המדריך שלנו על תיקון קישורים שבורים מכסה את צד הקישורים של אותו ניקוי.

טעויות נפוצות, ואיך להימנע מהן

רוב הטעויות באות מקריאת גרף אחד כפסק דין. לכל אחת מחמש הטעויות למטה יש סימן ברור שמופיע בדוח, ותיקון שאפשר לבדוק ביומנים.

קריאת סך בקשות הסריקה כציון

מה זה: ההנחה שיותר בקשות סריקה פירושו SEO טוב יותר. איך לזהות: הבקשות מזנקות בחדות אחרי גרסה שהוסיפה אפשרויות סינון או מיון, והכתובות החדשות נושאות פרמטרים. איך לתקן: בדקו את חלק הגילוי ואת דפוסי הכתובות ביומנים. תקנו את מחולל הכתובות: הפסיקו לקשר לכתובות עם פרמטרים, או הגדירו canonical וחסמו את אלה שאין להם ערך חיפוש. מספר גבוה יותר של בקשות חסרות ערך הוא עלות, לא רווח.

סמיכה על זמן התגובה הממוצע

מה זה: הסתכלות על הממוצע והחמצת השיאים שהוא מסתיר. איך לזהות: הממוצע נראה שטוח, אבל היומנים שלכם מראים תגובות איטיות באותה שעה בכל לילה. איך לתקן: קבצו את היומנים לפי שעה ולפי כתובת, ואז השוו את השעות האיטיות לגיבויים, לייבואים ולפריסות. תקנו את העבודה האיטית או את התבנית האיטית, ואז בדקו שוב את הממוצע. הממוצע הוא קו מגמה, וקו מגמה לא יכול לומר לכם איפה האיטיות מתחילה.

התעלמות מסטטוס המארח כשהדפים נטענים בסדר

מה זה: ההנחה שהאתר בריא כי הוא נפתח בדפדפן שלכם. איך לזהות: סטטוס המארח מראה צהוב או אדום עבור robots.txt, DNS או קישוריות, בזמן שהדפים שלכם עובדים עבורכם. Googlebot מגיע לאתר דרך נתיבי רשת אחרים, וחומת אש, כלל CDN או רשומת DNS יכולים לחסום אותו בלי לפגוע בדפדפן שלכם. איך לתקן: ודאו שקובץ robots.txt נטען עם תגובה 200 בעזרת בודק robots.txt, ואז בדקו את כללי חומת האש וה-CDN לתאריכים שבהם הסטטוס הפך לאדום.

עצירת הסריקה, ואז קריאת הירידה כהתקדמות

מה זה: שינוי ב-robots.txt שמוריד את בקשות הסריקה, ואחריו דוח שנראה רגוע יותר. איך לזהות: סך הבקשות יורד בחדות ביום שינוי ב-robots.txt. איך לתקן: ירידה יכולה להיות נכונה אם חסמתם נתיבים חסרי ערך, אבל ודאו שהמקטעים החשובים שלכם עדיין נסרקים. הסתכלו ביומנים על המקטעים שחשובים לכם. אם דף שאתם צריכים חסום, המדריך שלנו על הסטטוס חסום על ידי robots.txt מסביר איך למצוא את הכלל ומה לשנות.

בלבול בין סריקה לאינדוקס

מה זה: הטיפול בדף שנסרק היטב כאילו הוא מאונדקס. איך לזהות: Googlebot שולף כתובת באופן קבוע, אבל הכתובת לא מופיעה בתוצאות של Google. מספר סריקות גבוה לא מוכיח ש-Google שומרת את הדף. איך לתקן: עברו מדוח Crawl Stats לדוחות אינדוקס הדפים, ובדקו את הסטטוס של הכתובת. המדריך שלנו על נסרק, אבל לא מאונדקס כרגע מסביר את הסיבות, והמדריך על אינדוקס ב-Google מכסה את הבדיקות לפי הסדר.

טעותאיך לזהותאיך לתקן
קריאת סך הבקשות כציוןהבקשות עולות אחרי שמופיעים פרמטרים בכתובותעצרו את יצירת הכתובות חסרות הערך, ואז ספרו מחדש
הממוצע של זמן התגובה לבדשעות איטיות מוסתרות על ידי ממוצע שטוחקבצו יומנים לפי שעה, והתאימו את השעות האיטיות למשימות
התעלמות מסטטוס המארחצהוב או אדום בזמן שהדפים נפתחים בדפדפןבדקו robots.txt, DNS, חומת אש וכללי CDN
ירידה בסריקה שנקראת כהתקדמותהבקשות יורדות ביום של שינוי ב-robots.txtודאו שהמקטעים החשובים עדיין נסרקים
בלבול בין סריקה לאינדוקססריקות קבועות, והכתובת חסרה בתוצאותבדקו את סטטוס האינדוקס של הכתובת

איפה Sorank נכנס, ומה הלאה

לוח ה-GEO / SEO של Sorank מציג את הקליקים, החשיפות, ה-CTR והמיקום שלכם מ-Search Console לצד הביקורים שעוזרי AI שולחים אליכם, שנקראים מ-Google Analytics. הוא לא מציג את בקשות Googlebot, לכן שמרו את דוח Crawl Stats למטרה הזאת. שני הכלים עונים על שאלות שונות: הלוח אומר לכם מה Google שולחת אליכם, ו-Crawl Stats אומר לכם איך Google מבקרת בשרת שלכם.

טיפ

לפני שאתם מבזבזים זמן ביומנים על דף בודד, בדקו אם Google יכולה בכלל לאנדקס אותו עם בודק הניתנות לאינדוקס החינמי. הוא עונה על השאלה הראשונה תוך שניות.

מה אתם רואיםהתחילו עםואז פתחו
סטטוס מארח אדום או צהובבודק robots.txt, ואז סטטוס ה-DNS והאירוחיומני שרת לאותם תאריכים
חלק 5XX עולההיומנים שלכם מקובצים לפי שעה וכתובתקיבולת השרת, או התבנית שנכשלת
חלק הפניות גבוהבודק ההפניות על הכתובות המובילותשרשראות הפניה וקישורים פנימיים ישנים
הרבה כתובות מתגלות, מעט מאונדקסותבודק הניתנות לאינדוקס על מדגמיםמדריך ניתוח קובצי יומן ל-SEO שלנו

דוח Crawl Stats הוא מסך ראשון טוב. הוא אומר לכם איזה סוג בעיה לחשוד בו ובאילו תאריכים. התיקון כמעט תמיד נמצא ברשימת כתובות, והרשימה הזאת נמצאת ביומנים שלכם. התחילו מהדוח, ואז עברו לכתובות.

שאלות נפוצות

איפה נמצא דוח Crawl Stats ב-Google Search Console?

פתחו את הנכס, היכנסו להגדרות, בחרו Crawl stats ולחצו על Open report. הדוח קיים רק לנכסי Domain ולנכסי URL prefix ברמת השורש, לכן נכס של תיקייה משנה לא יציג אותו.

האם מספר גבוה של בקשות סריקה הוא סימן טוב?

לא בהכרח. הסך סופר כל בקשה, כולל בקשות שנכשלו וניסיונות שנחסמו על ידי robots.txt, ולכן הוא מראה כמה Googlebot מבקר ולא כמה הביקורים האלה בריאים. קראו אותו יחד עם קודי התגובה וזמן התגובה הממוצע.

אפשר לסמוך על Crawl Stats במקום על יומני שרת?

לא לבד. Google אומרת שחלק מהבקשות עלולות לא להיספר, ושכתובות הדוגמה שלה לא מקיפות. השתמשו בדוח למגמות ולקטגוריות של כשלים, וביומנים שלכם לכתובות מדויקות.

קבלו את תוכנית התוכן שלכם ל-30 יום בחינם

אנחנו מנתחים את המתחרים שלכם, את האתר שלכם ואת הנראות שלכם ב-AI כדי ליצור עבורכם תוכנית תוכן מותאמת אישית בחינם.

כלי ה-SEO החינמיים שלנו

לכל הכלים החינמיים שלנו

קבלו את תוכנית התוכן שלכם ל-30 יום בחינם

אנחנו מנתחים את המתחרים שלכם, את האתר שלכם ואת הנראות שלכם ב-AI כדי ליצור עבורכם תוכנית תוכן מותאמת אישית בחינם.

תמונה של משתמש Sorankתמונה של משתמש Sorankתמונה של משתמש SorankCelio Fabianoתמונה של משתמשת Sorankתמונת הפרופיל של הלקוח Xavier Breull
Google
כוכבכוכבכוכבכוכבכוכב
5/5
+5,000
משתמשים

המלצות ממייסדים שאפתנים

מ-0 ל-10000 מבקרים תוך 5 חודשים

Celio Fabianomonrobotlavevitre.frGoogleמסחר אלקטרוני

מ-0 ל-5000 ביקורים תוך 8 חודשים

Thibault BMsorank.comGoogleתוכנה

מ-0 ל-1104 קליקים תוך 4 חודשים

Dominiqueflight-sensations-idf.comGoogleפנאי ותעופה

מ-0 ל-163 קליקים תוך 6 חודשים

Coworking Pariscoworking-paris.frGoogleOffice broker

x92 קליקים ב-7 חודשים

Guide Zanzibarguidezanzibar.comGoogleתיירות