העדפות

הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף (מדיניות קובצי Cookie)

שגיאות סריקה: איך למצוא, לתעדף ולתקן כל סוג

מצא ותקן שגיאות סריקה: DNS, שרת, robots.txt, 404, soft 404 ושגיאות הפניה. איך Googlebot מגיב לכל אחת, ושיטה ב-6 צעדים לתקן אותן לפי הסדר.

פורסם בתאריך
18/11/2026
עודכן בתאריך
18/11/2026
זמן קריאה
18 דקות
שגיאות סריקה: איך למצוא, לתעדף ולתקן כל סוג

כלים

בעמוד זה

בקצרה

שגיאות סריקה הן בקשות שמנוע חיפוש או סורק בינה מלאכותית שולח לאתר שלך ונכשלות: השרת לא עונה בזמן, ה-DNS לא מגיב, אי אפשר לטעון את robots.txt, הפניה נכנסת ללולאה, או שהעמוד מחזיר קוד 4xx או 5xx. שגיאות ברמת האתר (DNS, שרת, robots.txt) עלולות לעצור את הסריקה של Google בכל האתר, לכן תקן אותן ראשונות; שגיאות ברמת הכתובת (404, soft 404, שגיאות הפניה) חשובות רק כשהן פוגעות בעמודים שאתה רוצה שיאונדקסו. מוצאים אותן בדוחות Crawl Stats ו-Page indexing של Search Console, מאמתים עם כלי סריקה ועם יומני השרת, ואז מתקנים את הסיבה ומאשרים את התיקון.

רוצים להעמיק? שאלו את

שאלון קצר

מי צריך לתקן את הצד הטכני של האתר שלכם?

שאלה 1 מתוך 425%
מה קורה היום?

מה הן שגיאות סריקה, ומה הן לא

סורק פועל כמו מבקר סבלני מאוד. הוא מבקש מהשרת שלך כתובת, מחכה לתשובה, קורא את קוד הסטטוס ואת התוכן, ואז עובר לקישורים שמצא. שגיאת סריקה היא כל שלב בשרשרת הזו שנכשל. המבקר אף פעם לא מקבל עמוד שמיש.

ההגדרה הזו חשובה כי דוחות רבים מערבבים שגיאות סריקה עם החלטות אינדוקס. "Crawled, currently not indexed" אינה שגיאת סריקה: Google טען את העמוד בהצלחה ובחר לא לשמור אותו. גם "Excluded by noindex" אינה שגיאת סריקה: אתה ביקשת מ-Google להסיר את העמוד. שגיאת סריקה פירושה שהטעינה עצמה נכשלה.

שתי המשפחות: שגיאות אתר ושגיאות כתובת

Google מחלקת את הבעיות לשתי רמות, וכדאי שגם אתה תעשה כך.

  • שגיאות אתר (Google קוראת להן בעיות מצב מארח): כשלי תרגום DNS, כשלי חיבור לשרת וכשלי טעינת robots.txt. הן פוגעות בכל כתובת במארח. יום רע כאן יכול להקפיא את הסריקה של כל האתר.
  • שגיאות כתובת: עמוד אחד מחזיר 404, 410, 401, 403, 5xx, soft 404 או הפניה שבורה. הן פוגעות רק בכתובת הזו, ורבות מהן אינן מזיקות.

שגיאות אתר מול שגיאות כתובת

שגיאות אתר (לתקן היום)
  • ה-DNS לא מתרגם את הדומיין
  • השרת מתעכב או מנתק את החיבור
  • robots.txt מחזיר 5xx או 429
  • מופיעות ב-Crawl Stats, Host status
  • עלולות לעצור את סריקת כל העמודים
שגיאות כתובת (מיון)
  • 404, 410, soft 404
  • 401, 403 וקודי 4xx אחרים
  • לולאת הפניות או שרשרת ארוכה מדי
  • מופיעות בדוח Page indexing
  • חשובות רק בעמודים שאתה רוצה לאנדקס

למה ההבחנה הזו משנה את סדרי העדיפויות שלך

חנות עם 4000 כתובות מוצר ישנות שמחזירות 404 יכולה להיות בריאה לגמרי אם המוצרים האלה נעלמו לתמיד. אותה חנות עם קובץ robots.txt שמחזיר 503 במשך שש שעות נמצאת במצב חירום אמיתי, גם אם כל עמודי המוצר עובדים. התחל במארח, אחר כך בכתובות שמכניסות כסף, ואחר כך בכל השאר.

איך Googlebot מגיב לכל סוג של כשל

כדי לתקן שגיאות סריקה כמו שצריך, צריך לדעת מה Google באמת עושה כשהיא נתקלת באחת מהן. התיעוד של Google על איך קודי סטטוס HTTP ושגיאות רשת משפיעים על חיפוש Google (Google Search Central) קובע את הכללים. הנה מה שהם אומרים בפועל.

קודי סטטוס, משפחה אחר משפחה

תגובהמה Google עושההאם זו בעיה?
2xxמעבירה את התוכן לאינדוקס. האינדוקס אינו מובטח.לא, אלא אם העמוד ריק (soft 404).
301, 308אות חזק שהיעד הוא הכתובת החדשה.לא, אם זו קפיצה אחת ל-200.
302, 303, 307אות חלש: הכתובת המקורית נוטה להישאר הכתובת הקנונית.כן, אם המעבר קבוע.
שרשראות 3xxעוקבת עד 10 קפיצות כברירת מחדל, ואז מוותרת.כן: כל קפיצה מבזבזת בקשה, ולולאות אף פעם לא נפתרות.
404, 410 וקודי 4xx אחרים (חוץ מ-429)מתייחסת לתוכן כלא קיים, מסירה כתובות מאונדקסות עם הזמן וסורקת אותן פחות.רק אם העמוד אמור להתקיים.
401, 403כמו קודי 4xx אחרים. הם לא מאטים את הסריקה.כן, אם הם חוסמים את Googlebot מעמודים ציבוריים.
429מטופל כאות לעומס בשרת, כמו 5xx.כן: הסריקה מואטת.
5xxמאטה את הסריקה ביחס לכמות השגיאות. כתובות שממשיכות להיכשל מוסרות מהאינדקס.כן, תמיד.

שני פרטים מפילים צוותים רבים. ראשית, 401 ו-403 לא מורידים את קצב הסריקה. אם השרת שלך מתקשה, החזרת 403 ל-Googlebot לא עוזרת; Google מבקשת להחזיר 503 או 429 באופן זמני במקום. שנית, 404 אינו עונש. זו התשובה הנכונה לעמוד שכבר לא קיים.

כשלי robots.txt הם המסוכנים ביותר

התיעוד של דוח Crawl Stats (Search Console Help) מסביר את הכלל. קובץ robots.txt שעונה 200 (גם אם ריק) או 403, 404 או 410 (אין קובץ) תקין. קובץ robots.txt שעונה 429 או 5xx הוא כשל, ואז Google נוקטת זהירות.

מה Google עושה כש-robots.txt ממשיך להיכשל

12 השעות הראשונותGoogle עוצרת לחלוטין את סריקת האתר.
עד 30 יוםGoogle משתמשת ב-robots.txt האחרון שהצליחה לטעון.
אחרי 30 יוםההתנהגות תלויה בשאלה אם דף הבית נגיש.

מקור: Google Search Console Help, דוח Crawl Stats

לכן כלל ב-CDN או חומת אש שמחזירים 503 על /robots.txt יכולים להקפיא את כל האתר שלך לחצי יום, גם אם כל שאר הכתובות תקינות. בדוק את הקובץ הזה ראשון בכל חקירה של שגיאות סריקה. המדריך שלנו על הסטטוס "Blocked by robots.txt" עוסק בבעיה ההפוכה, כשהקובץ עובד אבל חוסם יותר מדי.

מגבלות הסריקה של Google שכדאי לזכור

10קפיצות הפניה לכל היותר שהסורקים של Google עוקבים אחריהן
12 שעותעצירת סריקה כש-robots.txt מחזיר 5xx או 429
30 יוםGoogle ממשיכה להשתמש ב-robots.txt התקין האחרון
5%שיעור כשלי DNS יומי שניתן כדוגמה לבעיית מארח

מקורות: Google Search Central, קודי סטטוס HTTP ושגיאות רשת; Search Console Help, דוח Crawl Stats

איור של סורק שעוקב אחרי קישורים ברחבי אתר, עם כמה עמודים שבורים שמתוקנים
שגיאות סריקה הן הנקודות שבהן המסלול של הסורק באתר שלך נקטע.

כל סוגי שגיאות הסריקה, עם ההסבר והתיקון

הנה הרשימה המלאה שתפגוש ב-Search Console ובכלי סריקה, עם הסיבה והתיקון לכל אחת. השמות לקוחים מהתיעוד של דוח Page indexing (Search Console Help).

שגיאות DNS

Google לא הצליחה לתרגם את שם הדומיין שלך לכתובת IP, או ששרת ה-DNS לא ענה. סיבות נפוצות: דומיין שפג תוקפו, תקלה אצל ספק ה-DNS, רשומה שגויה אחרי מעבר, או הגדרת DNSSEC שגויה. בדוק עם שאילתה מחוץ לרשת שלך:

dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec

התיקון: תקן את הרשומות, הורד את ה-TTL לפני כל מעבר, והשתמש בספק DNS עם גיבוי. אם קיימים גם example.com וגם www.example.com, שניהם חייבים להיתרגם, גם אם אחד מהם רק מפנה.

שגיאות חיבור לשרת ו-5xx

השרת לא ענה בזמן, סגר את החיבור, או ענה 500, 502, 503 או 504. סיבות טיפוסיות: מסד נתונים עמוס, תהליך PHP או Node שקורס תחת עומס, פסק זמן ב-reverse proxy, עדכון תוסף, או חומת אש שמגבילה קצב לבוטים. הסתכל על הדפוס בזמן: שגיאות באותה שעה כל לילה מצביעות לרוב על גיבוי או משימת cron.

התיקון: קרא את יומן השגיאות של השרת בזמנים ש-Google מדווחת, הגדל פסקי זמן או מספר תהליכים, שמור במטמון עמודים כבדים, וודא שהגנת הבוטים מאפשרת ל-Googlebot מאומת לעבור. לתחזוקה מתוכננת, החזר 503 עם כותרת Retry-After ולא עמוד 200 שאומר "נחזור בקרוב":

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

404 ו-410 (לא נמצא)

העמוד לא קיים. זה בסדר כשהוא נמחק בכוונה ושום דבר לא מקשר אליו. זו בעיה כשלכתובת עדיין יש קישורים נכנסים, תנועה או קישורים פנימיים, או כשהעמוד אמור להתקיים ופריסה שברה אותו.

התיקון: אם התוכן עבר, הוסף הפניית 301 אחת למקבילה הקרובה ביותר. אם הוא נעלם לתמיד, השאר 404 או השתמש ב-410, והסר את הקישורים הפנימיים ואת רשומות מפת האתר שמצביעים עליו. לעולם אל תפנה כל 404 לדף הבית: Google נוטה להתייחס אליהן כ-soft 404.

Soft 404

השרת אומר 200 אבל העמוד נראה ריק או אומר "לא נמצא": קטגוריה ריקה, עמוד חיפוש בלי תוצאות, מוצר שאזל מהמלאי בלי תוכן. Google מבזבזת בקשה ולא מקבלת כלום. אנחנו מכסים אותה לעומק במדריך שלנו על שגיאות soft 404.

401, 403 וקודי 4xx אחרים

Googlebot אף פעם לא שולח פרטי התחברות, לכן 401 או 403 על עמוד ציבורי פירושו שהשרת שלך או שכבת אבטחה חוסמים אותו. אשמים נפוצים: סיסמת סביבת הבדיקות שנשארה בייצור, כלל WAF, חסימה לפי מדינה, או כלל הגנה מקישור ישיר שהוחל על HTML. תקן את הכלל, לא את הסימפטום, ובדוק עם כלי URL Inspection ב-Search Console.

שגיאות הפניה

Google מדווחת על שגיאת הפניה כשהיא נתקלת בלולאה, בשרשרת ארוכה מדי, בכתובת שחורגת מהאורך המרבי, או בכתובת שגויה או ריקה בשרשרת. המקרה הקלאסי אחרי מעבר: מ-http ל-https, אחר כך ל-www, אחר כך ללוכסן בסוף, אחר כך לנתיב חדש. ארבע קפיצות במקום שאחת מספיקה. המדריך המלא שלנו על הפניות ב-SEO מסביר איך לקצר אותן.

טיפ

הדבק כל כתובת חשודה בבודק ההפניות החינמי של Sorank: הוא עוקב אחרי השרשרת המלאה, מציג כל קפיצה ואת קוד הסטטוס שלה, ואומר לך איפה הלולאה או הקפיצה המיותרת.

פסקי זמן, תגובות קטועות ועמודים גדולים מדי

חלק מהשגיאות לא מציגות שום קוד סטטוס. העמוד מתחיל להיטען ונעצר, או שהוא כבד כל כך שהסורק קורא רק חלק ממנו. הסורקים של Google קוראים מספר מוגבל של בתים לכל קובץ, כך שעמוד מנופח בסקריפטים מוטמעים או בתמונות base64 עלול לאבד את התוכן שבתחתיתו. בדוק תבניות כבדות עם בודק גודל העמוד.

כל הדרכים למצוא שגיאות סריקה, בהשוואה

אין כלי אחד שמציג את כל שגיאות הסריקה. כל שיטה רואה את הבעיה מזווית אחרת, וביקורת רצינית משלבת לפחות שתיים.

שיטה 1: Search Console, דוח Crawl Stats

העיקרון: Google מציגה את בקשות הסריקה שלה ב-90 הימים האחרונים, מקובצות לפי תגובה, סוג קובץ, מטרה וסוג Googlebot, וגם את מצב המארח עבור DNS, שרת ו-robots.txt. מתי להשתמש: תמיד, וראשונה, לשגיאות אתר. יתרונות: זו האמת מ-Google עצמה. מגבלות: רק לנכסים ברמת השורש, דוגמאות מדוגמות, ו-Google אומרת שאתרים עם פחות מאלף עמודים כמעט לא צריכים אותו. דוגמה: קפיצה בתגובות "page timeout" כל יום ראשון ב-3 לפנות בוקר שמתאימה לגיבוי של מסד הנתונים.

עמוד העזרה של Google Search Console לדוח Crawl Stats
התיעוד של Google לדוח Crawl Stats, שבו מוסבר מצב המארח עבור DNS, שרת ו-robots.txt.

שיטה 2: Search Console, דוח Page indexing ו-URL Inspection

העיקרון: מציג את הכתובות ש-Google מכירה ולמה הן לא מאונדקסות, עם סיבות כמו Server error (5xx), Redirect error, Not found (404) או Soft 404. מתי להשתמש: למיון שגיאות כתובת ולאימות תיקונים. יתרונות: קשור לעמודים ש-Google באמת ניסתה. מגבלות: הדוחות מתעכבים בימים, רשימות הדוגמאות מוגבלות, והוא מערבב שגיאות סריקה עם בחירות אינדוקס. דוגמה: 300 כתובות תחת "Redirect error" שכולן חולקות את אותה קידומת ישנה /blog/.

שיטה 3: כלי סריקה שולחני או בענן

העיקרון: כלי כמו Screaming Frog סורק את האתר שלך כמו בוט, עוקב אחרי קישורים מדף הבית, ומתעד כל קוד סטטוס, שרשרת הפניות וקישור שבור. מתי להשתמש: לפני ואחרי מעבר, עיצוב מחדש או פריסה גדולה, ומדי חודש באתרים גדולים. יתרונות: מיידי, מלא עבור עמודים מקושרים, ומראה איפה נמצא כל קישור שבור. מגבלות: הוא לא יודע מה Google באמת ביקשה, מפספס עמודים יתומים, והשרת שלך עשוי להתייחס אליו אחרת מאשר ל-Googlebot. מדריך ההגדרה של Screaming Frog שלנו מוביל ביקורת מלאה.

עמוד המוצר של Screaming Frog SEO Spider
Screaming Frog SEO Spider סורק את האתר שלך כמו בוט ומציג כל קוד סטטוס, שרשרת הפניות וקישור שבור.

שיטה 4: ניתוח יומני שרת

העיקרון: יומני הגישה מתעדים כל בקשה, כולל של Googlebot, Bingbot, GPTBot, ClaudeBot ו-PerplexityBot, עם קוד הסטטוס המדויק וזמן התגובה. מתי להשתמש: באתרים גדולים, אחרי ירידות תנועה לא מוסברות, וכדי לראות מה סורקי הבינה המלאכותית פוגשים. יתרונות: בקשות אמיתיות, קודים אמיתיים, בלי דגימה, כל הבוטים. מגבלות: צריך גישה ליומנים וקצת כתיבת סקריפטים; צריך לוודא ש-"Googlebot" הוא באמת Google. המדריך שלנו על ניתוח קובצי יומן ל-SEO מוביל צעד אחר צעד. מבט ראשון מהיר:

# Googlebot requests that did not return 200, 301 or 304, most frequent first
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50

שיטה 5: בדיקות נקודתיות של כתובות בודדות

העיקרון: בדוק כתובת אחת בכל פעם עם curl או בודק חינמי ברשת. מתי להשתמש: כדי לאשר תיקון, או לבדוק עמוד מפתח אחרי פריסה. יתרונות: מיידי ומדויק. מגבלות: לא מתאים לכמויות. השתמש ב-user agent של Googlebot כדי לתפוס כללים שמתייחסים לבוטים אחרת:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
שיטהרואה שגיאות אתררואה שגיאות כתובתנתוני Googlebot אמיתייםרואה סורקי בינה מלאכותיתהכי טובה ל
דוח Crawl Statsכןדגימהכןלאבריאות המארח
דוח Page indexingחלקיתכןכןלאמיון ואימות
כלי סריקה (Screaming Frog...)לאכן, עמודים מקושריםלאלאמציאת קישורים שבורים במקורם
יומני שרתחלקיתכןכןכןאתרים גדולים, סיבות שורש
בדיקת כתובת בודדתלאאחת בכל פעםלאלאאישור תיקונים

שגיאות 5xx: קראו את קוד הסטטוס כדי למצוא את השכבה שנכשלה

סטטוס 5xx פירושו שהשרת לא הצליח לטפל בבקשה שנראתה תקינה. Google מאטה את הסריקה בתגובה לכך, ומאטה יותר כשיותר מהכתובות שלכם מחזירות שגיאות. Google שומרת כתובות שכבר מאונדקסות זמן מה, אבל מסירה כתובות שמחזירות שגיאת שרת באופן מתמשך. פרץ קצר מתאושש, כי Google מעלה בהדרגה את קצב הסריקה לאחר שהשרת שלכם עונה בקודי 2xx. רצף ארוך של שגיאות הוא מה שפוגע באינדקס.

הקוד אומר לכם איזו שכבה נשברה

לכל קוד 5xx יש חלק אחר בערימה. הטבלה נותנת לכם מקום ראשון לבדוק לכל אחד מהם.

קודמה הוא בדרך כלל אומרמה לבדוק קודם
500היישום נכשל בזמן טיפול בבקשהיומן השגיאות של היישום בזמן המדויק של הבקשה
502ה-proxy או ה-CDN קיבלו תשובה לא תקינה מהיישום, לרוב מפני שהוא קרס או הופעל מחדשהפעלות מחדש וזמינות של תהליך היישום
503השירות עמוס, מוגבל בקצב או בתחזוקהגרפי עומס, היסטוריית פריסות וחלונות תחזוקה
504ה-proxy ויתר על המתנה ליישוםשאילתות איטיות למסד הנתונים והגדרות timeout של ה-proxy
429מגביל הקצב אומר שיש יותר מדי בקשותכללי הגבלת הקצב, והאם הם חלים על Googlebot מאומת

התאימו את חותמות הזמן של Google ליומנים שלכם

Crawl Stats מציג את הימים והשעות שבהם Google נתקלה בשגיאות (מדריך ה-Crawl Stats שלנו מסביר כל גרף). יומן השרת מראה מה קרה ברגעים המדויקים האלה. סננו את בקשות Googlebot וספרו את תגובות ה-5xx לפי שעה:

grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c

כל שורת פלט היא שעה, קוד סטטוס וספירה. אשכול באותה שעה בכל לילה מצביע בדרך כלל על גיבוי, משימה מתוזמנת או ייבוא מתוזמן. שגיאות שפזורות לאורך היום מצביעות בדרך כלל על עומס, ולכן התיקון הוא קיבולת או מטמון ולא באג יחיד. לשיטה מעמיקה יותר, ראו את המדריך שלנו לניתוח קובצי לוג.

מדדו מה שגיאת 5xx עולה לפני שאתם נבהלים

Google מפחיתה את הסריקה ביחס למספר הכתובות שמחזירות שגיאות. תבנית שבורה שמשפיעה על כמה כתובות עולה לכם מעט זמן סריקה. הפסקת מסד נתונים שמפילה כל עמוד עולה לכם הרבה, ולכן היא צריכה להיות התיקון הראשון.

שגיאת 429 גורמת לאותה השפעה כמו 5xx, כי Google קוראת אותה כשרת עמוס. אם כלל הגבלת הקצב או הגנת הבוטים שלכם מחזיר 429 ל-Googlebot, אתם משלמים על כך בזמן סריקה. התיעוד של Google לא מזכיר את כותרת Retry-After. המשיכו לשלוח אותה לגולשים אנושיים ולקליינטים של API, אבל אל תסתמכו על כך ש-Googlebot יחכה את הזמן שקבעתם.

שגיאות 4xx: מצאו מאיפה הן מגיעות לפני שמתקנים אותן

סטטוס 4xx פירושו שהשרת דחה את הבקשה בגלל משהו בצד הלקוח: הכתובת לא קיימת, הגישה אסורה, או הכתובת מנוסחת לא נכון. Google מתייחסת לכל 4xx מלבד 429 באותה צורה. היא מפסיקה להשתמש בתוכן שמאחורי הכתובת, ואם הכתובת הייתה מאונדקסת, היא מסירה אותה מהאינדקס. לפני שנוגעים בשגיאת 4xx, מוצאים מאיפה הבקשה מגיעה, כי התיקון נמצא לעיתים קרובות במקום אחד: קישור, תבנית או כלל הפניה.

מצאו את מקור כל שגיאת 4xx ביומנים שלכם

יומן הגישה (access log) רושם את ה-referrer של כל בקשה, כלומר איזה עמוד שלח את הגולש או הבוט לכתובת הזו. ספרו את תגובות ה-4xx לפי נתיב ולפי referrer:

awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20

קראו את עמודת ה-referrer כך:

  • referrer מהדומיין שלכם פירושו שאחד העמודים שלכם מקשר לכתובת שאינה פעילה. תקנו את הקישור או את התבנית שמייצרת אותו. זה התיקון החשוב ביותר, כי אתם שולטים בו. המדריך שלנו על תיקון קישורים שבורים מכסה את השיטה המלאה.
  • referrer מאתר אחר פירושו שקישור חיצוני מצביע על כתובת שכבר לא עובדת. אם הקישור שווה שמירה, הוסיפו הפניה 301 אחת לעמוד החי הקרוב ביותר. אם לא, השאירו את ה-404.
  • referrer ריק, או נתיב שמעולם לא פרסמתם, כמו דף כניסה באתר סטטי, בדרך כלל מעידים על בוט או סורק שניסה את הכתובת. השאירו לו 404 ואל תשקיעו בזה זמן.

שימו לב לזינוקים של 4xx מיד אחרי כל שחרור

שחרור שמשנה נתיב, מחליף slug או בונה מחדש תבנית, מייצר לרוב גל של 404 באותו יום. ייצאו את מספר תגובות ה-4xx לכל יום עבור השבוע שלפני הפריסה והשבוע שאחריה. קפיצה שמרוכזת בתיקייה אחת מצביעה ישירות על השינוי. הוסיפו את ההפניה מהכתובת הישנה לחדשה באותו שחרור, לא בכרטיס נפרד לאחר מכן. להעברה מלאה, ראו את רשימת הבדיקה להעברת SEO שלנו.

טיפ

אל תחליפו עמוד חסר בתגובת 200 שמציגה הודעה קצרה או רשימה ריקה. Google עשויה לראות בכך soft 404, וזה עולה לה בבקשה מלאה ולא מניב כלום.

צעד אחר צעד: לתקן שגיאות סריקה בסדר הנכון

זו השיטה שאנחנו משתמשים בה. היא עוברת מהשגיאות שיכולות לעצור את כל האתר שלך לאלה שרק מבזבזות קצת סריקה.

שיטת שגיאות הסריקה ב-6 צעדים

  1. בדוק את מצב המארחפתח את Crawl Stats והסתכל על DNS, חיבור לשרת ו-robots.txt ב-90 הימים האחרונים.
  2. ייצא וקבץ שגיאות כתובתייצא כל סיבה ב-Page indexing וקבץ את הכתובות לפי תיקייה או תבנית.
  3. מיין לפי ערךהשאר את הכתובות עם תנועה, קישורים נכנסים, קישורים פנימיים או רשומות במפת האתר.
  4. תקן את הסיבה ברמת התבניתכלל אחד, מפת הפניות אחת או הגדרת שרת אחת מתקנים מאות כתובות.
  5. נקה את האותותעדכן קישורים פנימיים ומפות אתר כך שיצביעו על כתובות 200 סופיות.
  6. אמת ונטרלחץ Validate fix, ואז עקוב אחרי Crawl Stats והיומנים שלך כל שבוע.

צעד 1: בדוק את המארח קודם

ב-Search Console, פתח Settings, אחר כך Crawl stats, אחר כך Host status. ירוק פירושו שאין בעיה משמעותית ב-90 יום. "Recent issue" פירושו בעיה משמעותית בשבוע האחרון: עזוב כל דבר אחר. לחץ על כל קטגוריה כדי לראות את שיעור הכשל לפי יום, ואז התאם את הימים הרעים להיסטוריית האחסון, ה-CDN והפריסות שלך.

צעד 2: ייצא וקבץ לפי דפוס

פתח Indexing, אחר כך Pages, וייצא כל סיבת שגיאה. אל תתקן כתובות אחת אחת. שים אותן בגיליון אלקטרוני וחלץ את התיקייה הראשונה:

=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")

טבלת ציר על העמודה הזו מראה בדרך כלל שרוב השגיאות מגיעות משתיים או שלוש תבניות: קטגוריית בלוג שהוצאה משימוש, פרמטר סינון, פיד מוצרים ישן.

צעד 3: מיין לפי ערך עסקי

לכל דפוס, שאל ארבע שאלות. האם הוא מקבל קליקים אורגניים? האם יש לו קישורים נכנסים? האם הוא מקושר פנימית? האם הוא במפת האתר? 404 בלי אף אחד מהארבעה יכול לחכות לנצח. 404 עם קישורים נכנסים צריך 301 היום. בודק הקישורים השבורים החינמי מראה אילו מהעמודים שלך עדיין מקשרים לכתובות מתות.

צעד 4: תקן את סיבת השורש

תקן כללים, לא כתובות. מפת הפניות בהגדרות השרת עדיפה על 400 הפניות שנוספו ידנית בתוסף. לדוגמה, ב-nginx:

map $request_uri $new_uri {
    /old-blog/seo-tips/    /blog-geo-seo/seo-best-practices/;
    /old-blog/sitemaps/    /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
    if ($new_uri) { return 301 $new_uri; }
}

עבור 5xx, תקן את הקיבולת או את הבאג. עבור 401 ו-403, תקן את כלל האבטחה. עבור soft 404, הוסף תוכן אמיתי או החזר 404 אמיתי.

צעד 5: נקה קישורים פנימיים ומפות אתר

כל קישור פנימי צריך להצביע ישירות על כתובת שמחזירה 200. כל רשומה במפת האתר צריכה להיות כתובת קנונית, ניתנת לאינדוקס, שמחזירה 200. מפת אתר מלאה בהפניות וב-404 מלמדת את Google לסמוך עליה פחות. המדריך שלנו על איך ליצור מפת אתר מסביר מה שייך אליה.

צעד 6: אמת ונטר

בדוח Page indexing, פתח את הסיבה שתוקנה ולחץ Validate fix. Google בודקת קודם דגימה, ואז את השאר; זה לוקח בדרך כלל עד כשבועיים, וזה נעצר אם אפילו כתובת אחת עדיין נכשלת. אל תלחץ שוב בזמן שזה רץ. אחר כך קבע שגרה שבועית: Crawl Stats למארח, יומנים לקפיצות, סריקה אחרי כל פריסה.

שרשרת הפניות לפני ואחרי התיקון

לפני
  • http://site.com/page
  • 301 אל https://site.com/page
  • 301 אל https://www.site.com/page
  • 301 אל https://www.site.com/page/
  • הקישורים הפנימיים עדיין מצביעים על הכתובת הראשונה
אחרי
  • 301 אחת ישירות אל https://www.site.com/page/
  • הקישורים הפנימיים עודכנו לכתובת הסופית
  • מפת האתר מציגה רק את הכתובת הסופית
  • בקשה אחת במקום ארבע

טעויות נפוצות, ואיך לזהות ולתקן אותן

טעות 1: להפנות כל 404 לדף הבית

מה זה: תוסף או כלל ששולח כל כתובת חסרה אל /. איך מזהים: הרבה כתובות ב-"Soft 404" או "Page with redirect" שכולן נוחתות בדף הבית; כלי סריקה מראה מאות 301 עם אותו יעד. איך מתקנים: הפנה רק למקבילה קרובה, ותן לשאר להחזיר 404 או 410.

טעות 2: לחסום את Googlebot בכלי אבטחה

מה זה: WAF, מנהל בוטים או מגביל קצב שמגיש ל-Google קוד 403, 429 או עמוד אתגר. איך מזהים: 403 או 429 ב-Crawl Stats, בזמן שהעמוד נטען היטב בדפדפן שלך; היומנים מראים את החסימות לפי IP. איך מתקנים: אפשר ל-Googlebot מאומת, בעזרת DNS הפוך או טווחי ה-IP ש-Google מפרסמת, במקום לסמוך על מחרוזת ה-user agent.

טעות 3: robots.txt שביר

מה זה: robots.txt שהאפליקציה מייצרת, כך שהוא נכשל בכל פעם שהאפליקציה נכשלת, או שמוגש דרך כלל ב-CDN ששומר 5xx במטמון. איך מזהים: קטגוריית טעינת robots.txt ב-Host status אינה ירוקה. איך מתקנים: הגש אותו כקובץ סטטי, מחוץ לאפליקציה, ובדוק אותו עם בודק robots.txt.

טעות 4: עמודי תחזוקה שמחזירים 200

מה זה: עמוד "נחזור בקרוב" שמוגש עם סטטוס 200 בכל הכתובות. איך מזהים: אחרי התחזוקה, גל של soft 404 או כותרות כפולות. איך מתקנים: החזר 503 עם Retry-After בזמן התחזוקה, ושמור אותה קצרה.

טעות 5: להשתמש ב-403 כדי להאט את Google

מה זה: לענות 403 ל-Googlebot כשהשרת עמוס. איך מזהים: קפיצות ב-403 שמתאימות לקפיצות עומס. איך מתקנים: Google אומרת שלקודי 4xx מלבד 429 אין השפעה על קצב הסריקה. החזר 503 או 429 לזמן קצר, ותקן את הקיבולת.

טעות 6: לתקן שגיאות אחת אחת

מה זה: ללחוץ על רשימת Search Console ולערוך כל כתובת. איך מזהים: אותה סיבה חוזרת כל חודש. איך מתקנים: קבץ לפי דפוס, תקן את התבנית או את הכלל, ואז אמת פעם אחת.

טעות 7: להיבהל מ-404 לא מזיקות

מה זה: לבזבז ימים על 404 של כתובות ספאם או עמודים שנמחקו מזמן בלי קישורים. איך מזהים: לכתובות אין קליקים, אין קישורים נכנסים ואין קישורים פנימיים. איך מתקנים: עזוב אותן. Google אומרת ש-404 לעמוד שהוסר אינה בהכרח בעיה.

אזהרה

לעולם אל תחסום כתובת ב-robots.txt כדי "להסתיר" שגיאת סריקה. Google כבר לא תוכל לראות את ה-404 או את ההפניה, הכתובת עלולה להישאר מאונדקסת, ואתה מאבד את האות שניסית לשלוח.

שגיאות סריקה ותקציב סריקה

באתר עם כמה מאות עמודים, ל-Google יש זמן להכול, ושגיאות סריקה חשובות בעיקר לעמודים שהן שוברות. באתרים גדולים (חנויות עם מסננים, שווקים מקוונים, חדשות), כל בקשה שנכשלה או בוזבזה לוקחת זמן מהעמודים האמיתיים שלך. זה הרעיון שמאחורי תקציב סריקה.

איך שגיאות אוכלות את קיבולת הסריקה

5xx ו-429 גורמים ל-Google להאט בכל המארח, כך שכמה תבניות שבורות יכולות לעכב את סריקת עמודי המוצר החדשים שלך. שרשראות הפניות עולות בקשה לכל קפיצה. Soft 404 עולה טעינה מלאה ולא נותנת כלום. תקן את שלושתן ואותו תקציב יכסה יותר עמודים מועילים.

מה הקשר של "Discovered, not indexed"

כש-Google מוצאת כתובות אבל דוחה את סריקתן, הסיבה היא לרוב שרת שהיא מחשיבה שביר. אם אתה רואה ספירה עולה של "Discovered, currently not indexed" יחד עם שגיאות שרת ב-Crawl Stats, תקן קודם את השרת. שני הדוחות מספרים את אותו סיפור.

שגיאות סריקה אצל סורקי בינה מלאכותית

Googlebot כבר אינו המבקר היחיד שחשוב. GPTBot, OAI-SearchBot, ClaudeBot ו-PerplexityBot טוענים עמודים כדי לאמן מודלים או כדי לענות על שאלות בזמן אמת. הם פוגעים באותו שרת, וסובלים מאותן שגיאות, עם הבדל אחד: אין להם Search Console.

מה משתנה עם בוטים של בינה מלאכותית

רוב סורקי הבינה המלאכותית לא מריצים JavaScript, כך שעמוד שבונה את התוכן שלו רק בדפדפן עלול להיראות להם ריק, סוג של soft 404 שלעולם לא תראה בדוחות של Google. רבים מהם חסומים כברירת מחדל על ידי שירותי הגנת בוטים, לרוב עם 403. ומכיוון שהם טוענים לפי דרישה כשמשתמש שואל שאלה, פסק זמן באותו רגע פירושו שהתשובה מצטטת מישהו אחר. המדריך שלנו על SEO ל-JavaScript עוסק ברינדור גם לסורקי חיפוש וגם לסורקי בינה מלאכותית.

איך לנטר אותם

יומני השרת שלך הם המקור האמין היחיד. סנן לפי user agent והסתכל על קודי הסטטוס:

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

אם בוטים של בינה מלאכותית מקבלים 403 שלא התכוונת אליהם, תקן את הכלל. אחר כך בדוק אם הם באמת מצטטים אותך: מעקב האזכורים בבינה מלאכותית של Sorank עוקב כמה פעמים ChatGPT, Gemini, Claude ו-Perplexity מזכירים את המותג שלך, כך שתוכל לראות אם תיקון סריקה משנה משהו.

רשימת הבדיקה לבריאות הסריקה

הרץ את הרשימה הזו אחרי כל מעבר, עיצוב מחדש או פריסה גדולה, ופעם בחודש באתרים גדולים.

רשימת בדיקה לבריאות הסריקה

  • מצב המארח ירוק עבור DNS, חיבור לשרת ו-robots.txt
  • robots.txt מוגש כקובץ סטטי ומחזיר 200
  • אין קפיצות של 5xx או 429 ב-Crawl Stats או ביומנים
  • Googlebot מאומת ובוטי הבינה המלאכותית הרצויים לא חסומים בחומת האש
  • כל הפניה היא קפיצה אחת, 301 או 308, לעמוד 200
  • קישורים פנימיים מצביעים על כתובות 200 סופיות
  • מפות האתר מציגות רק כתובות קנוניות, ניתנות לאינדוקס, שמחזירות 200
  • 404 עם קישורים נכנסים או תנועה מופנים למקבילה קרובה
  • עמודים ריקים תוקנו או מחזירים 404 אמיתי
  • תחזוקה מחזירה 503 עם Retry-After
  • Validate fix הופעל לכל סיבה שתוקנה

מה לעשות היום

פתח את Crawl Stats ובדוק את שלוש שורות מצב המארח. אחר כך הרץ את בודק יכולת האינדוקס החינמי על חמשת העמודים החשובים ביותר שלך. אם שניהם נקיים, ייצא את שגיאות Page indexing וקבץ אותן לפי תיקייה: עכשיו יש לך רשימת תיקונים קצרה וממוינת במקום דוח מפחיד.

כשהסריקה נקייה, המגבלה הבאה היא התוכן עצמו. אופטימיזציית התוכן של Sorank כותבת מחדש ומרעננת את העמודים הקיימים שלך ב-autopilot, כך שהעמודים ש-Google יכולה להגיע אליהם עכשיו שווים אינדוקס וציטוט. לעמודים ש-Google סרקה והשאירה בחוץ, קרא את המדריך שלנו על "Crawled, currently not indexed".

שאלות נפוצות

מה הן שגיאות סריקה ב-SEO?

שגיאות סריקה הן בקשות של מנוע חיפוש או סורק בינה מלאכותית שנכשלות: ה-DNS לא מתרגם, השרת מתעכב או מחזיר 5xx, אי אפשר לטעון את robots.txt, הפניה נכנסת ללולאה, או שהעמוד מחזיר קוד 4xx. שגיאות ברמת האתר עלולות לעצור את סריקת כל האתר, בעוד ששגיאות כתובת פוגעות רק בעמוד הנוגע בדבר.

האם שגיאות 404 רעות ל-SEO?

לא כשלעצמן. Google אומרת ש-404 לעמוד שהוסר בלי תחליף אינה בהכרח בעיה. היא הופכת לבעיה כשלכתובת עדיין יש קישורים נכנסים, תנועה או קישורים פנימיים, ואז התיקון הנכון הוא הפניית 301 אחת למקבילה קרובה.

כמה זמן לוקח ל-Google לראות ששגיאות הסריקה תוקנו?

אחרי לחיצה על Validate fix בדוח Page indexing של Search Console, האימות לוקח בדרך כלל עד כשבועיים. Google בודקת קודם דגימה של כתובות ואז את השאר, וזה נעצר אם אפילו כתובת אחת עדיין נכשלת.

קבלו את תוכנית התוכן שלכם ל-30 יום בחינם

אנחנו מנתחים את המתחרים שלכם, את האתר שלכם ואת הנראות שלכם ב-AI כדי ליצור עבורכם תוכנית תוכן מותאמת אישית בחינם.

כלי ה-SEO החינמיים שלנו

לכל הכלים החינמיים שלנו

קבלו את תוכנית התוכן שלכם ל-30 יום בחינם

אנחנו מנתחים את המתחרים שלכם, את האתר שלכם ואת הנראות שלכם ב-AI כדי ליצור עבורכם תוכנית תוכן מותאמת אישית בחינם.

תמונה של משתמש Sorankתמונה של משתמש Sorankתמונה של משתמש SorankCelio Fabianoתמונה של משתמשת Sorankתמונת הפרופיל של הלקוח Xavier Breull
Google
כוכבכוכבכוכבכוכבכוכב
5/5
+5,000
משתמשים

המלצות ממייסדים שאפתנים

מ-0 ל-10000 מבקרים תוך 5 חודשים

Celio Fabianomonrobotlavevitre.frGoogleמסחר אלקטרוני

מ-0 ל-5000 ביקורים תוך 8 חודשים

Thibault BMsorank.comGoogleתוכנה

מ-0 ל-1104 קליקים תוך 4 חודשים

Dominiqueflight-sensations-idf.comGoogleפנאי ותעופה

מ-0 ל-163 קליקים תוך 6 חודשים

Coworking Pariscoworking-paris.frGoogleOffice broker

x92 קליקים ב-7 חודשים

Guide Zanzibarguidezanzibar.comGoogleתיירות