ניתוח לוגי שרת ל-SEO: קרא את לוגי השרת ותקן בזבוז זחילה

שאלון קצר

האם SEO מתאים לכם, ואיך להתחיל?

שאלה 1 מתוך 425%

אנשים מחפשים ב-Google את מה שאתם מוכרים?

כן, אני חושב שכןלא, זה חדש או נישתי מאודלא יודע

מה לוג השרת רושם, ולמה הוא עדיף על שאר הנתונים שלך

בכל פעם שמשהו מבקש קובץ מהשרת שלך, השרת כותב שורה אחת בלוג הגישה. רוב השרתים משתמשים בפורמט קרוב לפורמט "combined" של Apache. בקשה של Googlebot נראית כך:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

קראו משמאל לימין: כתובת ה-IP, חותמת הזמן, שיטת ה-HTTP והכתובת, קוד הסטטוס (200 כאן), מספר הבייטים שנשלחו, ה-referrer וה-user agent. כל בקשה נמצאת שם, כולל כאלה שלעולם אינן מופיעות כצפייה בדף בכלי האנליטיקס שלך: תמונות, קובצי CSS, הפניות ושגיאות 404.

כל מקור נתונים אחר שלך רואה חלק מזה בלבד. דוח Crawl Stats ב-Search Console מצטבר ומכסה רק את הזוחלים של Google. כלי אנליטיקס מתעדים רק מבקרים שהדפדפנים שלהם מריצים את ה-JavaScript של האתר. זוחל אתרים כמו Screaming Frog מציג מה שהוא מצליח להגיע אליו בעקבות הקישורים שלך, וזה לא בהכרח מה ש-Google בחרה לבקש. רק לוג השרת רושם מה שבאמת קרה.

למה ניתוח לוגים חשוב: תקציב הזחילה בקצרה

תקציב הזחילה הוא קבוצת הכתובות ש-Google יכולה לזחול באתר שלך ורוצה לזחול. Google מתארת אותו בשני גורמים. הראשון הוא מגבלת קיבולת הזחילה: כמה חיבורים הזוחלים של Google יכולים להחזיק פתוחים מול השרת שלך בלי להעמיס עליו. המגבלה עולה כשהאתר נשאר בריא, ויורדת כשהתגובות מואטות או מחזירות שגיאות 5xx או 429. הגורם השני הוא ביקוש הזחילה, שתלוי בגודל האתר, בתדירות שבה התוכן שלו משתנה, באיכותו ובפופולריות של הדפים.

Google מציגה את הנושא כמדריך מתקדם לאתרים גדולים. הסף המשוער שלה הוא אתרים עם מיליון דפים ייחודיים ומעלה שהתוכן שלהם משתנה בערך פעם בשבוע, ואתרים עם 10000 דפים ייחודיים ומעלה שהתוכן שלהם משתנה מדי יום. גם אתרים שבהם הרבה כתובות נמצאות בסטטוס "Discovered - currently not indexed" נכללים בתחום. לאתרים קטנים יותר בדרך כלל מספיקים מפת אתר מעודכנת ובדיקות קבועות של דוח Page Indexing. זה לא הופך את הלוגים לחסרי תועלת עבורם. כשמשהו לא תקין בזחילה, הלוג הוא הדרך המהירה ביותר לראות בדיוק היכן.

אם האתר שלך נמצא בטווח הזה, השאלה כבר אינה אם לקרוא לוגים אלא כמה לעיתים. ביקורת חד-פעמית מראה את הבזבוז כיום, וייצוא חודשי מראה אם התיקונים שלך שינו את מה ש-Googlebot מבלה בו את זמנו. לאוצר המילים של התחום, ערך המילון על תקציב זחילה מסביר את היסודות, והמדריך לסטטוס Discovered, currently not indexed מסביר את הסטטוס שבדרך כלל מפעיל סקירה מסוג זה.

השיטה, שלב אחר שלב

זרימת העבודה שלהלן פועלת עם כל שרת וכל כלי. הסעיפים הבאים מסבירים כל שלב בפירוט ונותנים את הפקודות שאפשר להריץ על קובץ לוג גולמי כבר היום.

קבל את הלוגים מהשכבה הנכונה

בקש ממפתח או מספק האירוח שלך את לוגי הגישה הגולמיים של שרת הרשת (Apache, Nginx או IIS). בדוק שלושה דברים לפני שמתחילים: פורמט הלוג, אזור הזמן ותקופת השמירה. לפי ההגדרות שלך, לוגים ישנים עשויים להימחק אחרי כמה ימים או שבועות, לכן בקש את הייצוא עכשיו ולא מאוחר יותר.

השכבה חשובה יותר ממה שרבים חושבים. אם CDN עונה לבקשה מה-cache שלו, שרת המקור לעולם לא רואה אותה. Googlebot יכול לזחול לכתובת שאינה מופיעה בלוג של שרת המקור, ולכן ייצוא ממקור בלבד מקטין את ספירת הזחילה לתוכן שנשמר במטמון. ייצא גם את לוגי ה-CDN, והשווה בין שני המקורות לכמה כתובות לפני שאתה סומך על אחד מהסכומים.

סנן וספור את Googlebot בעזרת כמה פקודות

בלוג בפורמט combined, קוד הסטטוס הוא השדה התשיעי, ונתיב הכתובת הוא השביעי. שתי העמודות האלה עונות על רוב השאלות הראשונות. הפקודה הזאת סופרת את בקשות Googlebot לפי קוד סטטוס:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

הפקודה הזאת מציגה את 20 הנתיבים שאליהם Googlebot פונה בתדירות הגבוהה ביותר, לאחר הסרת מחרוזת השאילתה, כדי שגרסאות של פילטרים ייאספו יחד:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

הפקודה הראשונה קוראת את טקסט ה-user agent, וכל אחד יכול לזייף אותו. התייחס לפלט שלה כרשימת מועמדים עד שתסיים את הסעיף הבא. בנוסף, אם הלוג שלך משתמש בפורמט מותאם אישית, מספרי השדות ישתנו, לכן בדוק שורה אחת בעיניים לפני שאתה סומך על העמודות.

אמת את Googlebot כפי ש-Google מתארת

השיטה הרשמית של Google לאישור שהגולש הוא Googlebot משתמשת ב-DNS. הרץ חיפוש DNS הפוך על כתובת ה-IP מהלוג, בדוק שם המארח מסתיים ב-googlebot.com, google.com או googleusercontent.com, ואז הרץ חיפוש DNS קדימה על שם המארח, ובדוק שהוא מחזיר את כתובת ה-IP המקורית. התיעוד של Google משתמש בדוגמה הזאת, שבה 66.249.66.1 מתפענח חזרה ל-crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

בדיקת ה-DNS קדימה היא הפקודה השנייה, והיא חייבת להחזיר את אותה כתובת IP:

host crawl-66-249-66-1.googlebot.com

אם אתה מעבד מיליוני שורות, חיפושי DNS יאטו. Google מפרסמת גם קובצי JSON עם טווחי ה-IP של הזוחלים שלה, כולל common-crawlers.json עבור Googlebot. השוואה לטווחים האלה מהירה יותר, ומדריך האימות הרשמי מתאר את שתי השיטות במדריך Google לאימות Googlebot.

קבץ, מדוד וקרא את התוצאות

ספירות גולמיות לכל כתובת קשות לפעולה. קבץ קודם את הכתובות לפי תבנית, כי תיקון חל בדרך כלל על תבנית ולא על דף בודד. לאחר מכן מדוד ארבעה דברים לכל קבוצה: כמה פניות של Googlebot היא מקבלת ביחס לחשיבותה לעסק שלך, את תמהיל קודי הסטטוס, כמה מהר דפים חדשים מקבלים את הפנייה הראשונה לאחר הפרסום, ואם הפניות מתרכזות בדפים שאתה רוצה שידורגו.

קרא את התוצאות כדפוס, לא כמספר בודד. אם רוב פניות Googlebot מגיעות לכתובות פילטר, ורק מעטות לדפי מוצרים, תקציב הזחילה דולף, וככל הנראה הבעיה בקישורים הפנימיים או בטיפול בפרמטרים, ולא בדפי המוצרים עצמם. הסעיף הבא מפרט את האותות שכדאי לחפש.

שבעת האותות החבויים בלוגים

לאחר שהשורות של Googlebot אומתו וקובצו, שבעה אותות מסבירים את רוב בעיות הזחילה. הטבלה נותנת את הדפוס שיש לחפש ואת התיקון הרגיל. כל תיקון הוא שינוי באתר, לכן אשר אותו בייצוא הבא.

אות	מה הלוגים מראים	מה לעשות
בזבוז זחילה	פניות של Googlebot לפילטרים, לסדרי מיון, לחיפוש פנימי ולכתובות סשן	אחד באמצעות canonical, הסר את הקישורים הפנימיים לכתובות האלה, וחסום ב-robots.txt וריאציות חסרות תועלת במקום שאי אפשר לאחד
הפניות	פניות לתגובות 301 או 302, ושרשראות של שתי קפיצות ומעלה	קשר ישירות לכתובת הסופית. המדריך 301 לעומת 302 יעזור לך לבחור את סוג ההפניה הנכון
שגיאות	פניות חוזרות ל-404 או 410, וזינוקים של תגובות 5xx	שחזר או הפנה דפים שעדיין חשובים, ותקן שגיאות שרת, כי תגובות 5xx מפחיתות את כמות הזחילה של Google
זחילות חסרות	כתובות חשובות שאין להן אף פנייה של Googlebot בחלון הזמן	בדוק קישורים פנימיים, רשומות במפת האתר וכללי robots.txt שאולי מרחיקים מהן את הזוחלים
כפילויות	אותו תוכן נשלף בכמה כתובות, עם לוכסן בסוף, אותיות גדולות או פרמטרים	בחר כתובת קנונית אחת וקשר אליה בכל מקום
זמן עד הזחילה הראשונה	הזמן שבין הפרסום לבין הפנייה הראשונה של Googlebot לדף חדש	קשר לדפים חדשים מדפים שנזחלים לעיתים קרובות, ושמור על מפת אתר נקייה
זמן תגובה	תגובות איטיות בתבניות שמקבלות את רוב הפניות של Googlebot	האץ את התבניות האלה קודם, כי Google אומרת שתגובות איטיות גורמות לה לזחול פחות

השורה "זחילות חסרות" היא זו שאנשים מדלגים עליה, והיא לרוב היקרה ביותר. דף שאינו מופיע לעולם בלוג עשוי לא לדרג כלל, גם אם התוכן שלו מצוין. אם כתובת נמצאת במפת האתר שלך אבל לעולם אינה מופיעה בלוגים, סביר שאליה מגיעים רק דרך נתיב שהזוחלים אינם עוקבים אחריו. המדריך Crawled, currently not indexed מכסה את הצד השני של המצב, כשGooglebot כן מבקר בדף אבל עדיין לא מאנדקס אותו.

שלוש דרכים להריץ את הניתוח, בהשוואה

אפשר להריץ ניתוח לוגים עם סקריפטים, עם כלי לשולחן העבודה או עם פלטפורמה. לכל אחת מהן מתאים נפח אחר וצוות אחר. הבחירה הנכונה תלויה פחות בגודל האתר, ויותר בתדירות שבה אתה צריך את התשובה ומי יקרא אותה.

שורת פקודה: grep, awk ו-Python

עיקרון: מנתחים את הקבצים הגולמיים בעזרת סקריפטים וכותבים את התוצאות לקובץ או לגיליון. מתי להשתמש: לבדיקות חד-פעמיות, לאתרים קטנים, או כשמפתח רוצה שליטה מלאה. יתרונות: זה חינמי, רואים כל שורה, ואפשר לאטמט את זה במשימה מתוזמנת. מגבלות: זה דורש זמן לכתיבה ולתחזוקה, רץ רק במהירות שהמחשב שלך מאפשר, אין בו גרפים, וצריך לאמת את הבוטים בעצמך.

דוגמה: הפקודות בסעיף השיטה, כשמריצים אותן פעם בחודש על אותו ייצוא, נותנות את תמהיל קודי הסטטוס ואת הנתיבים המובילים של Googlebot. סקריפט Python קצר יכול לעשות את אותו הדבר ולהוסיף את בדיקת ה-DNS, שהיא איטית יותר אבל מדויקת יותר.

כלי לשולחן העבודה: Screaming Frog Log File Analyser

עיקרון: מייבאים את הלוגים הגולמיים לפרויקט בשולחן העבודה, והכלי מקבץ את הבוטים, בודק את זהותם ומצייר את הגרפים. מתי להשתמש: יועץ או אנליסט פנימי שעובד על אתר עם עשרות אלפי כתובות. יתרונות: הכלי קורא לוגים של Apache, IIS ו-Nginx בפורמט W3C Extended, מאמת בוטים של מנועי חיפוש, ומסמן דפים גדולים או איטיים. מגבלות: הגרסה החינמית מוגבלת, וכמות הנתונים שאפשר לטעון תלויה בדיסק הקשיח שלך.

קרא את דף Log File Analyser של Screaming Frog לפני הרכישה. להדרכה מלאה על הזוחל שמתלווה אליו, ראה את מדריך Screaming Frog SEO Spider שלנו. מנתח הלוגים עושה דבר אחד שהזוחל אינו יכול לעשות: הוא מראה מה הבוטים ביקשו בעולם האמיתי, לא מה הקישורים שלך מרמזים.

פלטפורמה: ניטור לוגים מתמשך

עיקרון: הפלטפורמה מקבלת את הלוגים שלך לפי לוח זמנים, לרוב מה-CDN או מהשרת, ומצרפת אותם לסריקה של האתר ולנתוני אינדוקס. מתי להשתמש: אתרי מסחר אלקטרוני גדולים או צוותי ארגונים שמנטרים זחילה מדי שבוע בכמה שווקים. יתרונות: היא מתאימה ללוגים עצומים, שומרת היסטוריה, ומאפשרת לכמה צוותים לשתף לוחות מחוונים. מגבלות: היא עולה יותר, דורשת זמן הטמעה, והנעילה לספק היא ממשית, לכן בדוק איך אפשר לייצא את הנתונים שלך לפני שאתה מתחייב. בין הספקים בקטגוריה הזאת נמצאים Oncrawl ו-Botify, ושווה לשאול כל אחד מהם איך הוא מאמת בוטים.

קריטריון	שורת פקודה	כלי שולחן עבודה	פלטפורמה
עלות	חינמי	חינמי עד 1000 אירועי לוג, 99 פאונד לשנה לרישיון המלא	מנוי, המחיר תלוי בנפח
הגדרה	אתה כותב את הסקריפטים ומתחזק אותם	התקנה, ייבוא, הפעלה	מחברים והטמעה
נפח	מוגבל על ידי המחשב שלך	מוגבל על ידי הדיסק והרישיון	בנוי ללוגים עצומים
אימות בוטים	ידני, עם בדיקות DNS או טווחי IP	מובנה	שאל את הספק
הכי מתאים ל	בדיקות חד-פעמיות ואתרים קטנים	יועצים ואתרים בינוניים	צוותי ארגונים ומסחר אלקטרוני עם ניטור שבועי

דוח Crawl Stats של Google: שימושי, אבל לא מספיק

לפני שאתה מייצא לוג, פתח את דוח Crawl Stats ב-Search Console. הוא מציג את סך בקשות הזחילה, סך גודל ההורדה, זמן התגובה הממוצע, תגובות מקובצות לפי סוג, סוגי קבצים, מטרת הזחילה וסוג ה-Googlebot שביצע כל בקשה. לבדיקת מגמה, זו הדרך המהירה ביותר שיש לך, ומדריך Google Search Console שלנו מסביר איפה למצוא אותו.

המגבלות שלו מסבירות למה לוגים עדיין חשובים. הדוח זמין רק לנכסי דומיין ולנכסי קידומת כתובת ברמת השורש. הוא מכסה רק את הזוחלים של Google, לכן GPTBot, ClaudeBot והבוטים האחרים חסרים בו. הוא מקבץ נתונים במקום להציג כל כתובת, ולכן יכול לומר לך שבקשות הזחילה ירדו, אבל לא אילו תבניות איבדו אותן. השתמש בו כדי לזהות ששינוי קרה, ואז השתמש בלוגים כדי לגלות מה.

דף העזרה של Google ל-Crawl Stats מתאר כל קיבוץ. כשהגרף ותוכן הייצוא שלך אינם תואמים, אל תסמוך על אף אחד מהם לפני שבדקת את חלון הזמן ואת שלב האימות. רוב אי ההתאמות האלה נובעות מחלון זמן שונה, מ-CDN שעונה מה-cache, או מספירת בוטים שכוללת בקשות לא מאומתות.

תיקון בזבוז זחילה ברגע שרואים אותו

התיקונים נובעים מהאותות. רובם מסתכמים בשלוש פעולות: להפסיק לשלוח זוחלים לדפים שאינם חשובים, לשלוח אותם ישירות לכתובת הסופית כשדף הועבר, ולהפוך את הדפים החשובים למהירים יותר בטעינה.

ניווט מפוצל לפאסטים. פילטרים וסדרי מיון יוצרים הרבה כתובות עם תוכן כמעט זהה. אחד אותן באמצעות canonical במקום שאפשר, והסר את הקישורים הפנימיים לווריאציות שאין להן ערך בחיפוש. כשווריאציה לא ניתנת לאיחוד וצריכה להישאר מחוץ לזחילה, חסום אותה ב-robots.txt. ההנחיה של Google כאן ברורה: אל תשתמש ב-noindex למטרה הזאת, כי Google עדיין צריכה לבקש את הדף לפני שהיא רואה את התג. הנה סוג הכלל שכדאי לבדוק:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

שמור על פרופורציה בשינוי ב-robots.txt. Google אומרת שחסימת כתובות אינה משחררת תקציב זחילה לשאר הדפים שלך, אלא אם האתר כבר מגיע למגבלת הקיבולת שלו. חסימה מיועדת לכתובות שאין להן ערך, לא לדחיפת התקציב לעבר הדפים הטובים ביותר שלך. ערך robots.txt במילון שלנו מסביר איך הקובץ נקרא.

שרשראות הפניה. כשדף הועבר פעמיים, הזוחל עובר דרך שתי ההפניות בכל פעם. עדכן את הקישורים הפנימיים כך שיצביעו על הכתובת הסופית, ואז השאר את ההפניות הישנות לקישורים חיצוניים. ההבחנה בין הפניה קבועה לזמנית חשובה מאותה סיבה, והמדריך 301 לעומת 302 מכסה אותה בפירוט.

דפים שנמחקו. החזר 404 או 410 לדפים שהוסרו לצמיתות. Google אומרת ש-soft 404 ממשיכים להיזחל ומבזבזים תקציב זחילה, ולכן הודעה של "הדף לא נמצא" עם סטטוס 200 גרועה יותר מ-404 אמיתי.

זמן תגובה ומטמון. Google אומרת שתגובות איטיות או כושלות גורמות לה לזחול פחות. תמוך בתגובות 304 (Not Modified), כך שדפים שלא השתנו יוגשו מה-cache. לאחר מכן בדוק את התבניות שמקבלות את רוב הפניות של Googlebot, והאץ את התגובות שלהן קודם.

הטעויות היקרות ביותר, וכיצד להימנע מהן

רוב ניתוחי הלוגים שמשתבשים עושים אחת מקבוצה קטנה של טעויות. לכל טעות למטה יש סימפטום שאפשר לזהות בנתונים, ותיקון שאפשר ליישם באותו שבוע.

סומכים על מחרוזת ה-user agent

מה זה: ספירה של כל בקשה שאומרת "Googlebot" כזחילה של Google. איך מזהים: פניות Googlebot מכתובות IP שאינן מתפענחות חזרה לשמות המארח של Google, או קפיצה פתאומית מכתובת בודדת. איך מתקנים: הרץ את האימות מסעיף השיטה לפני שאתה סופר משהו, ושמור את הפניות שלא אומתו בקטגוריה נפרדת, כדי שתמשיך לראות את פעילות הסורקים.

קוראים רק את תגובות 200

מה זה: התמקדות בדפים שמחזירים 200 והתעלמות מהשאר. איך מזהים: הדוח שלך לא כולל מקטע של 3xx, 4xx או 5xx, או שתמהיל קודי הסטטוס אף פעם לא נדון. איך מתקנים: התחל תמיד מהתפלגות קודי הסטטוס. עלייה בפניות 404 עשויה לחשוף קישור פנימי שבור, ועלייה בפניות 5xx עשויה לחשוף בעיית שרת שמאיטה את כל הזחילה.

חוסמים דף שאתה רוצה להסיר מהאינדקס

מה זה: הוספת כלל robots.txt לדף שנושא גם תג noindex. איך מזהים: הדף נשאר באינדקס, והלוג לא מראה פניות של Googlebot, כי הזוחל חסום מלבקש אותו. איך מתקנים: הסר את החסימה כדי ש-Google תוכל לקרוא את תג ה-noindex, המתן עד שהדף ייעלם מהאינדקס, ואז החזר את החסימה אם אתה עדיין צריך אותה. המדריך Blocked by robots.txt מסביר את סטטוס Search Console שמופיע במקרה הזה.

השוואת חלונות זמן באורכים שונים

מה זה: השוואה בין ייצוא של 3 ימים לפני תיקון לבין ייצוא של 30 יום אחריו. איך מזהים: הסכומים זזים הרבה, אבל החלק של כל תבנית לא זז. איך מתקנים: השווה את אותו מספר ימים, ובתקופה זהה של השנה כשאפשר, והשווה חלקים ולא סכומים גולמיים כשהנפח משתנה.

מודדים פניות במקום ערך

מה זה: לחגוג עלייה בפניות של Googlebot בלי לבדוק אם הפניות מגיעות לדפים שמאונדקסים. איך מזהים: הפניות מתרכזות בכתובות שאינן מאונדקסות, או שאינן מביאות תנועה כלל. איך מתקנים: חבר את קבוצות הלוג לסטטוס האינדוקס מכלי בדיקת כתובת ב-Search Console, ורשום תיקון כהצלחה רק כשהזחילה זזה לעבר הדפים החשובים.

איפה בוטים של AI נכנסים לאותם לוגים

אותם לוגים מראים מה זוחלי ה-AI עושים באתר שלך, והשיטה זהה: קבץ אותם, אמת אותם במקום שבו הספק נותן לך דרך לעשות זאת, וקרא את קודי הסטטוס. מדריך לוגי זוחלי ה-AI שלנו מכסה אילו בוטים לחפש וכיצד הם שונים מ-Googlebot. המאמר הזה מכסה לעומק את שיטת Googlebot, והסעיף הבא מראה איך לשלב את שניהם בדוח אחד.

סוג בוט	דוגמאות	מה לבדוק בלוגים	איפה לקרוא עוד
זוחל חיפוש	Googlebot	פניות לפי תבנית, תמהיל קודי סטטוס, וזמן עד הזחילה הראשונה של דפים חדשים	הסעיפים לעיל במאמר הזה
זוחל אימון	GPTBot, ClaudeBot, CCBot	האם הם מבקשים את התוכן שלך בכלל, והאם הם מכבדים את robots.txt	Robots.txt לזוחלי AI
זוחל אחזור	ChatGPT-User, PerplexityBot	התפרצויות ביקורים קצרות הקשורות לשאלות משתמשים, והדפים שאליהם הן מגיעות	לוגי זוחלי AI

ההפרדה בין אימון לאחזור נובעת מהאופן שבו זוחלי AI מתועדים. זוחלי אימון אוספים תוכן עבור מודלים, וזוחלי אחזור מביאים דפים כשמשתמש שואל שאלה. הדוח שלך צריך להפריד ביניהם, כי החלטת מדיניות לגבי אחד מהם לא חלה אוטומטית על השני.

אם אתה רוצה לראות זה לצד זה את התנועה של Google ואת תנועת ה-AI בזמן שאתה מיישם את התיקונים האלה, לוח המחוונים GEO / SEO של Sorank מציג את שתיהן בתצוגה אחת. השתמש בו כדי לבדוק אם השינויים שאתה עושה מתוך הלוגים מזיזים את התנועה, ולא רק את ספירות הזחילה.