העדפות
הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף
הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף
Crawlability היא הקלות שבה בוטים מגלים ומורידים את עמודי האתר. מה חוסם סורקים, איך בודקים ואיך משפרים עבור Google וה-AI.
כלים
סיכום
Crawlability, או יכולת סריקה, היא היכולת של בוטים של מנועי חיפוש ושל ה-AI לגלות את עמודי האתר ולהוריד את התוכן שלהם בלי מכשולים. עמוד שלא ניתן לסרוק לא יאונדקס, לא ידורג ולא יצוטט.
רוצים להעמיק? שאלו את
Crawlability מתארת עד כמה קל לסורק כמו Googlebot, Bingbot או בוט AI כמו GPTBot למצוא את עמודי האתר דרך קישורים ומפות אתר ולהוריד את תוכנם. היא תלויה במבנה, בשרת, בכללים לבוטים ובאופן בניית העמודים, והיא התנאי הראשון לנראות אורגנית.
מבלבלים אותה לעיתים עם הסריקה עצמה: הסריקה היא התהליך של המנוע, ויכולת הסריקה היא התכונה של האתר שמקלה עליו. היא שונה גם מיכולת האינדוקס: עמוד שניתן לסרוק יכול להיות מוחרג מהאינדקס באמצעות noindex או canonical.
קישורים ומבנה. סורקים נעים מקישור לקישור. עמודים יתומים כמעט לא מתגלים, ועמודים עמוקים נסרקים פחות. הבסיס הוא היררכיה ברורה וקישורים פנימיים טובים.
כללים לבוטים. הקובץ robots.txt יכול לחסום אזורים שלמים, לפעמים בטעות, וכך גם מסכי התחברות, חומות אש קשוחות או הגנות נגד בוטים.
בריאות השרת. תגובות איטיות, פסקי זמן ושגיאות 5xx גורמים ל-Google להאט את קצב הסריקה; שרשראות הפניה וקישורים שבורים מבזבזים בקשות.
רינדור. כשהתוכן והקישורים מופיעים רק אחרי הרצת JavaScript, הסורק צריך לרנדר את העמוד. Google עושה זאת באיחור, אבל בוטים רבים של AI קוראים רק את ה-HTML הגולמי.
התחילו ב-Google Search Console: דוח האינדוקס מציג כתובות שלא נשלפו, ודוח נתוני הסריקה מציג זמני תגובה, קודי סטטוס וסוגי בוטים. כלי בדיקת הכתובות מראה את ה-HTML המרונדר של עמוד.
לאחר מכן סרקו את האתר בעצמכם, למשל עם ביקורת יכולת הסריקה מבוססת AI החינמית של Sorank, כדי למצוא עמודים יתומים, קישורים שבורים, שרשראות הפניה ועמודים חסומים. השוו את התוצאה למפת האתר XML: פערים חושפים בעיות מבנה.
קשרו כל עמוד חשוב מעמוד רלוונטי אחד לפחות, והשאירו עמודי מפתח במרחק שלוש לחיצות לכל היותר מדף הבית. פרסמו מפת אתר XML מעודכנת עם כתובות קנוניות בלבד, חסמו ב-robots.txt רק את מה שחייב להישאר בחוץ והחליפו שרשראות הפניה בקישורים ישירים.
הגישו תוכן וקישורים חשובים ב-HTML הראשוני באמצעות רינדור בצד השרת או יצירה סטטית, עקבו אחרי זמני תגובה ושגיאות 5xx, ובאתרים גדולים נהלו את תקציב הסריקה על ידי צמצום כתובות חסרות ערך.
הטעות הקלאסית היא כלל ב-robots.txt שנשאר מסביבת הפיתוח וחוסם את כל האתר או את קובצי ה-CSS וה-JavaScript הדרושים לרינדור. נוספים עליה ניווט שמבוסס רק על אירועי JavaScript בלי קישורי href אמיתיים, פרמטרים אינסופיים בכתובות שנוצרים ממסננים ומיון, וקישורים לעמודים שהופנו או נמחקו אחרי הגירה.
ב-SEO היא תנאי מקדים: עמוד שלא נסרק לא מאונדקס ולא מדורג. ב-GEO היא מכרעת באותה מידה: ה-AI משתמשים בסורקים משלהם ובאינדקסים של חיפוש. GPTBot, ClaudeBot או PerplexityBot צריכים הרשאה ב-robots.txt ותוכן ב-HTML פשוט. הערך שלנו על סורקי AI מפרט אילו בוטים לאפשר.
יכולת סריקה היא הקלות שבה בוטים מגלים ומורידים את העמודים שלכם. היא נשענת על קישורים פנימיים ברורים, robots.txt מחושב, שרת בריא ותוכן זמין בלי JavaScript כבד, והיא קודמת לאינדוקס, לדירוג ולציטוט ב-AI.
להרחבה: סריקה ותקציב הסריקה. מקורות: הסקירה של Google על הסורקים שלה ויסודות SEO ל-JavaScript של Google.
מקורות
יכולת סריקה היא האם בוטים יכולים להגיע לעמוד ולהוריד אותו. יכולת אינדוקס היא האם העמוד, אחרי שנסרק, מורשה וראוי להישמר באינדקס. עמוד חסום ב-robots.txt אינו ניתן לסריקה; עמוד שניתן לסרוק עם noindex אינו ניתן לאינדוקס.
רובם מורידים את ה-HTML הגולמי ואינם מריצים JavaScript כמו מנוע הרינדור של Google. תוכן שנוצר רק בדפדפן עלול להישאר בלתי נראה עבורם, ולכן עדיף להגיש אותו ב-HTML הראשוני.
בדקו את דוחות נתוני הסריקה והאינדוקס ב-Search Console. עלייה בשגיאות שרת, זמני תגובה ארוכים, הרבה כתובות "התגלה, לא אונדקס כרגע" או עמודים חשובים שחסרים באינדקס הם סימנים מובהקים.
הם ניסו את Sorank לפניכם
“אנחנו סוכנות פרסום (Ads) ורצינו סוף סוף להחזיר את ה-SEO שלנו למסלול. Sorank נתנה לנו תמונה ברורה של האתר שלנו, עזרה לנו לתעדף אופטימיזציות ולבנות נכון את התוכן. הכלי קל לשימוש, מעוצב היטב לעבודת צוות, ומאוד מעשי לריכוז המעקב בלי לקפוץ בין מספר פלטפורמות. בסיס איתן מאוד לפתיחת דף חדש עם ה-SEO שלנו.”
Gaspard Madouiסוכנות פרסום (Ads)“במשך שנתיים, 100% מהלקוחות שלי הגיעו מ-LinkedIn. פרסום יומי, תגובות, מעקבים בהודעות פרטיות... תלות מוחלטת באלגוריתם. ידעתי שאני צריך לעבוד על SEO אבל תמיד דחיתי את זה: ארוך מדי, טכני מדי, לא התחום שלי. עם Sorank, סוף סוף עשיתי את הצעד. בתוך 4 חודשים, אני מייצר 15 לידים אורגניים בחודש בלי לפרסם כלום. זה עדיין לא 50/50 מול LinkedIn, אבל אני ישן טוב יותר בידיעה שיש לי עכשיו מקור לידים שני שגדל באופן אוטומטי.”
Valentin Thomyסוכנות ColdMailing
“פשוט נתתי לתוכנה של Sorank לעשות את שלה, ועכשיו ציון DR של האתר שלי הוא 25 והדף שלי מדורג גבוה יותר.”
Lucas Flandrefoundertrace.fr“פתרון מצוין לניהול SEO בלי כאב ראש. הביקורות מהירות, הממשק ברור, ואתה רואה במהירות אילו פעולות ליישם. זה הפך לכלי חיוני למעקב ולשיפור ה-SEO של האתרים שלי. ממליץ בחום.”
Xavיזם
