סיכום: מחולל מפת האתר ב-XML מתחיל בדף הבית, עוקב אחרי הקישורים הפנימיים כמו Googlebot, מכבד את robots.txt ושומר רק דפים שמחזירים 200, ללא noindex, שהקנונית שלהם מפנה אליהם. תקבלו קובץ sitemap.xml להורדה ואת רשימת הדפים שהושמטו, עם הסיבה לכל אחד.
מפת אתר XML אומרת למנועי החיפוש אילו דפים קיימים באתר וראויים לאינדוקס. מפת אתר מלאה בהפניות, שגיאות או דפי noindex שולחת אותות סותרים ומבזבזת תקציב סריקה: Google לומד לסמוך עליה פחות. מפת אתר נקייה כוללת רק את הכתובות שאתם באמת רוצים לראות בתוצאות.
איך המחולל בונה את הקובץ
- הוא סורק כמו רובוט: עוקב אחרי הקישורים בדפים, רק באותו דומיין, בלי קבצים, פרמטרי מעקב, עגלות קנייה או דפי חיפוש.
- הוא מכבד את robots.txt: דף שחסום ל-Googlebot מושמט ומסומן.
- הוא שומר רק דפים שניתן לאנדקס: סטטוס 200, ללא noindex, קנונית שמפנה לדף עצמו.
- הוא מוסיף את תאריך השינוי האחרון כשהשרת שולח אותו.
אחרי ההורדה
- העלו את sitemap.xml לתיקיית השורש, למשל example.com/sitemap.xml.
- הוסיפו לקובץ robots.txt את השורה Sitemap: ואחריה הכתובת המלאה.
- הגישו אותה ב-Google Search Console וב-Bing Webmaster Tools.
- צרו אותה מחדש אחרי הוספה או מחיקה של דפים, או תנו למערכת ניהול התוכן לעדכן אותה.
הגרסה החינמית סורקת עד 50 דפים. כדי לבדוק מפת אתר קיימת, השתמשו בבודק מפת האתר. כדי לקבוע מה מותר לרובוטים לסרוק, השתמשו במחולל robots.txt. Sorank מוסיף למפת האתר כל מאמר שהוא מפרסם.
