איך להגיש את האתר למנועי חיפוש: Google,‏ Bing,‏ IndexNow ובינה מלאכותית

להגיש את האתר למנועי חיפוש פירושו להודיע להם שהאתר והעמודים שלו קיימים, דרך כלי מנהלי האתרים שלהם, מפת אתר או פרוטוקול התראות. זה לא מבטיח הוספה לאינדקס או דירוג. התיעוד של Google על בקשה מ-Google לסרוק מחדש כתובות URL מזהיר שהסריקה יכולה להימשך בין כמה ימים לכמה שבועות. המדריך הזה עובר על כל מנוע, על הכלים שצריך ועל מה לעשות עבור ChatGPT ועוזרי בינה מלאכותית אחרים.

האם עדיין צריך להגיש אתר למנועי חיפוש?

במובן הצר, לא. מנועי חיפוש מגלים עמודים באמצעות סריקת קישורים: ברגע שאתר אחר שנמצא באינדקס מקשר אליכם, הסורקים מגיעים. ובכל זאת ההגשה שווה את עשר הדקות שהיא דורשת, משלוש סיבות:

• אתר חדש בלי קישורים נכנסים עלול לחכות שבועות עד שסורק ימצא אותו במקרה.
• כלי מנהלי האתרים מראים מה לא עובד: עמודים שהוחרגו מהאינדקס, שגיאות שרת, משאבים חסומים, פעולות ידניות. בלעדיהם אתם עובדים בעיניים עצומות.
• עמודים חדשים ומעודכנים נקלטים מהר יותר כשמפת אתר או התראה מודיעות למנוע שהם השתנו.

ההגשה לא מחליפה את היסודות: העמודים חייבים להיות סריקים, להחזיר קוד סטטוס 200, לא לשאת noindex ולהציע תוכן שראוי להיכנס לאינדקס. אם עמודים שהוגשו עדיין חסרים, המדריך שלנו לבעיות אינדוקס ב-Google מפרט את האבחון.

איך מגישים את האתר ל-Google?

1. להוסיף ולאמת את האתר ב-Search Console

צרו נכס ב-Google Search Console. נכס מסוג דומיין מכסה את כל תתי-הדומיינים והפרוטוקולים (http,‏ https, עם www ובלי) ומאומת באמצעות רשומת DNS אצל רשם הדומיין. נכס מסוג קידומת URL מכסה גרסה אחת של האתר ומקבל שיטות נוספות: קובץ HTML, תג מטא, Google Analytics או Google Tag Manager. רוב מערכות ניהול התוכן וחברות האחסון מסבירות איך להוסיף את רשומת ה-DNS בתוך דקות.

2. להגיש את מפת האתר XML

מפת אתר XML מפרטת את הכתובות שאתם רוצים שייכנסו לאינדקס. WordPress,‏ Shopify,‏ Webflow ו-Wix מייצרות אותה אוטומטית (לרוב בכתובת /sitemap.xml); אחרת מחולל מפות אתר יוצר אותה. ב-Search Console פתחו את Sitemaps, הדביקו את הכתובת ושלחו. התיעוד של Google על מפות אתר קובע מגבלה של 50,000 כתובות או 50MB לא דחוסים לכל קובץ (אתרים גדולים משתמשים באינדקס של מפות אתר) ומגדיר את ההגשה כרמז בלבד: היא עוזרת לגילוי אבל לא מבטיחה דבר. הוסיפו גם שורת Sitemap: לקובץ robots.txt, שכל המנועים הגדולים קוראים.

3. לבקש הוספה לאינדקס לעמודי מפתח

לכמה עמודים חשובים (עמוד בית חדש, השקה, מאמר מתוקן), הדביקו את הכתובת בכלי בדיקת כתובות ה-URL ולחצו על בקשה להוספה לאינדקס. Google מגבילה את הבקשות האלה במכסה ומבהירה שבקשה חוזרת על אותה כתובת לא תזרז את הסריקה. ליותר מכמה כתובות, הסתמכו על מפת האתר.

4. לבדוק את דוח הדפים כמה ימים אחר כך

דוח דפים מציג את הכתובות שנכנסו לאינדקס ואת הסיבות שבגללן אחרות הוחרגו (עמודים שנסרקו אך עדיין לא נוספו לאינדקס, כפילויות בלי כתובת קנונית שהמשתמש בחר, עמודים שחסומים ב-robots.txt ועוד). בודק יכולת אינדוקס חינמי מאשר בתוך שניות אם עמוד מסוים יכול להיכנס לאינדקס בכלל.

למה עמוד שהוגש עדיין לא מופיע ב-Google?

ההגשה רק מכניסה כתובת לתור. כשעמוד נשאר מחוץ לאינדקס, הסיבה היא כמעט תמיד אחת מאלה:

1. סריקה חסומה: כלל Disallow בקובץ robots.txt, שנשאר לרוב מסביבת הבדיקות.
2. הנחיית noindex בתג meta robots או בכותרת ה-HTTP‏ X-Robots-Tag.
3. תג canonical שמפנה למקום אחר ומורה ל-Google להוסיף לאינדקס כתובת אחרת.
4. תוכן כפול או דל: Google סורקת את העמוד אבל מחליטה שהוא לא מוסיף דבר על העמודים שכבר באינדקס.
5. אותות גילוי חלשים: עמוד יתום בלי קישורים פנימיים, בדומיין צעיר בלי קישורים נכנסים.
6. שגיאות שרת או תגובות איטיות, שגורמות לסורקים להאט או לוותר.

את שלוש הראשונות מתקנים בתוך דקות ברגע שמזהים אותן. שלוש האחרונות דורשות עבודה על תוכן וקישור פנימי, ששום כלי הגשה לא מחליף.

איך מגישים את האתר ל-Bing,‏ Yahoo ו-DuckDuckGo?

פתחו חשבון ב-Bing Webmaster Tools. הדרך המהירה ביותר היא אפשרות הייבוא: Bing קורא את האתרים המאומתים ואת מפות האתר שלכם מ-Google Search Console, כך שאין צורך באימות נוסף. לאחר מכן ודאו שמפת האתר נקראה, והשתמשו ב-URL Submission לעמודים דחופים.

Bing חשוב מעבר לנתח החיפושים שלו. תוצאות החיפוש של Yahoo מגיעות מ-Bing, ול-DuckDuckGo אין כלי הגשה בכלל, כך שאתר שנמצא היטב באינדקס של Bing מכוסה גם במנועים האלה. האינדקס של Bing מזין גם מוצרי בינה מלאכותית, כפי שמוסבר בפרק על בינה מלאכותית בהמשך. לאפשרויות נוספות של משתמשים, ראו את הסקירה שלנו על מנועי חיפוש חלופיים ל-Google.

מה זה IndexNow ואילו מנועי חיפוש משתמשים בו?

IndexNow הוא פרוטוקול פתוח שמאפשר לאתר להודיע למנועי חיפוש ברגע שכתובת נוספה, עודכנה או נמחקה, במקום לחכות לסריקה הבאה. לפי התיעוד הרשמי של IndexNow, המנועים המשתתפים הסכימו שכתובת שהוגשה לאחד מהם משותפת אוטומטית עם כל האחרים, ובקשה אחת יכולה לכלול עד 10,000 כתובות. המנועים המשתתפים שמופיעים ב-indexnow.org הם Microsoft Bing,‏ Naver,‏ Seznam.cz,‏ Yandex ו-Yep. Google לא ביניהם.

ההגדרה לוקחת כמה דקות: יוצרים מפתח, מעלים אותו כקובץ טקסט לתיקיית השורש של האתר, ושולחים כתובות ל-API. פלטפורמות ו-CDN רבים מציעים את IndexNow כאפשרות מובנית או כתוסף, שמעדכן את המנועים אוטומטית בכל פרסום או עדכון של עמוד.

איך מגישים את האתר למנועי חיפוש אחרים?

מחוץ לשוק דובר האנגלית, למנועים מקומיים יש קונסולות משלהם. הטבלה מסכמת לאן לפנות:

כל קונסולה מאמתת בעלות בדרך דומה (תג מטא, קובץ או DNS) ומקבלת את מפת האתר שלכם. לפני ההגשה הריצו בודק מפות אתר: מפת אתר מלאה בהפניות, בשגיאות 404 או בכתובות לא קנוניות מבזבזת זמן סריקה בכל המנועים בבת אחת.

איך ChatGPT,‏ Perplexity ועוזרי בינה מלאכותית אחרים מוצאים את האתר שלכם?

אין טופס להגשת אתר ל-ChatGPT,‏ Claude,‏ Gemini או Perplexity. הם מגיעים לעמודים שלכם בשתי דרכים: דרך סורקי הבינה המלאכותית שלהם, ודרך אינדקסים של חיפוש שהם שואלים בזמן אמת.

• אפשרו את סורקי החיפוש ב-robots.txt. התיעוד של OpenAI על הסורקים שלה קובע שאתרים שחוסמים את OAI-SearchBot לא יוצגו בתשובות של ChatGPT search. חסימת GPTBot היא החלטה נפרדת שנוגעת רק לאימון מודלים. בדקו את קובץ robots.txt ואת כללי חומת האש עבור OAI-SearchBot,‏ PerplexityBot ו-ClaudeBot.
• היו באינדקס של Bing ושל Google. מרכז העזרה של OpenAI מציין ש-ChatGPT search עובד עם ספקי חיפוש חיצוניים, ו-Bing מוזכר באופן נרחב כאחד מהם; Gemini ו-AI Overviews נשענים על האינדקס של Google. אינדוקס טוב בשני המנועים הוא הבסיס לנראות בבינה המלאכותית.
• הגישו את התוכן ב-HTML. רוב סורקי הבינה המלאכותית לא מריצים JavaScript: טקסט שמופיע רק אחרי הרצת סקריפטים לא נקרא.
• שקלו קובץ llms.txt. זו הצעה של הקהילה שמסכמת את עמודי המפתח שלכם עבור מודלי שפה; אף ספק בינה מלאכותית גדול לא מציג אותו כדרישה, אבל העלות נמוכה. מחולל llms.txt שלנו יוצר קובץ כזה.

כדי לדעת אם המאמצים האלה עובדים, הסתכלו על התשובות עצמן. מעקב האזכורים בבינה המלאכותית של Sorank עוקב אחרי סדרת שאלות (prompts) ב-ChatGPT,‏ Claude ו-Gemini (ובנוסף Perplexity ו-Grok מתוכנית Pro) ומראה אם המותג שלכם מצוטט, ומי מצוטט במקומו.

האם כדאי לשלם על שירות הגשה למנועי חיפוש?

לא. שירותים שמבטיחים להגיש את האתר ל"500 מנועי חיפוש" תמורת תשלום מוכרים משהו שאפשר לעשות בחינם בפחות משעה, ורוב המנועים ברשימות שלהם כמעט לא מקבלים תנועה. המנועים שחשובים (Google,‏ Bing וחברי IndexNow) מספקים כלים חינמיים. אותו דבר נכון להצעות בתשלום ל"אינדוקס מיידי": שום צד שלישי לא יכול לחייב את Google להוסיף עמוד לאינדקס. מה שמכריע את האינדוקס הוא איכות העמוד, הקישורים הפנימיים שלו והקישורים שהוא משיג מאתרים אחרים.

הגשת אתר לוקחת פחות משעה: אמתו אותו ב-Google Search Console וב-Bing Webmaster Tools, הגישו את מפת האתר, הפעילו את IndexNow ופתחו את robots.txt לסורקי החיפוש של הבינה המלאכותית. משם העבודה עוברת לפרסום עמודים שראויים להיכנס לאינדקס ולהיות מצוטטים. Sorank כותבת ומפרסמת מאמרי SEO ו-GEO במצב autopilot, עם קישורים פנימיים ומקורות, כך שכל עמוד חדש נותן למנועי החיפוש ולעוזרי הבינה המלאכותית סיבה לחזור.