איך מנועי חיפוש עובדים? סריקה, אינדוקס, דירוג ותשובות של בינה מלאכותית

הבנה של איך מנועי חיפוש עובדים היא הבסיס לכל החלטת SEO: דף שלא נסרק לא יכול להיכנס לאינדקס, ודף שלא נמצא באינדקס לא יכול לא לדרג ולא להיות מצוטט על ידי עוזר AI. Google מתארת את התהליך במדריך המעמיק לאופן הפעולה של חיפוש Google. המאמר הזה עוקב אחר אותם שלבים, מוסיף מה Bing עושה אחרת ומראה מה משתנה כש-ChatGPT,‏ Gemini או Perplexity עונים במקום רשימה של קישורים כחולים.

מהו מנוע חיפוש?

מנוע חיפוש הוא תוכנה שמוצאת דפי אינטרנט המתאימים לשאילתה. יש לו שני חלקים: אינדקס, מסד נתונים של דפים שכבר התגלו ונותחו, ומערכות דירוג, שמחליטות אילו דפים מהאינדקס עונים הכי טוב על השאילתה ובאיזה סדר. מנוע חיפוש אף פעם לא סורק את הרשת בזמן אמת כשאתם מקלידים שאילתה: הוא מחפש בעותק השמור שלו. לכן דף שפורסם הבוקר יכול להישאר בלתי נראה במשך כמה ימים.

קנה המידה מסביר את רוב הבחירות הטכניות. לפי Google, אינדקס החיפוש שלה מכסה מאות מיליארדי דפי אינטרנט ונפחו עולה בהרבה על 100,000,000 גיגה-בייט (Google, How Search Works). אף מנוע לא יכול לסרוק הכול מחדש בכל יום, ולכן כל אחד מתעדף מה להוריד, מה לשמור ומה להציג. Google שולטת ברוב המדינות, אבל Bing,‏ Yandex,‏ Baidu,‏ Naver ומנועים ממוקדי פרטיות פועלים לפי אותו היגיון, כפי שמראה הרשימה שלנו של מנועי חיפוש חלופיים ל-Google.

איך מנועי חיפוש עובדים, שלב אחר שלב?

קל יותר לעבוד על שלושת השלבים הקלאסיים כשמפרקים אותם לחמישה צעדים, ולכל אחד מנופים משלו.

שלב 1: סריקה, גילוי דפים

סריקה (crawling) היא שלב הגילוי. תוכנות אוטומטיות שנקראות סורקים (Googlebot אצל Google,‏ Bingbot אצל Bing) מתחילות מכתובות שהן כבר מכירות ועוקבות אחר קישורים כדי למצוא חדשות. הן גם קוראות את מפות האתר בפורמט XML שבעלי האתרים שולחים. Google מציינת ש-Googlebot משתמש באלגוריתם כדי להחליט אילו אתרים לסרוק, באיזו תדירות וכמה דפים להוריד מכל אחד, ושהוא נמנע מלסרוק אתר מהר מדי כדי לא להעמיס על השרת.

שלושה דברים חוסמים סריקה: כלל disallow בקובץ robots.txt, דפים שמחייבים התחברות, ושגיאות או השהיות של השרת. המנופים הם מבנה קישורים פנימיים נקי בלי דפים יתומים, מפת אתר XML מעודכנת ושרת מהיר ויציב. אתרים גדולים מנהלים גם את תקציב הסריקה שלהם: מספר כתובות ה-URL שסורק מוכן להוריד מהאתר בפרק זמן נתון.

שלב 2: רינדור, לראות את הדף כמו דפדפן

דפים רבים בונים את התוכן שלהם עם JavaScript. Google מרנדרת דפים עם גרסה עדכנית של Chrome, ולכן היא יכולה להריץ סקריפטים ולראות את מה שמבקר רואה. רינדור צורך משאבים ועלול להתעכב, ותוכן שמופיע רק אחרי לחיצה, או שתלוי בסקריפט שנכשל, עלול לא להיראות לעולם. סורקים רבים אחרים, ובהם כמה סורקים של AI, לא מריצים JavaScript בכלל: התוכן המרכזי צריך להופיע ב-HTML הראשוני.

שלב 3: אינדוקס, הבנה ושמירה

אינדוקס הוא שלב הניתוח. המנוע קורא את הטקסט, הכותרת, כותרות המשנה, התמונות, הסרטונים והנתונים המובנים, מקבץ דפים עם תוכן דומה ובוחר כתובת מייצגת אחת, הקנונית, שהיא הגרסה שיכולה להופיע בתוצאות. הוא שומר אותות על הדף הזה: שפה, מדינת יעד, עדכניות, שימושיות. Google משווה את האינדקס שלה למפתח שבסוף ספר, עם ערך לכל מילה שנראתה בכל דף שנכנס לאינדקס.

אינדוקס אף פעם לא מובטח. Google מבהירה שלא כל דף שהיא מעבדת ייכנס לאינדקס: תוכן דל או כפול, הנחיית noindex או עיצוב שמקשה על הניתוח יכולים להשאיר דף בחוץ. המדריך שלנו להכנסת דפים לאינדקס של Google מסביר את התיקונים, ובודק יכולת אינדוקס חינמי אומר לכם תוך שניות אם כתובת יכולה להיכנס לאינדקס.

שלב 4: דירוג, בחירת התשובות הטובות ביותר

כששאילתה מגיעה, המנוע קודם כול מפרש אותה: איות, מילים נרדפות, שפה, מיקום והכוונה שמאחורי המילים (ללמוד, להשוות, לקנות, להגיע לאתר מסוים). לאחר מכן הוא שולף מהאינדקס דפים מועמדים ומסדר אותם בעזרת מערכות דירוג רבות שפועלות יחד. Google מקבצת את הגורמים העיקריים למשמעות השאילתה, הרלוונטיות של התוכן, האיכות שלו, השימושיות של הדף והקשר החיפוש, כמו מיקום והגדרות. קישורים מאתרים אחרים נשארים אות של סמכות. התמונה המלאה מופיעה בניתוח שלנו של גורמי הדירוג של Google.

שתי נקודות מובנות לעיתים קרובות לא נכון. ראשית, Google מצהירה שהיא לא מקבלת תשלום כדי לסרוק אתר לעיתים קרובות יותר או לדרג אותו גבוה יותר: מודעות נמכרות בנפרד ומסומנות ככאלה. שנית, מיקום ושפה משנים את התוצאות הרבה יותר מהיסטוריית הגלישה האישית.

שלב 5: הצגה, בניית דף התוצאות

השלב האחרון מרכיב את דף התוצאות. עשרת הקישורים הכחולים הפכו לשילוב של מודעות, תוצאות מקומיות, תמונות, סרטונים, תיבות "אנשים שואלים גם", קטעי תשובה מובלטים, ובשאילתות מידע רבות גם AI Overview. הכותרת והתיאור שמוצגים מגיעים מתגית ה-title, מתיאור המטא ומתוכן הדף, ונתונים מובנים יכולים להפוך דף לזכאי לתוצאות עשירות. כל פורמט הוא הזדמנות נוספת להיראות.

במה Bing שונה מ-Google?

Bing פועל לפי אותו מודל של סריקה, אינדוקס ודירוג, עם כמה הבדלים מעשיים. העיקרי שבהם הוא IndexNow, פרוטוקול שמאפשר לאתר להודיע למנועים ברגע שכתובת נוספה, עודכנה או נמחקה, בלי לחכות לסריקה הבאה. לפי IndexNow.org, הפרוטוקול נתמך על ידי Microsoft Bing,‏ Naver,‏ Seznam.cz,‏ Yandex ו-Yep; Google לא אימצה אותו. תוצאות Bing מזינות גם את Microsoft Copilot. נתח השוק של Bing קטן ברוב המדינות, אבל הגדרת Bing Webmaster Tools לוקחת כמה דקות ופותחת מקור שני של תנועה ונתונים.

איך עוזרי AI כמו ChatGPT ו-AI Overviews מוצאים תוכן?

תשובות של AI נשענות על מנועי החיפוש ולא מחליפות אותם. רובן משתמשות ביצירה מועשרת באחזור (RAG): המערכת מריצה חיפוש אחד או כמה, שולפת את הקטעים הרלוונטיים ביותר מאינדקס של הרשת, ואז מודל שפה כותב תשובה שמצטטת חלק מהמקורות האלה.

• AI Overviews ו-AI Mode של Google משתמשים באינדקס של Google עצמה. הדף של Google על תכונות AI והאתר שלכם קובע שדף צריך רק להיות באינדקס ולהיות זכאי להופיע עם קטע תקציר, בלי סימון מיוחד או קובץ טקסט ייעודי ל-AI. התכונות האלה משתמשות ב-"query fan-out": הן מריצות כמה חיפושים קשורים על תתי-נושאים כדי לאסוף דפים תומכים.
• ChatGPT search שולף דפים באמצעות הסורק של OpenAI,‏ OAI-SearchBot. לפי התיעוד של OpenAI על הסורקים שלה, אתרים שחוסמים את OAI-SearchBot לא נכללים בתשובות של ChatGPT search, ואילו GPTBot הוא סורק נפרד שמשמש לאימון מודלים.
• Gemini,‏ Perplexity ו-Claude משלבים גם הם חיפוש ברשת ויצירת תוכן: Gemini נשען על חיפוש Google, ו-Perplexity ו-Claude שולחים סורקים משלהם (PerplexityBot,‏ Claude-SearchBot) כדי לאנדקס את הדפים שהם יכולים לצטט.

המסקנה: השלבים הקלאסיים עדיין קובעים את הנראות ב-AI. לדף שחסום לסריקה, חסר באינדקס או קבור עמוק בדירוג יש סיכוי קטן להישלף, ולכן גם להיות מצוטט. מה שמשתנה הוא הבחירה הסופית: ה-AI בוחר קטעים ולא דפים שלמים, ומעדיף הגדרות ברורות, נתונים עם מקור ותשובות ישירות. המחקר שלנו על המקורות ש-ChatGPT מצטט מראה אילו סוגי דפים זוכים בציטוטים האלה.

במה אתם שולטים בכל שלב?

סדרו את השלבים ותקבלו רשימת בדיקה שמתאימה ל-Google, ל-Bing ולעוזרי AI כאחד:

1. תנו לבוטים הנכונים להיכנס. בדקו שאין ב-robots.txt כללי disallow בטעות, והחליטו במודע אילו סורקי AI אתם מתירים.
2. הפכו כל דף חשוב לנגיש בשלוש לחיצות לכל היותר דרך קישורים פנימיים, וכללו אותו במפת האתר.
3. הגישו את התוכן ב-HTML, לא רק דרך JavaScript, עם תגובות שרת מהירות ויציבות.
4. תנו לכל נושא כתובת קנונית אחת והימנעו מדפים כמעט זהים שמפצלים את האותות.
5. ענו על כוונת החיפוש. התחילו מהשאלות שאנשים מקלידים, שמחקר מילות מפתח חושף, וענו עליהן כבר בשורות הראשונות של הדף.
6. צברו סמכות באמצעות קישורים ואזכורים מאתרים רלוונטיים.
7. כתבו קטעים שאפשר לצטט: הגדרה, מספר עם מקור, רשימה קצרה של שלבים.
8. מדדו את שני הערוצים: Search Console עבור Google, ומעקב אחר אזכורים ב-AI כדי לדעת אם ChatGPT,‏ Gemini או Perplexity מצטטים את המותג שלכם.

איך מנועי חיפוש השתנו לאורך השנים?

המנועים הראשונים בשנות ה-90 דירגו דפים בעיקר לפי התאמת מילות מפתח, שקל היה לתמרן. PageRank של Google, שהתייחס לקישורים כאל קולות, הקשה מאוד על המניפולציה, והעשורים שאחריו הוסיפו הבנת שפה באמצעות מודלים של למידת מכונה כמו BERT, אינדוקס mobile-first, מאבק בספאם ומערכות איכות. ההיסטוריה של Google מראה דפוס קבוע: כל שינוי גדול תגמל דפים שנכתבו בשביל אנשים והעניש קיצורי דרך. תשובות גנרטיביות הן השלב האחרון, והן מתגמלות את אותו הדבר: תוכן ברור, אמין ומובנה היטב.

מסריקה לתנועה: מאיפה להתחיל

מנועי חיפוש מתגמלים דפים שהם יכולים לסרוק, להבין ולסמוך עליהם, ועוזרי AI מצטטים את הדפים שמנועי החיפוש כבר מדרגים. טפלו קודם בגישה, אחר כך באינדוקס, ואז ברלוונטיות ובסמכות. כדי שהעבודה הזו תימשך שבוע אחרי שבוע, Sorank מוצא את מילות המפתח שלכם, מפרסם מאמרים מותאמים עם מקורות וקישורים פנימיים, ובודק אם ChatGPT,‏ Gemini ו-Perplexity מצטטים את המותג שלכם, במצב autopilot.