كيف تعمل محركات البحث؟ الزحف والفهرسة والترتيب وإجابات الذكاء الاصطناعي

فهم كيف تعمل محركات البحث هو أساس كل قرار في تحسين محركات البحث (SEO): الصفحة التي لا يُزحف إليها لا يمكن فهرستها، والصفحة غير المفهرسة لا يمكنها أن تحتل ترتيبًا ولا أن يستشهد بها مساعد ذكاء اصطناعي. تشرح Google هذه العملية في دليلها المفصل حول طريقة عمل بحث Google. يتبع هذا المقال المراحل نفسها، ويضيف ما يفعله Bing بشكل مختلف، ويوضح ما الذي يتغير عندما يجيب ChatGPT أو Gemini أو Perplexity بدلًا من قائمة روابط زرقاء.

ما هو محرك البحث؟

محرك البحث برنامج يعثر على صفحات الويب المطابقة لاستعلام ما. ويتكون من جزأين: فهرس، وهو قاعدة بيانات للصفحات التي اكتُشفت وحُللت مسبقًا، وأنظمة ترتيب تقرر أي الصفحات المفهرسة تجيب عن الاستعلام بأفضل شكل وبأي ترتيب. لا يبحث محرك البحث في الويب المباشر عندما تكتب استعلامك، بل في نسخته المخزنة منه. لهذا قد تبقى صفحة نُشرت صباح اليوم غير مرئية لعدة أيام.

يفسر حجم العمل معظم الخيارات التقنية. وفقًا لـ Google، يغطي فهرس البحث لديها مئات المليارات من صفحات الويب ويتجاوز حجمه بكثير 100,000,000 غيغابايت (Google, How Search Works). لا يستطيع أي محرك إعادة الزحف إلى كل شيء يوميًا، لذا يحدد كل محرك أولوياته: ماذا ينزّل، وماذا يحتفظ به، وماذا يعرض. تهيمن Google في معظم البلدان، لكن Bing وYandex وBaidu وNaver والمحركات التي تركز على الخصوصية تتبع المنطق نفسه، كما تُظهر قائمتنا لـمحركات البحث البديلة لـ Google.

كيف تعمل محركات البحث خطوة بخطوة؟

يصبح العمل على المراحل الثلاث الكلاسيكية أسهل عند تقسيمها إلى خمس خطوات، لكل منها أدواتها الخاصة.

الخطوة 1: الزحف، اكتشاف الصفحات

الزحف هو مرحلة الاكتشاف. تنطلق برامج آلية تُسمى برامج الزحف (Googlebot لدى Google وBingbot لدى Bing) من عناوين تعرفها مسبقًا وتتبع الروابط للعثور على عناوين جديدة. كما تقرأ خرائط مواقع XML التي يرسلها أصحاب المواقع. وتذكر Google أن Googlebot يستخدم خوارزمية لتحديد المواقع التي يزحف إليها، وعدد مرات الزحف، وعدد الصفحات التي يجلبها من كل موقع، وأنه يتجنب الزحف بسرعة قد تُثقل الخادم.

ثلاثة أمور تمنع الزحف: قاعدة disallow في ملف robots.txt، والصفحات التي تتطلب تسجيل الدخول، وأخطاء الخادم أو انتهاء مهلته. وأدوات التحكم هي بنية روابط داخلية نظيفة دون صفحات يتيمة، وخريطة موقع XML محدّثة، وخادم سريع ومستقر. وتدير المواقع الكبيرة أيضًا ميزانية الزحف: عدد عناوين URL التي يقبل برنامج الزحف جلبها من الموقع خلال فترة معينة.

الخطوة 2: العرض، رؤية الصفحة كما يراها المتصفح

تبني صفحات كثيرة محتواها باستخدام JavaScript. تعرض Google الصفحات بإصدار حديث من Chrome، فتستطيع تنفيذ السكربتات ورؤية ما يراه الزائر. لكن العرض يستهلك موارد وقد يتأخر، والمحتوى الذي لا يظهر إلا بعد نقرة، أو يعتمد على سكربت يفشل، قد لا يُرى أبدًا. ولا تنفذ برامج زحف كثيرة أخرى، ومنها عدة برامج زحف للذكاء الاصطناعي، JavaScript إطلاقًا: يجب أن يكون المحتوى الأساسي في HTML الأولي.

الخطوة 3: الفهرسة، الفهم والتخزين

الفهرسة هي مرحلة التحليل. يقرأ المحرك النص والعنوان والعناوين الفرعية والصور ومقاطع الفيديو والبيانات المنظمة، ثم يجمع الصفحات ذات المحتوى المتشابه ويختار عنوانًا ممثلًا واحدًا هو العنوان الأساسي (canonical)، وهو النسخة المؤهلة للظهور في النتائج. ويخزن إشارات عن هذه الصفحة: اللغة، والبلد المستهدف، وحداثة المحتوى، وسهولة الاستخدام. وتشبّه Google فهرسها بالفهرس في آخر الكتاب، مع مدخل لكل كلمة ظهرت في كل صفحة مفهرسة.

الفهرسة ليست مضمونة أبدًا. توضح Google أن ليس كل صفحة تعالجها ستُفهرس: المحتوى الضعيف أو المكرر، أو توجيه noindex، أو تصميم يصعّب التحليل، قد يُبقي الصفحة خارج الفهرس. يشرح دليلنا حول فهرسة الصفحات في Google طرق الإصلاح، وتخبرك أداة فحص قابلية الفهرسة المجانية خلال ثوانٍ ما إذا كان عنوان URL قابلًا للفهرسة.

الخطوة 4: الترتيب، اختيار أفضل الإجابات

عندما يصل استعلام، يفسره المحرك أولًا: الإملاء، والمرادفات، واللغة، والموقع، والنية وراء الكلمات (التعلم، أو المقارنة، أو الشراء، أو الوصول إلى موقع محدد). ثم يسترجع الصفحات المرشحة من الفهرس ويرتبها بواسطة أنظمة ترتيب عديدة تعمل معًا. وتجمع Google العوامل الرئيسية في معنى الاستعلام، وصلة المحتوى به، وجودته، وسهولة استخدام الصفحة، وسياق البحث مثل الموقع والإعدادات. وتبقى الروابط من المواقع الأخرى إشارة على الموثوقية. وتجد الصورة الكاملة في تحليلنا لـعوامل الترتيب في Google.

هناك نقطتان يُساء فهمهما كثيرًا. أولًا، تؤكد Google أنها لا تقبل أي مقابل مادي للزحف إلى موقع بوتيرة أعلى أو لرفع ترتيبه: الإعلانات تُباع بشكل منفصل وتُوسم على أنها إعلانات. ثانيًا، يغيّر الموقع الجغرافي واللغة النتائج أكثر بكثير مما يغيرها سجل التصفح الشخصي.

الخطوة 5: عرض النتائج، بناء صفحة النتائج

تجمع الخطوة الأخيرة صفحة النتائج. فقد أصبحت الروابط الزرقاء العشرة مزيجًا من الإعلانات والنتائج المحلية والصور والفيديوهات ومربعات "أسئلة ذات صلة" والمقتطفات المميزة، ومع كثير من الاستعلامات المعلوماتية، AI Overview. يأتي العنوان والوصف المعروضان من وسم title والوصف التعريفي ومحتوى الصفحة، ويمكن للبيانات المنظمة أن تجعل الصفحة مؤهلة للنتائج الغنية. وكل صيغة فرصة إضافية للظهور.

بماذا يختلف Bing عن Google؟

يتبع Bing النموذج نفسه من زحف وفهرسة وترتيب، مع بعض الفروق العملية. أهمها IndexNow، وهو بروتوكول يتيح للموقع إخطار المحركات فور إضافة عنوان URL أو تعديله أو حذفه، دون انتظار الزحف التالي. ووفقًا لموقع IndexNow.org، يدعم البروتوكول كل من Microsoft Bing وNaver وSeznam.cz وYandex وYep، ولم تعتمده Google. كما تغذي نتائج Bing خدمة Microsoft Copilot. حصة Bing السوقية صغيرة في معظم البلدان، لكن إعداد Bing Webmaster Tools يستغرق بضع دقائق ويفتح مصدرًا ثانيًا للزيارات والبيانات.

كيف يعثر مساعدو الذكاء الاصطناعي مثل ChatGPT وAI Overviews على المحتوى؟

تعتمد إجابات الذكاء الاصطناعي على محركات البحث بدلًا من أن تحل محلها. ويستخدم معظمها التوليد المعزز بالاسترجاع (RAG): يجري النظام بحثًا واحدًا أو أكثر، ويسترجع المقاطع الأكثر صلة من فهرس للويب، ثم يكتب نموذج لغوي إجابة تستشهد ببعض هذه المصادر.

• AI Overviews ووضع الذكاء الاصطناعي من Google يستخدمان فهرس Google نفسه. وتوضح صفحة Google حول ميزات الذكاء الاصطناعي وموقعك أن الصفحة تحتاج فقط إلى أن تكون مفهرسة ومؤهلة للظهور مع مقتطف، دون ترميز خاص أو ملف نصي مخصص للذكاء الاصطناعي. وتعتمد هذه الميزات على "query fan-out": إذ تُجري عدة عمليات بحث مرتبطة حول موضوعات فرعية لجمع صفحات داعمة.
• ChatGPT search يسترجع الصفحات عبر برنامج الزحف OAI-SearchBot التابع لـ OpenAI. ووفقًا لـوثائق OpenAI حول برامج الزحف الخاصة بها، تُستبعد المواقع التي تحظر OAI-SearchBot من إجابات ChatGPT search، بينما GPTBot برنامج زحف منفصل يُستخدم لتدريب النماذج.
• Gemini وPerplexity وClaude تجمع أيضًا بين البحث في الويب والتوليد: يعتمد Gemini على بحث Google، ويرسل Perplexity وClaude زواحفهما الخاصة (PerplexityBot وClaude-SearchBot) لفهرسة الصفحات التي يمكنهما الاستشهاد بها.

والنتيجة: ما زالت المراحل الكلاسيكية تحدد الظهور في إجابات الذكاء الاصطناعي. فالصفحة المحظورة من الزحف أو الغائبة عن الفهرس أو المدفونة في أسفل الترتيب لديها فرصة ضئيلة لأن تُسترجع، وبالتالي لأن يُستشهد بها. ما يتغير هو الاختيار النهائي: يختار الذكاء الاصطناعي مقاطع لا صفحات كاملة، ويفضل التعريفات الواضحة والأرقام الموثقة بمصادر والإجابات المباشرة. وتُظهر دراستنا حول المصادر التي يستشهد بها ChatGPT أنواع الصفحات التي تفوز بهذه الاستشهادات.

ما الذي يمكنك التحكم فيه في كل مرحلة؟

رتّب المراحل وستحصل على قائمة تحقق تصلح لـ Google وBing ومساعدي الذكاء الاصطناعي معًا:

1. اسمح للروبوتات المناسبة بالدخول. افحص ملف robots.txt بحثًا عن قواعد disallow عرضية، وقرر بوعي أي برامج زحف للذكاء الاصطناعي تسمح بها.
2. اجعل كل صفحة مهمة قابلة للوصول خلال ثلاث نقرات على الأكثر عبر الروابط الداخلية، وأدرجها في خريطة الموقع.
3. قدّم المحتوى في HTML، لا عبر JavaScript وحده، مع استجابات خادم سريعة ومستقرة.
4. خصص لكل موضوع عنوان URL أساسيًا واحدًا وتجنب الصفحات شبه المتطابقة التي تشتت الإشارات.
5. طابق نية البحث. انطلق من الأسئلة التي يكتبها الناس، والتي يكشفها البحث عن الكلمات المفتاحية، وأجب عنها في السطور الأولى من الصفحة.
6. اكسب الموثوقية عبر الروابط والإشارات من مواقع ذات صلة.
7. اكتب مقاطع قابلة للاقتباس: تعريف، ورقم مع مصدره، وقائمة قصيرة من الخطوات.
8. قِس القناتين: Search Console لـ Google، وتتبع الإشارات في الذكاء الاصطناعي لمعرفة ما إذا كان ChatGPT أو Gemini أو Perplexity يستشهد بعلامتك التجارية.

كيف تطورت محركات البحث عبر الزمن؟

كانت المحركات الأولى في التسعينيات ترتب الصفحات أساسًا حسب تطابق الكلمات المفتاحية، وهو أمر سهل التلاعب. ثم جعل PageRank من Google، الذي عامل الروابط كأصوات، التلاعب أصعب بكثير، وأضافت العقود التالية فهم اللغة عبر نماذج تعلم آلي مثل BERT، والفهرسة التي تعطي الأولوية للجوال، ومكافحة الرسائل المزعجة، وأنظمة الجودة. ويُظهر تاريخ Google نمطًا ثابتًا: كل تغيير كبير كافأ الصفحات المكتوبة للناس وعاقب الطرق المختصرة. والإجابات التوليدية هي الخطوة الأحدث، وهي تكافئ الشيء نفسه: محتوى واضح وموثوق ومنظم جيدًا.

من الزحف إلى الزيارات: من أين تبدأ

تكافئ محركات البحث الصفحات التي تستطيع الزحف إليها وفهمها والوثوق بها، ويستشهد مساعدو الذكاء الاصطناعي بالصفحات التي ترتبها محركات البحث أصلًا. عالج الوصول أولًا، ثم الفهرسة، ثم الصلة والموثوقية. ولكي يستمر هذا العمل أسبوعًا بعد أسبوع، يعثر Sorank على كلماتك المفتاحية، وينشر مقالات محسّنة مع مصادر وروابط داخلية، ويتحقق مما إذا كان ChatGPT وGemini وPerplexity يستشهدون بعلامتك التجارية، بنظام autopilot.