تعلّم تحليل ملفات السجل لتحسين السيو خطوة بخطوة: تحقق من Googlebot في سجلات خادمك، واكتشف هدر الزحف، وأصلحه بالأوامر والأدوات وقائمة تحقق.

في هذه الصفحة
باختصار
تحليل ملفات السجل لأغراض السيو يعني قراءة سجلات الوصول في خادمك لمعرفة الروابط التي يطلبها Googlebot والبوتات الأخرى، وعدد مرات عودتها، وأكواد الحالة التي تحصل عليها. تُظهر السجلات ما تفعله الزواحف فعليًا في موقعك، لا ما تقدّره أدوات السيو. للتنفيذ، صدّر سجلات 30 يومًا، واحتفظ فقط بطلبات Googlebot التي يمكنك التحقق منها، وقِس نشاط الزحف حسب مجموعة الروابط ورمز الحالة، وأصلح الهدر، ثم قارن بتصدير جديد بعد أسبوعين إلى أربعة أسابيع.
هل تريد التعمق أكثر؟ اسأل
اختبار سريع
هل السيو مناسب لك، وكيف تبدأ؟
Sorank يناسب إجاباتك
جرّبه 3 أيام على موقعك واعرف أين تقف في Google وChatGPT وأدوات الذكاء الاصطناعي الأخرى.
ابدأ تجربة مجانية لمدة 3 أيام3 أيام مجانًا، ثم توقف متى شئت. ضمان النتائج لمدة 90 يومًا، تطبق الشروط.
في كل مرة يطلب فيها شيء ملفًا من خادمك، يكتب الخادم سطرًا واحدًا في سجل الوصول. تستخدم معظم الخوادم صيغة قريبة من صيغة Apache "combined". يبدو طلب Googlebot هكذا:
66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
اقرأه من اليسار إلى اليمين: عنوان IP، ثم الطابع الزمني، ثم طريقة HTTP والرابط، ثم رمز الحالة (200 هنا)، وعدد البايتات المرسلة، والمُحيل، ووكيل المستخدم. كل طلب موجود هنا، بما فيها الطلبات التي لا تظهر أبدًا كزيارة صفحة في أداة التحليلات: الصور، وملفات CSS، وإعادات التوجيه، وأخطاء 404.
كل مصدر من مصادر بياناتك الأخرى يرى جزءًا من هذه الصورة. تقرير إحصاءات الزحف في Search Console مجمّع ويغطي زواحف Google فقط. أدوات التحليلات تسجّل فقط الزوار الذين تشغّل متصفحاتهم جافاسكربت موقعك. وزاحف المواقع مثل Screaming Frog يعرض ما يستطيع الوصول إليه باتباع روابطك، وهذا ليس بالضرورة ما اختارت Google طلبه. سجل الخادم وحده يسجّل ما حدث فعلًا.
سجلات الخادم مقابل تقرير إحصاءات الزحف في Search Console
ميزانية الزحف هي مجموعة الروابط التي تستطيع Google زحفها في موقعك وتريد زحفها. تصفها Google بعاملين. الأول هو حد سعة الزحف: عدد الاتصالات التي تستطيع زواحف Google فتحها مع خادمك دون أن تثقله. يرتفع هذا الحد حين يبقى موقعك سليمًا، وينخفض حين تبطؤ الاستجابات أو تعود بأخطاء 5xx أو 429. أما العامل الثاني فهو طلب الزحف، ويعتمد على حجم موقعك، وعدد مرات تغيّر محتواه، وجودته، ومدى شعبية صفحاته.
تقدّم Google هذا الموضوع كدليل متقدم للمواقع الكبيرة. وعتباتها التقريبية هي: المواقع التي تضم مليون صفحة فريدة أو أكثر ويتغير محتواها نحو مرة في الأسبوع، والمواقع التي تضم 10000 صفحة فريدة أو أكثر ويتغير محتواها يوميًا. وتدخل في النطاق أيضًا المواقع التي تتراكم فيها روابط كثيرة بحالة "Discovered - currently not indexed". أما المواقع الأصغر فيكفيها عادةً خريطة موقع محدّثة ومراجعة منتظمة لتقرير Page Indexing. ولا يعني ذلك أن السجلات بلا فائدة لها، فحين تحدث مشكلة في الزحف يبقى السجل أسرع طريقة لمعرفة مكانها بالضبط.
متى يكون تحليل السجلات أهم ما يكون، بحسب Google
المصدر: Google Search Central، الدليل المتقدم إلى ميزانية الزحف. تصف Google هذه الأرقام بأنها تقديرات تقريبية، لا عتبات دقيقة.
إذا كان موقعك ضمن هذا النطاق، فالسؤال لم يعد هل تقرأ السجلات، بل كم مرة. التدقيق لمرة واحدة يُظهر الهدر اليوم، والتصدير الشهري يُظهر هل غيّرت إصلاحاتك ما يقضي فيه Googlebot وقته. لمعرفة المصطلحات، يشرح مدخل مسرد ميزانية الزحف الأساسيات، ويشرح دليل Discovered, currently not indexed الحالة التي تستدعي عادةً هذا النوع من المراجعة.

يعمل المسار التالي مع أي خادم وأي أداة. تشرح الأقسام اللاحقة كل خطوة بالتفصيل، وتعطي الأوامر التي يمكنك تشغيلها على ملف سجل خام اليوم.
المنهجية من ست خطوات
اطلب من مطوّرك أو من مزوّد الاستضافة سجلات الوصول الخام لخادم الويب (Apache أو Nginx أو IIS). تحقق من ثلاثة أمور قبل أن تبدأ: صيغة السجل، والمنطقة الزمنية، ومدة الاحتفاظ. وبحسب إعداداتك، قد تُحذف السجلات القديمة بعد أيام أو أسابيع، لذا اطلب التصدير الآن لا لاحقًا.
الطبقة أهم مما يظنه كثيرون. إذا أجابت شبكة CDN الطلب من ذاكرتها المؤقتة، فلن يرى خادمك الأصلي هذا الطلب أبدًا. وقد يزحف Googlebot إلى رابط لا يظهر في سجل الخادم الأصلي، فالتصدير من الأصل وحده يقلل من تقدير نشاط الزحف على المحتوى المخزّن مؤقتًا. صدّر سجلات CDN أيضًا، وقارن المصدرين لبعض الروابط قبل أن تثق بأي من الإجماليين.
في سجل بصيغة combined، رمز الحالة هو الحقل التاسع، والمسار هو الحقل السابع. هذان العمودان يجيبان عن معظم الأسئلة الأولى. يحسب هذا الأمر طلبات Googlebot حسب رمز الحالة:
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
ويعرض هذا الأمر المسارات العشرين الأكثر طلبًا من Googlebot، بعد حذف سلسلة الاستعلام حتى تتجمع متغيرات الفلاتر معًا:
grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20
الأمر الأول يقرأ نص وكيل المستخدم، وأي شخص يستطيع تزويره. اعتبر ناتجه قائمة مرشحين إلى أن تنتهي من القسم التالي. وإذا كان سجلك بصيغة مخصصة، فستتغير أرقام الحقول، لذا افحص سطرًا واحدًا بعينك قبل أن تثق بالأعمدة.
الطريقة الرسمية التي تعتمدها Google لتأكيد أن الزائر هو Googlebot تستخدم DNS. أجرِ بحثًا عكسيًا في DNS على عنوان IP الموجود في سجلك، وتحقق من أن اسم المضيف ينتهي بـ googlebot.com أو google.com أو googleusercontent.com، ثم أجرِ بحثًا أماميًا على اسم المضيف، وتأكد من أنه يعيد عنوان IP الأصلي. تستخدم وثائق Google هذا المثال، حيث يُحلّ العنوان 66.249.66.1 عكسيًا إلى crawl-66-249-66-1.googlebot.com:
host 66.249.66.1
الفحص الأمامي هو الأمر الثاني، ويجب أن يعيد عنوان IP نفسه:
host crawl-66-249-66-1.googlebot.com
إذا كنت تعالج ملايين الأسطر، فستصبح عمليات البحث في DNS بطيئة. وتنشر Google أيضًا ملفات JSON بنطاقات عناوين زواحفها، بما فيها common-crawlers.json الخاص بـ Googlebot. المطابقة مع هذه النطاقات أسرع، ويصف دليل التحقق الرسمي الطريقتين في دليل Google للتحقق من Googlebot.
تنبيه
يقول دليل زواحف Google إن سلسلة وكيل المستخدم في طلبات HTTP يمكن تزويرها. وتنسخ كثير من أدوات الكشط سلسلة Googlebot لتتجاوز القواعد. الأداة التي تُبلغ عن "طلبات Googlebot" دون التحقق من عناوين IP قد تبالغ في تقدير زحف Google بفارق كبير، لذا تحقق من العناوين قبل أن تضع رقمًا في أي تقرير.
الأعداد الخام لكل رابط يصعب التصرف بها. اجمع الروابط حسب القالب أولًا، لأن الإصلاح يُطبَّق عادةً على قالب لا على صفحة واحدة. ثم قِس أربعة أمور لكل مجموعة: عدد طلبات Googlebot مقارنةً بأهميتها لعملك، ونسبة كل رمز حالة، والمدة التي تستغرقها الصفحات الجديدة لتحصل على أول طلب بعد النشر، وهل تتركز الطلبات على الصفحات التي تريد ترتيبها.
اقرأ النتائج كنمط لا كرقم واحد. إذا ذهبت معظم طلبات Googlebot إلى روابط الفلاتر، ولم تذهب إلى صفحات المنتجات إلا القليل، فميزانية الزحف تتسرب، والمشكلة غالبًا في الروابط الداخلية أو في معالجة المعاملات، لا في صفحات المنتجات نفسها. يعرض القسم التالي الإشارات التي يجب البحث عنها.
بعد التحقق من أسطر Googlebot وتجميعها، تفسّر سبع إشارات معظم مشكلات الزحف. يعرض الجدول النمط الذي يجب البحث عنه والإصلاح المعتاد. كل إصلاح تغيير في الموقع، لذا أكِّده في التصدير التالي.
| الإشارة | ما تُظهره السجلات | ما الذي يجب فعله |
|---|---|---|
| هدر الزحف | طلبات Googlebot على الفلاتر وترتيبات الفرز والبحث الداخلي وروابط الجلسات | وحّد الروابط بعناوين canonical، وأزل الروابط الداخلية إلى هذه الروابط، واحجب المتغيرات غير المجدية في robots.txt حيث يتعذر توحيدها |
| إعادات التوجيه | طلبات على استجابات 301 أو 302، وسلاسل من قفزتين أو أكثر | اربط مباشرةً بالرابط النهائي. يساعدك دليل 301 مقابل 302 على اختيار نوع إعادة التوجيه الصحيح |
| الأخطاء | طلبات متكررة على 404 أو 410، وارتفاعات في استجابات 5xx | استعد الصفحات التي ما زالت مهمة أو وجّهها، وأصلح أخطاء الخادم، لأن استجابات 5xx تقلل مقدار ما تزحفه Google |
| الزحف المفقود | روابط مهمة لا تحصل على أي طلب من Googlebot خلال النافذة الزمنية | افحص الروابط الداخلية، وإدخالات خريطة الموقع، وقواعد robots.txt التي قد تبعد الزواحف عنها |
| التكرار | المحتوى نفسه يُطلب عبر عدة روابط، مع شرطات مائلة في النهاية أو أحرف كبيرة أو معاملات | اختر رابطًا قياسيًا واحدًا، واربط إليه في كل مكان |
| الوقت حتى أول زحف | الفاصل بين النشر وأول طلب من Googlebot لصفحة جديدة | اربط الصفحات الجديدة من صفحات يُزحف إليها بكثرة، وحافظ على خريطة موقع نظيفة |
| زمن الاستجابة | استجابات بطيئة على القوالب التي يطلبها Googlebot أكثر من غيرها | سرّع تلك القوالب أولًا، لأن Google تقول إن الاستجابات البطيئة تدفعها إلى زحف أقل |
صف "الزحف المفقود" هو الإشارة التي يتجاوزها الناس غالبًا، وهي غالبًا الأكثر كلفة. صفحة لا تظهر أبدًا في السجل قد لا تحقق أي ترتيب، مهما كان محتواها ممتازًا. إذا كان الرابط موجودًا في خريطة موقعك لكنه لا يظهر في السجلات أبدًا، فالأرجح أن الصفحة لا يُوصل إليها إلا عبر مسار لا تتبعه الزواحف. يغطي دليل Crawled, currently not indexed الجانب الآخر من الموضوع، حين يزور Googlebot الصفحة لكنه لا يفهرسها.
يمكنك تشغيل تحليل السجلات بسكربتات، أو ببرنامج سطح مكتب، أو بمنصة. كل طريقة تناسب حجمًا مختلفًا من البيانات وفريقًا مختلفًا. يتوقف الاختيار على عدد المرات التي تحتاج فيها إلى الإجابة ومن سيقرؤها، أكثر مما يتوقف على حجم الموقع.
المبدأ: تحلّل الملفات الخام بسكربتات، وتكتب النتائج في ملف أو جدول بيانات. متى تستخدمه: للفحوص لمرة واحدة، والمواقع الصغيرة، أو حين يريد مطوّر تحكمًا كاملًا. مزاياه: مجاني، وترى كل سطر، ويمكن أتمتته بمهمة مجدولة. حدوده: يستغرق وقتًا في الكتابة والصيانة، ويعمل بالسرعة التي يسمح بها جهازك، ولا يحتوي على رسوم بيانية، ويجب أن تتحقق من البوتات بنفسك.
مثال: الأوامر الواردة في قسم المنهجية، إذا شُغّلت مرة في الشهر على التصدير نفسه، تعطيك توزيع رموز الحالة وأكثر المسارات طلبًا من Googlebot. ويمكن لسكربت Python قصير أن يفعل الشيء نفسه ويضيف فحص DNS، وهو أبطأ لكنه أدق.
المبدأ: تستورد السجلات الخام إلى مشروع على سطح المكتب، فتجمّع الأداة البوتات وتتحقق من هوياتها وترسم الرسوم البيانية. متى تستخدمها: مستشار أو محلل داخلي يعمل على موقع فيه عشرات الآلاف من الروابط. مزاياها: تقرأ سجلات Apache وIIS وNginx بصيغة W3C Extended، وتتحقق من زواحف محركات البحث، وتُبرز الصفحات الكبيرة أو البطيئة. حدودها: النسخة المجانية محدودة، ومقدار البيانات التي يمكنك تحميلها يتوقف على حجم قرصك الصلب.
ملاحظة
تذكر بعض الأدلة أن النسخة المجانية تغطي 500 رابط. أما صفحة المنتج الخاصة بـ Screaming Frog فتقول إن النسخة المجانية محدودة بـ 1000 حدث في السجل، وإن الترخيص المدفوع بقيمة 99 جنيهًا إسترلينيًا سنويًا يزيل هذا الحد. خطط بالأرقام الرسمية.

اقرأ صفحة Screaming Frog عن Log File Analyser قبل الشراء. ولشرح كامل للزاحف المرافق لها، راجع دليل Screaming Frog SEO Spider. يؤدي محلل السجلات مهمةً واحدةً لا يستطيعها الزاحف: يُظهر ما طلبته البوتات في الواقع، لا ما توحي به روابطك.
المبدأ: تستقبل المنصة سجلاتك وفق جدول زمني، غالبًا من CDN أو الخادم، وتربطها بزحف لموقعك وببيانات الفهرسة. متى تستخدمها: المواقع التجارية الكبيرة وفرق المؤسسات التي تراقب الزحف أسبوعيًا عبر عدة أسواق. مزاياها: تتوسع إلى سجلات ضخمة، وتحتفظ بالتاريخ، وتتيح لعدة فرق مشاركة لوحات المتابعة. حدودها: أعلى كلفة، وتستغرق وقتًا في الإعداد، وارتباط القفل بالمزوّد حقيقي، لذا تحقق من طريقة تصدير بياناتك قبل الالتزام. من المزودين في هذه الفئة Oncrawl وBotify، ويستحق الأمر أن تسأل كلًا منهما عن طريقة التحقق من البوتات.
| المعيار | سطر الأوامر | أداة سطح المكتب | المنصة |
|---|---|---|---|
| الكلفة | مجاني | مجانًا حتى 1000 حدث في السجل، و99 جنيهًا إسترلينيًا سنويًا للترخيص الكامل | اشتراك، والسعر يتوقف على الحجم |
| الإعداد | تكتب السكربتات وتصونها | تثبيت، واستيراد، وبدء | موصّلات وإعداد أولي |
| الحجم | محدود بجهازك | محدود بقرصك الصلب وبالترخيص | مصمم لسجلات ضخمة جدًا |
| التحقق من البوتات | يدوي، بفحص DNS أو نطاقات IP | مدمج | اسأل المزوّد |
| الأنسب لـ | الفحوص لمرة واحدة والمواقع الصغيرة | المستشارون والمواقع متوسطة الحجم | فرق المؤسسات والتجارة الإلكترونية التي تراقب أسبوعيًا |
قبل أن تصدّر أي سجل، افتح تقرير إحصاءات الزحف في Search Console. يعرض إجمالي طلبات الزحف، وإجمالي حجم التنزيل، ومتوسط زمن الاستجابة، والاستجابات مجمّعة حسب النوع، وأنواع الملفات، وغرض الزحف، ونوع Googlebot الذي أجرى كل طلب. لمتابعة الاتجاه، هو أسرع عرض متاح لك، ويشرح دليل Google Search Console مكانه.
حدوده تفسّر لماذا تبقى السجلات مهمة. التقرير متاح لخصائص النطاق وخصائص بادئة الرابط على المستوى الجذري فقط. يغطي زواحف Google وحدها، فلا تظهر فيه GPTBot وClaudeBot وغيرها من البوتات. ويجمّع البيانات بدلًا من عرض كل رابط، فيمكنه أن يخبرك بأن طلبات الزحف انخفضت، لكنه لا يخبرك أي القوالب فقدتها. استخدمه لتكتشف أن شيئًا تغيّر، ثم استخدم السجلات لتعرف ما هو.

صفحة المساعدة في إحصاءات الزحف من Google تصف كل تجميع. وحين لا يتطابق الرسم البياني مع تصدير سجلاتك، لا تثق بأيٍّ منهما قبل أن تتحقق من النافذة الزمنية وخطوة التحقق. ومعظم هذه الاختلافات تأتي من نافذة زمنية مختلفة، أو من CDN يجيب من ذاكرته المؤقتة، أو من عدد بوتات يشمل طلبات غير متحقق منها.
الإصلاحات تنبع من الإشارات. معظمها يعود إلى ثلاث حركات: أن تتوقف عن إرسال الزواحف إلى صفحات لا تهم، وأن ترسلها مباشرةً إلى الرابط النهائي حين تُنقل صفحة، وأن تجعل الصفحات المهمة أسرع في التحميل.
نشاط الزحف قبل مراجعة السجلات وبعدها
التنقل متعدد الأوجه. تنتج الفلاتر وترتيبات الفرز عددًا كبيرًا من الروابط بمحتوى متشابه تقريبًا. وحّدها بعناوين canonical حيثما أمكن، وأزل الروابط الداخلية إلى المتغيرات التي لا قيمة لها في البحث. وحين لا يمكن توحيد المتغير ويجب أن يبقى خارج الزحف، فاحجبه في robots.txt. توجيه Google هنا واضح: لا تستخدم noindex لهذا الغرض، لأن Google ما زالت مضطرة إلى طلب الصفحة قبل أن ترى الوسم. وهذا نموذج القاعدة التي ينبغي اختبارها:
User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=
نصيحة
اختبر كل قاعدة في robots.txt قبل نشرها. تتحقق أداة فحص robots.txt المجانية من صياغتها، حتى لا يحجب خطأ مطبعي الصفحات التي تريد زحفها.
حافظ على تناسب تعديل robots.txt. تقول Google إن حجب الروابط لا يحرر ميزانية الزحف لبقية صفحاتك، إلا إذا كان الموقع يبلغ حد سعته أصلًا. الحجب مخصص للروابط التي لا قيمة لها، وليس وسيلة لدفع الميزانية نحو أفضل صفحاتك. يشرح مدخل robots.txt في المسرد كيف يُقرأ الملف.
سلاسل إعادة التوجيه. حين تُنقل صفحة مرتين، يمر الزاحف بالتحويلين في كل مرة. حدّث الروابط الداخلية لتشير إلى الرابط النهائي، ثم أبقِ التحويلات القديمة للروابط الخارجية. وللسبب نفسه يهم الاختيار بين التحويل الدائم والمؤقت، ويغطيه دليل 301 مقابل 302 بالتفصيل.
الصفحات المحذوفة. أعِد 404 أو 410 للصفحات المحذوفة نهائيًا. تقول Google إن soft 404 تستمر في الزحف وتهدر ميزانية الزحف، لذا فرسالة "الصفحة غير موجودة" مع رمز حالة 200 أسوأ من 404 حقيقي.
زمن الاستجابة والتخزين المؤقت. تقول Google إن الاستجابات البطيئة أو الفاشلة تجعلها تزحف أقل. فعّل استجابات 304 (Not Modified)، حتى تُقدَّم الصفحات غير المتغيرة من الذاكرة المؤقتة. ثم انظر إلى القوالب التي تتلقى أكبر عدد من طلبات Googlebot، وسرّع استجاباتها أولًا.
معظم تحليلات السجلات التي تسير على نحو خاطئ تقع في واحد من عدد قليل من الأخطاء. لكل خطأ أدناه عرض يمكنك رؤيته في البيانات، وإصلاح يمكنك تطبيقه في الأسبوع نفسه.
ما هو: احتساب كل طلب يقول "Googlebot" على أنه زحف Google. كيف تكتشفه: طلبات Googlebot من عناوين IP لا تُحل عكسيًا إلى أسماء مضيفي Google، أو قفزة مفاجئة من عنوان واحد. كيف تصلحه: شغّل التحقق من قسم المنهجية قبل أن تحسب أي شيء، واحتفظ بالطلبات غير المتحقق منها في فئة منفصلة، حتى تبقى ترى نشاط الكاشطات.
ما هو: التركيز على الصفحات التي تعيد 200 وتجاهل الباقي. كيف تكتشفه: تقريرك لا يحتوي على قسم 3xx أو 4xx أو 5xx، أو توزيع رموز الحالة لا يُناقش أبدًا. كيف تصلحه: ابدأ دائمًا بتوزيع رموز الحالة. وقد يكشف ارتفاع طلبات 404 عن رابط داخلي مكسور، ويكشف ارتفاع طلبات 5xx عن مشكلة في الخادم تبطئ الزحف كله.
ما هو: إضافة قاعدة في robots.txt إلى صفحة تحمل أيضًا وسم noindex. كيف تكتشفه: تبقى الصفحة في الفهرس، ولا يظهر في السجل أي طلب من Googlebot، لأن الزاحف مُنع من طلبها. كيف تصلحه: أزل الحجب ليتمكن Google من قراءة وسم noindex، وانتظر حتى تخرج الصفحة من الفهرس، ثم أعد الحجب إن كنت ما زلت تحتاجه. يشرح دليل Blocked by robots.txt حالة Search Console التي تظهر في هذه الحالة.
ما هو: مقارنة تصدير لثلاثة أيام قبل الإصلاح بتصدير لـ30 يومًا بعده. كيف تكتشفه: تتغير الإجماليات كثيرًا، لكن حصة كل قالب لا تتغير. كيف تصلحه: قارن عدد الأيام نفسه، وفي الفترة نفسها من السنة إن أمكن، وقارن الحصص لا الإجماليات الخام حين يتغير الحجم.
ما هو: الاحتفاء بارتفاع طلبات Googlebot دون التحقق من أنها تصل إلى صفحات تُفهرس. كيف تكتشفه: تتركز الطلبات على روابط غير مفهرسة، أو لا تجلب أي زيارات. كيف تصلحه: اربط مجموعات السجل بحالة الفهرسة من أداة فحص عنوان URL في Search Console، ولا تعتبر الإصلاح نجاحًا إلا إذا تحرك الزحف نحو الصفحات المهمة.
قبل أن تستخلص أي استنتاج
تُظهر السجلات نفسها ما تفعله زواحف الذكاء الاصطناعي في موقعك، والمنهجية واحدة: صنّفها، وتحقق منها حيث يتيح لك المزوّد ذلك، واقرأ رموز الحالة. يغطي دليل سجلات زواحف الذكاء الاصطناعي البوتات التي يجب البحث عنها، وكيف تختلف عن Googlebot. يتناول هذا المقال منهجية Googlebot بعمق، ويوضح القسم التالي كيف تجمع الاثنين في تقرير واحد.
| نوع البوت | أمثلة | ما يجب فحصه في السجلات | أين تقرأ المزيد |
|---|---|---|---|
| زاحف البحث | Googlebot | الطلبات حسب القالب، وتوزيع رموز الحالة، والوقت حتى أول زحف للصفحات الجديدة | الأقسام أعلاه في هذا المقال |
| زاحف التدريب | GPTBot وClaudeBot وCCBot | هل يطلبون محتواك أصلًا، وهل يحترمون robots.txt | Robots.txt لزواحف الذكاء الاصطناعي |
| زاحف الاسترجاع | ChatGPT-User وPerplexityBot | زيارات قصيرة متتالية مرتبطة بأسئلة المستخدمين، والصفحات التي تصل إليها تلك الزيارات | سجلات زواحف الذكاء الاصطناعي |
يأتي الفصل بين التدريب والاسترجاع من الطريقة التي توثَّق بها زواحف الذكاء الاصطناعي. فزواحف التدريب تجمع المحتوى لتدريب النماذج، أما زواحف الاسترجاع فتجلب الصفحات حين يطرح مستخدم سؤالًا. ويجب أن يفصل تقريرك بينهما، لأن قرارًا بشأن أحدهما لا يسري تلقائيًا على الآخر.
إذا أردت رؤية زيارات Google وزيارات الذكاء الاصطناعي جنبًا إلى جنب أثناء تطبيق هذه الإصلاحات، فإن لوحة GEO / SEO في Sorank تعرض الاثنين في عرض واحد. استخدمها لتتحقق مما إذا كانت التغييرات التي تجريها انطلاقًا من السجلات تحرّك الزيارات، لا أعداد الزحف فقط.
هو مراجعة سجلات الوصول في خادمك لمعرفة الروابط التي يطلبها Googlebot والبوتات الأخرى، وعدد مرات طلبها، وأكواد الحالة التي تحصل عليها. تُظهر السجلات ما تفعله الزواحف فعليًا في موقعك، لا ما تقدّره أداة.
ابدأ بـ30 يومًا من الخادم الأصلي وأي CDN أمامه، أو على الأقل 7 أيام إن كان هذا كل ما لديك. قارن النافذة الزمنية نفسها قبل كل تغيير وبعده، لأن تصدير 3 أيام وتصدير 30 يومًا لا يمكن مقارنتهما مباشرة.
ليس وحده، لأن Google تقول إن سلسلة وكيل المستخدم يمكن تزويرها. تحقق من عنوان IP ببحث DNS عكسي ينتهي بـ googlebot.com أو google.com أو googleusercontent.com، ثم بحث أمامي يعيد العنوان نفسه.
