التفضيلات

خصوصيتك مهمة بالنسبة لنا، لذلك لديك خيار تعطيل أنواع معينة من التخزين التي قد لا تكون ضرورية للوظائف الأساسية للموقع. قد يؤثر حظر الفئات على تجربتك في الموقع. مزيد من المعلومات (سياسة ملفات تعريف الارتباط)

تحليل ملفات السجل لتحسين السيو: اقرأ سجلات خادمك وأصلح هدر الزحف

تعلّم تحليل ملفات السجل لتحسين السيو خطوة بخطوة: تحقق من Googlebot في سجلات خادمك، واكتشف هدر الزحف، وأصلحه بالأوامر والأدوات وقائمة تحقق.

تاريخ النشر
13/11/2026
تاريخ التحديث
13/11/2026
مدة القراءة
14 دقائق
تحليل ملفات السجل لتحسين السيو: اقرأ سجلات خادمك وأصلح هدر الزحف

أدوات

في هذه الصفحة

باختصار

تحليل ملفات السجل لأغراض السيو يعني قراءة سجلات الوصول في خادمك لمعرفة الروابط التي يطلبها Googlebot والبوتات الأخرى، وعدد مرات عودتها، وأكواد الحالة التي تحصل عليها. تُظهر السجلات ما تفعله الزواحف فعليًا في موقعك، لا ما تقدّره أدوات السيو. للتنفيذ، صدّر سجلات 30 يومًا، واحتفظ فقط بطلبات Googlebot التي يمكنك التحقق منها، وقِس نشاط الزحف حسب مجموعة الروابط ورمز الحالة، وأصلح الهدر، ثم قارن بتصدير جديد بعد أسبوعين إلى أربعة أسابيع.

هل تريد التعمق أكثر؟ اسأل

اختبار سريع

هل السيو مناسب لك، وكيف تبدأ؟

السؤال 1 من 425%
هل يبحث الناس على Google عمّا تبيعه؟

ما الذي يسجله سجل الخادم، ولماذا يتفوق على بياناتك الأخرى

في كل مرة يطلب فيها شيء ملفًا من خادمك، يكتب الخادم سطرًا واحدًا في سجل الوصول. تستخدم معظم الخوادم صيغة قريبة من صيغة Apache "combined". يبدو طلب Googlebot هكذا:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

اقرأه من اليسار إلى اليمين: عنوان IP، ثم الطابع الزمني، ثم طريقة HTTP والرابط، ثم رمز الحالة (200 هنا)، وعدد البايتات المرسلة، والمُحيل، ووكيل المستخدم. كل طلب موجود هنا، بما فيها الطلبات التي لا تظهر أبدًا كزيارة صفحة في أداة التحليلات: الصور، وملفات CSS، وإعادات التوجيه، وأخطاء 404.

كل مصدر من مصادر بياناتك الأخرى يرى جزءًا من هذه الصورة. تقرير إحصاءات الزحف في Search Console مجمّع ويغطي زواحف Google فقط. أدوات التحليلات تسجّل فقط الزوار الذين تشغّل متصفحاتهم جافاسكربت موقعك. وزاحف المواقع مثل Screaming Frog يعرض ما يستطيع الوصول إليه باتباع روابطك، وهذا ليس بالضرورة ما اختارت Google طلبه. سجل الخادم وحده يسجّل ما حدث فعلًا.

سجلات الخادم مقابل تقرير إحصاءات الزحف في Search Console

سجلات الخادم
  • كل طلب، رابطًا رابطًا
  • تغطي أي بوت، لا Google وحده
  • طوابع زمنية دقيقة، وأكواد حالة، وعدد بايتات
  • تحتاج إلى الوصول إلى الملفات الخام
تقرير إحصاءات الزحف
  • مجاني، وموجود أصلًا في Search Console
  • إجماليات ومجموعات، لا قائمة كاملة بالروابط
  • زواحف Google فقط
  • خصائص النطاق أو بادئة الرابط على المستوى الجذري فقط

لماذا يهم تحليل السجلات: ميزانية الزحف بعبارات بسيطة

ميزانية الزحف هي مجموعة الروابط التي تستطيع Google زحفها في موقعك وتريد زحفها. تصفها Google بعاملين. الأول هو حد سعة الزحف: عدد الاتصالات التي تستطيع زواحف Google فتحها مع خادمك دون أن تثقله. يرتفع هذا الحد حين يبقى موقعك سليمًا، وينخفض حين تبطؤ الاستجابات أو تعود بأخطاء 5xx أو 429. أما العامل الثاني فهو طلب الزحف، ويعتمد على حجم موقعك، وعدد مرات تغيّر محتواه، وجودته، ومدى شعبية صفحاته.

تقدّم Google هذا الموضوع كدليل متقدم للمواقع الكبيرة. وعتباتها التقريبية هي: المواقع التي تضم مليون صفحة فريدة أو أكثر ويتغير محتواها نحو مرة في الأسبوع، والمواقع التي تضم 10000 صفحة فريدة أو أكثر ويتغير محتواها يوميًا. وتدخل في النطاق أيضًا المواقع التي تتراكم فيها روابط كثيرة بحالة "Discovered - currently not indexed". أما المواقع الأصغر فيكفيها عادةً خريطة موقع محدّثة ومراجعة منتظمة لتقرير Page Indexing. ولا يعني ذلك أن السجلات بلا فائدة لها، فحين تحدث مشكلة في الزحف يبقى السجل أسرع طريقة لمعرفة مكانها بالضبط.

متى يكون تحليل السجلات أهم ما يكون، بحسب Google

1M+صفحة فريدة، يتغير محتواها نحو مرة في الأسبوع
10000+صفحة فريدة، يتغير محتواها يوميًا

المصدر: Google Search Central، الدليل المتقدم إلى ميزانية الزحف. تصف Google هذه الأرقام بأنها تقديرات تقريبية، لا عتبات دقيقة.

إذا كان موقعك ضمن هذا النطاق، فالسؤال لم يعد هل تقرأ السجلات، بل كم مرة. التدقيق لمرة واحدة يُظهر الهدر اليوم، والتصدير الشهري يُظهر هل غيّرت إصلاحاتك ما يقضي فيه Googlebot وقته. لمعرفة المصطلحات، يشرح مدخل مسرد ميزانية الزحف الأساسيات، ويشرح دليل Discovered, currently not indexed الحالة التي تستدعي عادةً هذا النوع من المراجعة.

رسم متساوي القياس لزاحف يتحرك على مسارات زرقاء بين صفحات الويب وخوادم الرفوف
مسار الزاحف عبر صفحاتك، كما يسجله سجل الخادم.

المنهجية، خطوة بخطوة

يعمل المسار التالي مع أي خادم وأي أداة. تشرح الأقسام اللاحقة كل خطوة بالتفصيل، وتعطي الأوامر التي يمكنك تشغيلها على ملف سجل خام اليوم.

المنهجية من ست خطوات

  1. احصل على السجلاتصدّر 30 يومًا من الخادم الأصلي، إضافةً إلى سجلات أي شبكة CDN أمامه.
  2. احتفظ بأسطر Googlebotصفِّ حسب وكيل المستخدم، ثم تحقق من عناوين IP قبل أن تثق بأي رقم.
  3. حلّل كل سطرافصل الطابع الزمني والرابط ورمز الحالة وعدد البايتات في أعمدة منفصلة.
  4. اجمع الروابط حسب المجموعةرتّبها حسب القالب: المنتجات، والفئات، ومقالات المدونة، والفلاتر، والمعاملات، والملفات الثابتة.
  5. قِساحسب الطلبات لكل مجموعة، وحصة كل رمز حالة، والمدة التي تستغرقها الصفحات الجديدة لتحصل على أول طلب.
  6. أصلح، ثم أعد التصديرأطلق الإصلاحات، وصدّر من جديد بعد أسبوعين إلى أربعة أسابيع، وقارن النافذة الزمنية نفسها.

احصل على السجلات من الطبقة الصحيحة

اطلب من مطوّرك أو من مزوّد الاستضافة سجلات الوصول الخام لخادم الويب (Apache أو Nginx أو IIS). تحقق من ثلاثة أمور قبل أن تبدأ: صيغة السجل، والمنطقة الزمنية، ومدة الاحتفاظ. وبحسب إعداداتك، قد تُحذف السجلات القديمة بعد أيام أو أسابيع، لذا اطلب التصدير الآن لا لاحقًا.

الطبقة أهم مما يظنه كثيرون. إذا أجابت شبكة CDN الطلب من ذاكرتها المؤقتة، فلن يرى خادمك الأصلي هذا الطلب أبدًا. وقد يزحف Googlebot إلى رابط لا يظهر في سجل الخادم الأصلي، فالتصدير من الأصل وحده يقلل من تقدير نشاط الزحف على المحتوى المخزّن مؤقتًا. صدّر سجلات CDN أيضًا، وقارن المصدرين لبعض الروابط قبل أن تثق بأي من الإجماليين.

صفِّ Googlebot وعُدّه بأوامر قليلة

في سجل بصيغة combined، رمز الحالة هو الحقل التاسع، والمسار هو الحقل السابع. هذان العمودان يجيبان عن معظم الأسئلة الأولى. يحسب هذا الأمر طلبات Googlebot حسب رمز الحالة:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

ويعرض هذا الأمر المسارات العشرين الأكثر طلبًا من Googlebot، بعد حذف سلسلة الاستعلام حتى تتجمع متغيرات الفلاتر معًا:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

الأمر الأول يقرأ نص وكيل المستخدم، وأي شخص يستطيع تزويره. اعتبر ناتجه قائمة مرشحين إلى أن تنتهي من القسم التالي. وإذا كان سجلك بصيغة مخصصة، فستتغير أرقام الحقول، لذا افحص سطرًا واحدًا بعينك قبل أن تثق بالأعمدة.

تحقق من Googlebot كما تصفه Google

الطريقة الرسمية التي تعتمدها Google لتأكيد أن الزائر هو Googlebot تستخدم DNS. أجرِ بحثًا عكسيًا في DNS على عنوان IP الموجود في سجلك، وتحقق من أن اسم المضيف ينتهي بـ googlebot.com أو google.com أو googleusercontent.com، ثم أجرِ بحثًا أماميًا على اسم المضيف، وتأكد من أنه يعيد عنوان IP الأصلي. تستخدم وثائق Google هذا المثال، حيث يُحلّ العنوان 66.249.66.1 عكسيًا إلى crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

الفحص الأمامي هو الأمر الثاني، ويجب أن يعيد عنوان IP نفسه:

host crawl-66-249-66-1.googlebot.com

إذا كنت تعالج ملايين الأسطر، فستصبح عمليات البحث في DNS بطيئة. وتنشر Google أيضًا ملفات JSON بنطاقات عناوين زواحفها، بما فيها common-crawlers.json الخاص بـ Googlebot. المطابقة مع هذه النطاقات أسرع، ويصف دليل التحقق الرسمي الطريقتين في دليل Google للتحقق من Googlebot.

تنبيه

يقول دليل زواحف Google إن سلسلة وكيل المستخدم في طلبات HTTP يمكن تزويرها. وتنسخ كثير من أدوات الكشط سلسلة Googlebot لتتجاوز القواعد. الأداة التي تُبلغ عن "طلبات Googlebot" دون التحقق من عناوين IP قد تبالغ في تقدير زحف Google بفارق كبير، لذا تحقق من العناوين قبل أن تضع رقمًا في أي تقرير.

اجمع النتائج وقِسها واقرأها

الأعداد الخام لكل رابط يصعب التصرف بها. اجمع الروابط حسب القالب أولًا، لأن الإصلاح يُطبَّق عادةً على قالب لا على صفحة واحدة. ثم قِس أربعة أمور لكل مجموعة: عدد طلبات Googlebot مقارنةً بأهميتها لعملك، ونسبة كل رمز حالة، والمدة التي تستغرقها الصفحات الجديدة لتحصل على أول طلب بعد النشر، وهل تتركز الطلبات على الصفحات التي تريد ترتيبها.

اقرأ النتائج كنمط لا كرقم واحد. إذا ذهبت معظم طلبات Googlebot إلى روابط الفلاتر، ولم تذهب إلى صفحات المنتجات إلا القليل، فميزانية الزحف تتسرب، والمشكلة غالبًا في الروابط الداخلية أو في معالجة المعاملات، لا في صفحات المنتجات نفسها. يعرض القسم التالي الإشارات التي يجب البحث عنها.

الإشارات السبع المخفية في السجلات

بعد التحقق من أسطر Googlebot وتجميعها، تفسّر سبع إشارات معظم مشكلات الزحف. يعرض الجدول النمط الذي يجب البحث عنه والإصلاح المعتاد. كل إصلاح تغيير في الموقع، لذا أكِّده في التصدير التالي.

الإشارةما تُظهره السجلاتما الذي يجب فعله
هدر الزحفطلبات Googlebot على الفلاتر وترتيبات الفرز والبحث الداخلي وروابط الجلساتوحّد الروابط بعناوين canonical، وأزل الروابط الداخلية إلى هذه الروابط، واحجب المتغيرات غير المجدية في robots.txt حيث يتعذر توحيدها
إعادات التوجيهطلبات على استجابات 301 أو 302، وسلاسل من قفزتين أو أكثراربط مباشرةً بالرابط النهائي. يساعدك دليل 301 مقابل 302 على اختيار نوع إعادة التوجيه الصحيح
الأخطاءطلبات متكررة على 404 أو 410، وارتفاعات في استجابات 5xxاستعد الصفحات التي ما زالت مهمة أو وجّهها، وأصلح أخطاء الخادم، لأن استجابات 5xx تقلل مقدار ما تزحفه Google
الزحف المفقودروابط مهمة لا تحصل على أي طلب من Googlebot خلال النافذة الزمنيةافحص الروابط الداخلية، وإدخالات خريطة الموقع، وقواعد robots.txt التي قد تبعد الزواحف عنها
التكرارالمحتوى نفسه يُطلب عبر عدة روابط، مع شرطات مائلة في النهاية أو أحرف كبيرة أو معاملاتاختر رابطًا قياسيًا واحدًا، واربط إليه في كل مكان
الوقت حتى أول زحفالفاصل بين النشر وأول طلب من Googlebot لصفحة جديدةاربط الصفحات الجديدة من صفحات يُزحف إليها بكثرة، وحافظ على خريطة موقع نظيفة
زمن الاستجابةاستجابات بطيئة على القوالب التي يطلبها Googlebot أكثر من غيرهاسرّع تلك القوالب أولًا، لأن Google تقول إن الاستجابات البطيئة تدفعها إلى زحف أقل

صف "الزحف المفقود" هو الإشارة التي يتجاوزها الناس غالبًا، وهي غالبًا الأكثر كلفة. صفحة لا تظهر أبدًا في السجل قد لا تحقق أي ترتيب، مهما كان محتواها ممتازًا. إذا كان الرابط موجودًا في خريطة موقعك لكنه لا يظهر في السجلات أبدًا، فالأرجح أن الصفحة لا يُوصل إليها إلا عبر مسار لا تتبعه الزواحف. يغطي دليل Crawled, currently not indexed الجانب الآخر من الموضوع، حين يزور Googlebot الصفحة لكنه لا يفهرسها.

ثلاث طرق لإجراء التحليل، مقارنةً

يمكنك تشغيل تحليل السجلات بسكربتات، أو ببرنامج سطح مكتب، أو بمنصة. كل طريقة تناسب حجمًا مختلفًا من البيانات وفريقًا مختلفًا. يتوقف الاختيار على عدد المرات التي تحتاج فيها إلى الإجابة ومن سيقرؤها، أكثر مما يتوقف على حجم الموقع.

سطر الأوامر: grep وawk وPython

المبدأ: تحلّل الملفات الخام بسكربتات، وتكتب النتائج في ملف أو جدول بيانات. متى تستخدمه: للفحوص لمرة واحدة، والمواقع الصغيرة، أو حين يريد مطوّر تحكمًا كاملًا. مزاياه: مجاني، وترى كل سطر، ويمكن أتمتته بمهمة مجدولة. حدوده: يستغرق وقتًا في الكتابة والصيانة، ويعمل بالسرعة التي يسمح بها جهازك، ولا يحتوي على رسوم بيانية، ويجب أن تتحقق من البوتات بنفسك.

مثال: الأوامر الواردة في قسم المنهجية، إذا شُغّلت مرة في الشهر على التصدير نفسه، تعطيك توزيع رموز الحالة وأكثر المسارات طلبًا من Googlebot. ويمكن لسكربت Python قصير أن يفعل الشيء نفسه ويضيف فحص DNS، وهو أبطأ لكنه أدق.

أداة سطح المكتب: Screaming Frog Log File Analyser

المبدأ: تستورد السجلات الخام إلى مشروع على سطح المكتب، فتجمّع الأداة البوتات وتتحقق من هوياتها وترسم الرسوم البيانية. متى تستخدمها: مستشار أو محلل داخلي يعمل على موقع فيه عشرات الآلاف من الروابط. مزاياها: تقرأ سجلات Apache وIIS وNginx بصيغة W3C Extended، وتتحقق من زواحف محركات البحث، وتُبرز الصفحات الكبيرة أو البطيئة. حدودها: النسخة المجانية محدودة، ومقدار البيانات التي يمكنك تحميلها يتوقف على حجم قرصك الصلب.

ملاحظة

تذكر بعض الأدلة أن النسخة المجانية تغطي 500 رابط. أما صفحة المنتج الخاصة بـ Screaming Frog فتقول إن النسخة المجانية محدودة بـ 1000 حدث في السجل، وإن الترخيص المدفوع بقيمة 99 جنيهًا إسترلينيًا سنويًا يزيل هذا الحد. خطط بالأرقام الرسمية.

صفحة منتج Screaming Frog Log File Analyser
صفحة منتج Screaming Frog Log File Analyser، مع حدود أحداث السجل فيها.

اقرأ صفحة Screaming Frog عن Log File Analyser قبل الشراء. ولشرح كامل للزاحف المرافق لها، راجع دليل Screaming Frog SEO Spider. يؤدي محلل السجلات مهمةً واحدةً لا يستطيعها الزاحف: يُظهر ما طلبته البوتات في الواقع، لا ما توحي به روابطك.

المنصة: مراقبة السجلات المستمرة

المبدأ: تستقبل المنصة سجلاتك وفق جدول زمني، غالبًا من CDN أو الخادم، وتربطها بزحف لموقعك وببيانات الفهرسة. متى تستخدمها: المواقع التجارية الكبيرة وفرق المؤسسات التي تراقب الزحف أسبوعيًا عبر عدة أسواق. مزاياها: تتوسع إلى سجلات ضخمة، وتحتفظ بالتاريخ، وتتيح لعدة فرق مشاركة لوحات المتابعة. حدودها: أعلى كلفة، وتستغرق وقتًا في الإعداد، وارتباط القفل بالمزوّد حقيقي، لذا تحقق من طريقة تصدير بياناتك قبل الالتزام. من المزودين في هذه الفئة Oncrawl وBotify، ويستحق الأمر أن تسأل كلًا منهما عن طريقة التحقق من البوتات.

المعيارسطر الأوامرأداة سطح المكتبالمنصة
الكلفةمجانيمجانًا حتى 1000 حدث في السجل، و99 جنيهًا إسترلينيًا سنويًا للترخيص الكاملاشتراك، والسعر يتوقف على الحجم
الإعدادتكتب السكربتات وتصونهاتثبيت، واستيراد، وبدءموصّلات وإعداد أولي
الحجممحدود بجهازكمحدود بقرصك الصلب وبالترخيصمصمم لسجلات ضخمة جدًا
التحقق من البوتاتيدوي، بفحص DNS أو نطاقات IPمدمجاسأل المزوّد
الأنسب لـالفحوص لمرة واحدة والمواقع الصغيرةالمستشارون والمواقع متوسطة الحجمفرق المؤسسات والتجارة الإلكترونية التي تراقب أسبوعيًا

تقرير إحصاءات الزحف في Google: مفيد، لكنه غير كافٍ

قبل أن تصدّر أي سجل، افتح تقرير إحصاءات الزحف في Search Console. يعرض إجمالي طلبات الزحف، وإجمالي حجم التنزيل، ومتوسط زمن الاستجابة، والاستجابات مجمّعة حسب النوع، وأنواع الملفات، وغرض الزحف، ونوع Googlebot الذي أجرى كل طلب. لمتابعة الاتجاه، هو أسرع عرض متاح لك، ويشرح دليل Google Search Console مكانه.

حدوده تفسّر لماذا تبقى السجلات مهمة. التقرير متاح لخصائص النطاق وخصائص بادئة الرابط على المستوى الجذري فقط. يغطي زواحف Google وحدها، فلا تظهر فيه GPTBot وClaudeBot وغيرها من البوتات. ويجمّع البيانات بدلًا من عرض كل رابط، فيمكنه أن يخبرك بأن طلبات الزحف انخفضت، لكنه لا يخبرك أي القوالب فقدتها. استخدمه لتكتشف أن شيئًا تغيّر، ثم استخدم السجلات لتعرف ما هو.

صفحة المساعدة لتقرير إحصاءات الزحف في Search Console
صفحة مساعدة Google لتقرير إحصاءات الزحف في Search Console.

صفحة المساعدة في إحصاءات الزحف من Google تصف كل تجميع. وحين لا يتطابق الرسم البياني مع تصدير سجلاتك، لا تثق بأيٍّ منهما قبل أن تتحقق من النافذة الزمنية وخطوة التحقق. ومعظم هذه الاختلافات تأتي من نافذة زمنية مختلفة، أو من CDN يجيب من ذاكرته المؤقتة، أو من عدد بوتات يشمل طلبات غير متحقق منها.

إصلاح هدر الزحف بعد رؤيته

الإصلاحات تنبع من الإشارات. معظمها يعود إلى ثلاث حركات: أن تتوقف عن إرسال الزواحف إلى صفحات لا تهم، وأن ترسلها مباشرةً إلى الرابط النهائي حين تُنقل صفحة، وأن تجعل الصفحات المهمة أسرع في التحميل.

نشاط الزحف قبل مراجعة السجلات وبعدها

قبل
  • يقضي Googlebot معظم طلباته على روابط الفلاتر والجلسات
  • تضيف سلاسل إعادة التوجيه قفزات إضافية قبل الوصول إلى الصفحات الأساسية
  • الصفحات المحذوفة تستمر في الزحف إليها كصفحات soft 404
بعد
  • تتركز الطلبات على الصفحات التي تريد ترتيبها
  • الروابط الداخلية تشير مباشرةً إلى الرابط النهائي
  • الصفحات المحذوفة تعيد 404 أو 410 وتتوقف عن تلقي طلبات الزحف

التنقل متعدد الأوجه. تنتج الفلاتر وترتيبات الفرز عددًا كبيرًا من الروابط بمحتوى متشابه تقريبًا. وحّدها بعناوين canonical حيثما أمكن، وأزل الروابط الداخلية إلى المتغيرات التي لا قيمة لها في البحث. وحين لا يمكن توحيد المتغير ويجب أن يبقى خارج الزحف، فاحجبه في robots.txt. توجيه Google هنا واضح: لا تستخدم noindex لهذا الغرض، لأن Google ما زالت مضطرة إلى طلب الصفحة قبل أن ترى الوسم. وهذا نموذج القاعدة التي ينبغي اختبارها:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

نصيحة

اختبر كل قاعدة في robots.txt قبل نشرها. تتحقق أداة فحص robots.txt المجانية من صياغتها، حتى لا يحجب خطأ مطبعي الصفحات التي تريد زحفها.

حافظ على تناسب تعديل robots.txt. تقول Google إن حجب الروابط لا يحرر ميزانية الزحف لبقية صفحاتك، إلا إذا كان الموقع يبلغ حد سعته أصلًا. الحجب مخصص للروابط التي لا قيمة لها، وليس وسيلة لدفع الميزانية نحو أفضل صفحاتك. يشرح مدخل robots.txt في المسرد كيف يُقرأ الملف.

سلاسل إعادة التوجيه. حين تُنقل صفحة مرتين، يمر الزاحف بالتحويلين في كل مرة. حدّث الروابط الداخلية لتشير إلى الرابط النهائي، ثم أبقِ التحويلات القديمة للروابط الخارجية. وللسبب نفسه يهم الاختيار بين التحويل الدائم والمؤقت، ويغطيه دليل 301 مقابل 302 بالتفصيل.

الصفحات المحذوفة. أعِد 404 أو 410 للصفحات المحذوفة نهائيًا. تقول Google إن soft 404 تستمر في الزحف وتهدر ميزانية الزحف، لذا فرسالة "الصفحة غير موجودة" مع رمز حالة 200 أسوأ من 404 حقيقي.

زمن الاستجابة والتخزين المؤقت. تقول Google إن الاستجابات البطيئة أو الفاشلة تجعلها تزحف أقل. فعّل استجابات 304 (Not Modified)، حتى تُقدَّم الصفحات غير المتغيرة من الذاكرة المؤقتة. ثم انظر إلى القوالب التي تتلقى أكبر عدد من طلبات Googlebot، وسرّع استجاباتها أولًا.

أكثر الأخطاء كلفةً، وكيف تتجنبها

معظم تحليلات السجلات التي تسير على نحو خاطئ تقع في واحد من عدد قليل من الأخطاء. لكل خطأ أدناه عرض يمكنك رؤيته في البيانات، وإصلاح يمكنك تطبيقه في الأسبوع نفسه.

الوثوق بسلسلة وكيل المستخدم

ما هو: احتساب كل طلب يقول "Googlebot" على أنه زحف Google. كيف تكتشفه: طلبات Googlebot من عناوين IP لا تُحل عكسيًا إلى أسماء مضيفي Google، أو قفزة مفاجئة من عنوان واحد. كيف تصلحه: شغّل التحقق من قسم المنهجية قبل أن تحسب أي شيء، واحتفظ بالطلبات غير المتحقق منها في فئة منفصلة، حتى تبقى ترى نشاط الكاشطات.

قراءة استجابات 200 فقط

ما هو: التركيز على الصفحات التي تعيد 200 وتجاهل الباقي. كيف تكتشفه: تقريرك لا يحتوي على قسم 3xx أو 4xx أو 5xx، أو توزيع رموز الحالة لا يُناقش أبدًا. كيف تصلحه: ابدأ دائمًا بتوزيع رموز الحالة. وقد يكشف ارتفاع طلبات 404 عن رابط داخلي مكسور، ويكشف ارتفاع طلبات 5xx عن مشكلة في الخادم تبطئ الزحف كله.

حجب صفحة تريد إزالتها من الفهرس

ما هو: إضافة قاعدة في robots.txt إلى صفحة تحمل أيضًا وسم noindex. كيف تكتشفه: تبقى الصفحة في الفهرس، ولا يظهر في السجل أي طلب من Googlebot، لأن الزاحف مُنع من طلبها. كيف تصلحه: أزل الحجب ليتمكن Google من قراءة وسم noindex، وانتظر حتى تخرج الصفحة من الفهرس، ثم أعد الحجب إن كنت ما زلت تحتاجه. يشرح دليل Blocked by robots.txt حالة Search Console التي تظهر في هذه الحالة.

مقارنة نوافذ زمنية بأطوال مختلفة

ما هو: مقارنة تصدير لثلاثة أيام قبل الإصلاح بتصدير لـ30 يومًا بعده. كيف تكتشفه: تتغير الإجماليات كثيرًا، لكن حصة كل قالب لا تتغير. كيف تصلحه: قارن عدد الأيام نفسه، وفي الفترة نفسها من السنة إن أمكن، وقارن الحصص لا الإجماليات الخام حين يتغير الحجم.

قياس الطلبات بدلًا من القيمة

ما هو: الاحتفاء بارتفاع طلبات Googlebot دون التحقق من أنها تصل إلى صفحات تُفهرس. كيف تكتشفه: تتركز الطلبات على روابط غير مفهرسة، أو لا تجلب أي زيارات. كيف تصلحه: اربط مجموعات السجل بحالة الفهرسة من أداة فحص عنوان URL في Search Console، ولا تعتبر الإصلاح نجاحًا إلا إذا تحرك الزحف نحو الصفحات المهمة.

قبل أن تستخلص أي استنتاج

  • صدّر 7 أيام على الأقل، ويفضل 30 يومًا، من الخادم الأصلي ومن CDN
  • تأكد من المنطقة الزمنية وصيغة السجل لكل مصدر
  • تحقق من كل عنوان IP لـ Googlebot قبل أن تحسبه
  • قارن النافذة الزمنية نفسها قبل كل إصلاح وبعده
  • لا تثق بسلسلة وكيل المستخدم وحدها
  • لا تقارن تصديرًا لثلاثة أيام بتصدير لثلاثين يومًا

أين تقع بوتات الذكاء الاصطناعي في السجلات نفسها

تُظهر السجلات نفسها ما تفعله زواحف الذكاء الاصطناعي في موقعك، والمنهجية واحدة: صنّفها، وتحقق منها حيث يتيح لك المزوّد ذلك، واقرأ رموز الحالة. يغطي دليل سجلات زواحف الذكاء الاصطناعي البوتات التي يجب البحث عنها، وكيف تختلف عن Googlebot. يتناول هذا المقال منهجية Googlebot بعمق، ويوضح القسم التالي كيف تجمع الاثنين في تقرير واحد.

نوع البوتأمثلةما يجب فحصه في السجلاتأين تقرأ المزيد
زاحف البحثGooglebotالطلبات حسب القالب، وتوزيع رموز الحالة، والوقت حتى أول زحف للصفحات الجديدةالأقسام أعلاه في هذا المقال
زاحف التدريبGPTBot وClaudeBot وCCBotهل يطلبون محتواك أصلًا، وهل يحترمون robots.txtRobots.txt لزواحف الذكاء الاصطناعي
زاحف الاسترجاعChatGPT-User وPerplexityBotزيارات قصيرة متتالية مرتبطة بأسئلة المستخدمين، والصفحات التي تصل إليها تلك الزياراتسجلات زواحف الذكاء الاصطناعي

يأتي الفصل بين التدريب والاسترجاع من الطريقة التي توثَّق بها زواحف الذكاء الاصطناعي. فزواحف التدريب تجمع المحتوى لتدريب النماذج، أما زواحف الاسترجاع فتجلب الصفحات حين يطرح مستخدم سؤالًا. ويجب أن يفصل تقريرك بينهما، لأن قرارًا بشأن أحدهما لا يسري تلقائيًا على الآخر.

إذا أردت رؤية زيارات Google وزيارات الذكاء الاصطناعي جنبًا إلى جنب أثناء تطبيق هذه الإصلاحات، فإن لوحة GEO / SEO في Sorank تعرض الاثنين في عرض واحد. استخدمها لتتحقق مما إذا كانت التغييرات التي تجريها انطلاقًا من السجلات تحرّك الزيارات، لا أعداد الزحف فقط.

الأسئلة الشائعة

ما هو تحليل ملفات السجل لتحسين السيو؟

هو مراجعة سجلات الوصول في خادمك لمعرفة الروابط التي يطلبها Googlebot والبوتات الأخرى، وعدد مرات طلبها، وأكواد الحالة التي تحصل عليها. تُظهر السجلات ما تفعله الزواحف فعليًا في موقعك، لا ما تقدّره أداة.

كم من بيانات السجل أحتاج؟

ابدأ بـ30 يومًا من الخادم الأصلي وأي CDN أمامه، أو على الأقل 7 أيام إن كان هذا كل ما لديك. قارن النافذة الزمنية نفسها قبل كل تغيير وبعده، لأن تصدير 3 أيام وتصدير 30 يومًا لا يمكن مقارنتهما مباشرة.

هل أستطيع الوثوق بطلب يقول إنه Googlebot؟

ليس وحده، لأن Google تقول إن سلسلة وكيل المستخدم يمكن تزويرها. تحقق من عنوان IP ببحث DNS عكسي ينتهي بـ googlebot.com أو google.com أو googleusercontent.com، ثم بحث أمامي يعيد العنوان نفسه.

احصل على خطة محتوى لمدة 30 يومًا مجانًا

نحلّل منافسيك وموقعك وظهورك في الذكاء الاصطناعي لنعدّ لك خطة محتوى مخصّصة مجانًا.

أدواتنا المجانية لتحسين محركات البحث

عرض جميع أدواتنا المجانية

احصل على خطة محتوى لمدة 30 يومًا مجانًا

نحلّل منافسيك وموقعك وظهورك في الذكاء الاصطناعي لنعدّ لك خطة محتوى مخصّصة مجانًا.

صورة أحد مستخدمي Sorankصورة أحد مستخدمي Sorankصورة أحد مستخدمي SorankCelio Fabianoصورة إحدى مستخدمات Sorankصورة الملف الشخصي للعميل Xavier Breull
Google
نجمةنجمةنجمةنجمةنجمة
5/5
+5,000
مستخدم

شهادات من رواد أعمال طموحين

5/5 من 5 تقييمات

من 0 إلى 10000 زائر في 5 أشهر

Celio Fabianomonrobotlavevitre.frGoogleالتجارة الإلكترونية

من 0 إلى 5000 زيارة في 8 أشهر

Thibault BMsorank.comGoogleبرمجيات

من 0 إلى 1104 نقرة في 4 أشهر

Dominiqueflight-sensations-idf.comGoogleالترفيه والطيران

من 0 إلى 163 نقرة خلال 6 أشهر

Coworking Pariscoworking-paris.frGoogleOffice broker

x92 نقرة في 7 أشهر

Guide Zanzibarguidezanzibar.comGoogleالسفر