اكتشف أخطاء الزحف وأصلحها: DNS والخادم وrobots.txt و404 وsoft 404 وإعادة التوجيه. كيف يتصرف Googlebot مع كل خطأ، وطريقة من 6 خطوات لإصلاحها بالترتيب.

في هذه الصفحة
باختصار
أخطاء الزحف هي الطلبات التي يرسلها محرك بحث أو زاحف ذكاء اصطناعي إلى موقعك وتفشل: الخادم لا يستجيب في الوقت المحدد، أو نظام أسماء النطاقات (DNS) لا يجيب، أو يتعذر جلب ملف robots.txt، أو تدور إعادة توجيه في حلقة، أو تعيد الصفحة رمز 4xx أو 5xx. أخطاء مستوى الموقع (DNS، الخادم، robots.txt) قد توقف زحف Google لموقعك بالكامل، لذا أصلحها أولًا؛ أما أخطاء مستوى الرابط (404، soft 404، أخطاء إعادة التوجيه) فلا تهم إلا عندما تصيب صفحات تريد فهرستها. تجدها في تقريري Crawl Stats وPage indexing في Search Console، ثم تؤكدها بأداة زحف وبسجلات الخادم، ثم تصلح السبب وتتحقق من الإصلاح.
هل تريد التعمق أكثر؟ اسأل
اختبار سريع
من يجب أن يصلح الجانب التقني لموقعك؟
نصيحتنا لك
تحقق بنفسك بأدوات Google المجانية
يسرد Search Console الصفحات التي لا يستطيع Google قراءتها، ويختبر PageSpeed Insights السرعة. يمكن إصلاح كثير من المشكلات الصغيرة من إعدادات منصة إنشاء موقعك.
نصيحتنا لك
مطوّر مواقع
المشكلة في الكود أو الخادم: المطوّر الذي يعرف السيو هو الشخص المناسب. أعطه قائمة الأخطاء من Search Console.
نصيحتنا لك
أداة تدقيق تقني
موقعك يضم صفحات كثيرة: يقرأها الزاحف كلها كما يفعل Google ويعطيك قائمة كاملة بالأخطاء التي يجب إصلاحها، صفحةً صفحة.
نصيحتنا لك
تدقيق تلقائي ثم محتوى
موقعك يعمل لكنه يجلب زوارًا قليلين: نادرًا ما تكون المشكلات التقنية هي السبب. يدقق Sorank الموقع ثم يكتب الصفحات التي تجلب الزيارات.
يعمل الزاحف مثل زائر صبور جدًا. يطلب من خادمك رابطًا، وينتظر الرد، ويقرأ رمز الحالة والمحتوى، ثم ينتقل إلى الروابط التي وجدها. خطأ الزحف هو أي خطوة في هذه السلسلة تفشل. لا يحصل الزائر أبدًا على صفحة قابلة للاستخدام.
هذا التعريف مهم لأن تقارير كثيرة تخلط بين أخطاء الزحف وقرارات الفهرسة. حالة "Crawled, currently not indexed" ليست خطأ زحف: جلب Google الصفحة بنجاح واختار ألا يحتفظ بها. وحالة "Excluded by noindex" ليست خطأ زحف أيضًا: أنت طلبت من Google حذف الصفحة. خطأ الزحف يعني أن عملية الجلب نفسها فشلت.
تقسم Google المشكلات إلى مستويين، وعليك أن تفعل الشيء نفسه.
أخطاء الموقع مقابل أخطاء الروابط
متجر لديه 4000 رابط منتج قديم يعيد 404 قد يكون بصحة جيدة تمامًا إذا اختفت تلك المنتجات نهائيًا. والمتجر نفسه مع ملف robots.txt يعيد 503 لمدة ست ساعات يعيش حالة طوارئ حقيقية، حتى لو كانت كل صفحات المنتجات تعمل. ابدأ بالمضيف، ثم بالروابط التي تجلب المال، ثم بالباقي.
لإصلاح أخطاء الزحف جيدًا، عليك أن تعرف ما تفعله Google فعلًا عندما تصادف أحدها. توثيق Google حول تأثير رموز حالة HTTP وأخطاء الشبكة على بحث Google (Google Search Central) يحدد القواعد. هذا ما تعنيه عمليًا.
| الاستجابة | ما تفعله Google | هل هي مشكلة؟ |
|---|---|---|
| 2xx | تمرر المحتوى إلى الفهرسة. الفهرسة غير مضمونة. | لا، إلا إذا كانت الصفحة فارغة (soft 404). |
| 301، 308 | إشارة قوية إلى أن الهدف هو الرابط الجديد. | لا، إذا كانت قفزة واحدة إلى 200. |
| 302، 303، 307 | إشارة ضعيفة: يميل الرابط الأصلي إلى البقاء الرابط المعتمد. | نعم، إذا كان النقل دائمًا. |
| سلاسل 3xx | تتبع حتى 10 قفزات افتراضيًا، ثم تتوقف. | نعم: كل قفزة تهدر طلبًا، والحلقات لا تنتهي أبدًا. |
| 404، 410، ورموز 4xx أخرى (عدا 429) | تعتبر المحتوى غير موجود، وتحذف الروابط المفهرسة مع الوقت، وتزحف إليها أقل. | فقط إذا كان يجب أن توجد الصفحة. |
| 401، 403 | مثل رموز 4xx الأخرى. لا تبطئ الزحف. | نعم، إذا منعت Googlebot من صفحات عامة. |
| 429 | تُعامل كإشارة إلى ضغط على الخادم، مثل 5xx. | نعم: يتباطأ الزحف. |
| 5xx | تبطئ الزحف بما يتناسب مع الأخطاء. الروابط التي تستمر في الفشل تُحذف من الفهرس. | نعم، دائمًا. |
تفصيلان يوقعان فرقًا كثيرة. أولًا، الرمزان 401 و403 لا يخفضان معدل الزحف. إذا كان خادمك يعاني، فإن إعادة 403 إلى Googlebot لا تساعد؛ تطلب Google إعادة 503 أو 429 مؤقتًا بدلًا من ذلك. ثانيًا، الرمز 404 ليس عقوبة. إنه الجواب الصحيح لصفحة لم تعد موجودة.
يشرح توثيق تقرير Crawl Stats (Search Console Help) القاعدة. ملف robots.txt الذي يجيب 200 (حتى لو كان فارغًا) أو 403 أو 404 أو 410 (لا يوجد ملف) لا مشكلة فيه. أما الذي يجيب 429 أو 5xx فهو فشل، وعندها تتصرف Google بحذر.
ما تفعله Google عندما يستمر فشل robots.txt
المصدر: Google Search Console Help، تقرير Crawl Stats
لذلك قد تؤدي قاعدة في شبكة توزيع المحتوى أو جدار حماية يعيد 503 على /robots.txt إلى تجميد موقعك كله لنصف يوم، حتى لو كانت كل الروابط الأخرى سليمة. افحص هذا الملف أولًا في أي تحقيق في أخطاء الزحف. يتناول دليلنا حول حالة "Blocked by robots.txt" المشكلة المعاكسة، عندما يعمل الملف لكنه يحظر أكثر من اللازم.
حدود زحف Google التي يجب تذكرها
المصادر: Google Search Central، رموز حالة HTTP وأخطاء الشبكة؛ Search Console Help، تقرير Crawl Stats

هذه هي القائمة الكاملة التي ستصادفها في Search Console وفي أدوات الزحف، مع سبب كل خطأ وإصلاحه. الأسماء مأخوذة من توثيق تقرير Page indexing (Search Console Help).
لم تتمكن Google من تحويل اسم نطاقك إلى عنوان IP، أو لم يُجب خادم DNS. الأسباب الشائعة: نطاق منتهي الصلاحية، أو عطل لدى مزود DNS، أو سجل خاطئ بعد نقل الموقع، أو إعداد DNSSEC خاطئ. افحص ذلك باستعلام من خارج شبكتك:
dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec
الإصلاح: صحّح السجلات، وخفّض قيمة TTL قبل أي نقل، واستخدم مزود DNS لديه احتياطي. إذا كان example.com وwww.example.com موجودين، فيجب أن يُحلَّل كلاهما، حتى لو كان أحدهما يعيد التوجيه فقط.
لم يُجب الخادم في الوقت المحدد، أو أغلق الاتصال، أو أجاب بـ 500 أو 502 أو 503 أو 504. الأسباب المعتادة: قاعدة بيانات مثقلة، أو عملية PHP أو Node تنهار تحت الضغط، أو مهلة في الوكيل العكسي، أو تحديث إضافة، أو جدار حماية يحد من معدل الروبوتات. انظر إلى النمط الزمني: أخطاء في الساعة نفسها كل ليلة تشير غالبًا إلى نسخة احتياطية أو مهمة cron.
الإصلاح: اقرأ سجل أخطاء الخادم في الأوقات التي تذكرها Google، وارفع المهلات أو عدد العمليات، وخزّن الصفحات الثقيلة مؤقتًا، وتأكد من أن حماية الروبوتات تسمح بمرور Googlebot الموثّق. للصيانة المخطط لها، أعد 503 مع ترويسة Retry-After بدلًا من صفحة 200 تقول "سنعود قريبًا":
HTTP/1.1 503 Service Unavailable
Retry-After: 3600
الصفحة غير موجودة. لا مشكلة في ذلك إذا حُذفت عمدًا ولا شيء يربط إليها. تصبح مشكلة عندما لا يزال للرابط روابط خلفية أو زيارات أو روابط داخلية، أو عندما يجب أن توجد الصفحة وكسرها نشر جديد.
الإصلاح: إذا نُقل المحتوى، أضف إعادة توجيه 301 واحدة إلى أقرب مقابل. إذا اختفى نهائيًا، أبقِ 404 أو استخدم 410، واحذف الروابط الداخلية ومدخلات خريطة الموقع التي تشير إليه. لا تعد توجيه كل 404 إلى الصفحة الرئيسية أبدًا: تميل Google إلى معاملتها كـ soft 404.
يقول الخادم 200 لكن الصفحة تبدو فارغة أو تقول "غير موجود": فئة فارغة، أو صفحة بحث بلا نتائج، أو منتج نفد من المخزون بلا محتوى. تنفق Google طلبًا عليها ولا تحصل على شيء. نتناول هذا الخطأ بعمق في دليلنا حول أخطاء soft 404.
لا يرسل Googlebot بيانات اعتماد أبدًا، لذا فإن 401 أو 403 على صفحة عامة يعني أن خادمك أو طبقة أمان تحظره. المتهمون الشائعون: كلمة مرور بيئة الاختبار متروكة على الإنتاج، أو قاعدة WAF، أو حظر حسب الدولة، أو قاعدة حماية من الربط المباشر مطبقة على HTML. أصلح القاعدة لا العَرَض، واختبر باستخدام أداة URL Inspection في Search Console.
تبلّغ Google عن خطأ إعادة توجيه عندما تصادف حلقة، أو سلسلة طويلة جدًا، أو رابطًا يتجاوز الطول الأقصى، أو رابطًا خاطئًا أو فارغًا في السلسلة. الحالة الكلاسيكية بعد نقل الموقع: من http إلى https، ثم إلى www، ثم إلى الشرطة المائلة الأخيرة، ثم إلى مسار جديد. أربع قفزات حيث تكفي واحدة. يشرح دليلنا الكامل حول إعادة التوجيه في السيو كيف تختصرها.
نصيحة
الصق أي رابط مشبوه في أداة فحص إعادة التوجيه المجانية من Sorank: تتبع السلسلة كاملة، وتعرض كل قفزة ورمز حالتها، وتخبرك أين الحلقة أو القفزة الزائدة.
بعض الأخطاء لا تُظهر أي رمز حالة. تبدأ الصفحة في التحميل ثم تتوقف، أو تكون ثقيلة جدًا فلا يقرأ الزاحف إلا جزءًا منها. تقرأ زواحف Google عددًا محدودًا من البايتات لكل ملف، لذا قد تفقد صفحة مثقلة بسكربتات مضمّنة أو صور base64 المحتوى في أسفلها. افحص القوالب الثقيلة باستخدام أداة فحص حجم الصفحة.
لا توجد أداة واحدة تُظهر كل أخطاء الزحف. كل طريقة ترى المشكلة من زاوية مختلفة، والتدقيق الجاد يجمع بين اثنتين على الأقل.
المبدأ: تعرض Google طلبات الزحف الخاصة بها خلال آخر 90 يومًا، مجمّعة حسب الاستجابة ونوع الملف والغرض ونوع Googlebot، إضافة إلى حالة المضيف لـ DNS والخادم وrobots.txt. متى تستخدمها: دائمًا، وأولًا، لأخطاء الموقع. المزايا: إنها الحقيقة الأساسية من Google نفسها. الحدود: متاحة فقط للخصائص على مستوى الجذر، وأمثلتها عيّنات، وتقول Google إن المواقع التي تقل عن ألف صفحة نادرًا ما تحتاجها. مثال: ارتفاع في استجابات "page timeout" كل يوم أحد عند الساعة 3 صباحًا يتزامن مع نسخ احتياطي لقاعدة البيانات.

المبدأ: يسرد الروابط التي تعرفها Google وسبب عدم فهرستها، مع أسباب مثل Server error (5xx) وRedirect error وNot found (404) وSoft 404. متى تستخدمها: لفرز أخطاء الروابط وللتحقق من الإصلاحات. المزايا: مرتبط بالصفحات التي حاولت Google جلبها فعلًا. الحدود: التقارير تتأخر أيامًا، وقوائم الأمثلة محدودة، ويخلط بين أخطاء الزحف وخيارات الفهرسة. مثال: 300 رابط تحت "Redirect error" تشترك كلها في البادئة القديمة /blog/ نفسها.
المبدأ: أداة مثل Screaming Frog تزحف إلى موقعك كما يفعل الروبوت، متتبعة الروابط من الصفحة الرئيسية، وتسجل كل رمز حالة وسلسلة إعادة توجيه ورابط معطل. متى تستخدمها: قبل نقل الموقع أو إعادة تصميمه أو نشر كبير وبعده، وشهريًا على المواقع الكبيرة. المزايا: فورية، وشاملة للصفحات المرتبطة، وتُظهر مكان كل رابط معطل. الحدود: لا تعرف ما طلبته Google فعلًا، وتفوتها الصفحات اليتيمة، وقد يعاملها خادمك بشكل مختلف عن Googlebot. يشرح دليل إعداد Screaming Frog تدقيقًا كاملًا خطوة بخطوة.

المبدأ: تسجل سجلات الوصول كل طلب، بما في ذلك طلبات Googlebot وBingbot وGPTBot وClaudeBot وPerplexityBot، مع رمز الحالة الدقيق وزمن الاستجابة. متى تستخدمها: على المواقع الكبيرة، وبعد انخفاضات غير مفسرة في الزيارات، ولمعرفة ما تزوره زواحف الذكاء الاصطناعي. المزايا: طلبات حقيقية، ورموز حقيقية، بلا عينات، ولكل الروبوتات. الحدود: تحتاج إلى الوصول إلى السجلات وبعض البرمجة؛ ويجب أن تتحقق من أن "Googlebot" هو Google فعلًا. يشرح دليلنا حول تحليل ملفات السجل للسيو الأمر خطوة بخطوة. نظرة أولى سريعة:
# Googlebot requests that did not return 200, 301 or 304, most frequent first
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50
المبدأ: اختبر رابطًا واحدًا في كل مرة باستخدام curl أو أداة فحص مجانية على الإنترنت. متى تستخدمها: لتأكيد إصلاح، أو لفحص صفحة مهمة بعد نشر. المزايا: فورية ودقيقة. الحدود: لا تصلح للحجم الكبير. استخدم وكيل مستخدم Googlebot لاكتشاف القواعد التي تعامل الروبوتات بشكل مختلف:
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
| الطريقة | ترى أخطاء الموقع | ترى أخطاء الروابط | بيانات Googlebot حقيقية | ترى زواحف الذكاء الاصطناعي | الأفضل لـ |
|---|---|---|---|---|---|
| تقرير Crawl Stats | نعم | عيّنات | نعم | لا | صحة المضيف |
| تقرير Page indexing | جزئيًا | نعم | نعم | لا | الفرز والتحقق |
| أداة زحف (Screaming Frog...) | لا | نعم، للصفحات المرتبطة | لا | لا | إيجاد الروابط المعطلة من مصدرها |
| سجلات الخادم | جزئيًا | نعم | نعم | نعم | المواقع الكبيرة، الأسباب الجذرية |
| فحص رابط مفرد | لا | واحدًا تلو الآخر | لا | لا | تأكيد الإصلاحات |
تعني حالة 5xx أن الخادم لم يستطع معالجة طلب بدا صالحًا. تُبطئ Google الزحف استجابةً لذلك، ويزداد البطء كلما زاد عدد العناوين التي تعيد أخطاء. تحتفظ Google بالعناوين المفهرسة مدةً من الزمن، لكنها تزيل العناوين التي تعيد خطأ في الخادم بشكل متكرر. الانقطاع القصير قابل للتعافي، لأن Google ترفع معدل الزحف تدريجيًا حين يجيب خادمك برموز 2xx. أما الفترة الطويلة من الأخطاء فهي ما يضر بفهرسك.
كل رمز 5xx يشير إلى جزء مختلف من المكدس. يعطيك الجدول أول مكان تنظر إليه لكل رمز.
| الرمز | ما يعنيه عادةً | انظر إليه أولًا |
|---|---|---|
| 500 | فشل التطبيق أثناء معالجة الطلب | سجل أخطاء التطبيق في الوقت الدقيق للطلب |
| 502 | تلقّى الوكيل أو شبكة توصيل المحتوى (CDN) ردًا غير صالح من التطبيق، غالبًا لأنه تعطل أو أُعيد تشغيله | عمليات إعادة التشغيل ووقت تشغيل عملية التطبيق |
| 503 | الخدمة مثقلة أو محدودة المعدل أو في وضع الصيانة | رسوم الحمل وسجل النشر ونوافذ الصيانة |
| 504 | الوكيل توقف عن انتظار التطبيق | استعلامات قاعدة البيانات البطيئة وإعدادات مهلة الوكيل |
| 429 | أداة تحديد المعدل تقول إن الطلبات كثيرة جدًا | قواعد تحديد المعدل، وهل تنطبق على Googlebot الموثّق |
يعرض تقرير Crawl Stats الأيام والساعات التي واجهت فيها Google أخطاء (يشرح دليل Crawl Stats كل رسم بياني). يُظهر سجل الخادم ما حدث في تلك اللحظات بالضبط. صفِّ طلبات Googlebot واحسب استجابات 5xx لكل ساعة:
grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c
كل سطر في المخرجات يمثل ساعةً ورمز حالة وعددًا. التجمع في الساعة نفسها كل ليلة يشير غالبًا إلى نسخة احتياطية أو مهمة مجدولة أو استيراد مجدول. أما الأخطاء الموزعة على اليوم كله فتشير غالبًا إلى الحمل، فيكون الحل في السعة أو التخزين المؤقت لا في خطأ برمجي واحد. لطريقة أعمق، راجع دليل تحليل ملفات السجل.
تخفض Google الزحف بما يتناسب مع عدد العناوين التي تعيد أخطاء. القالب المعطل الذي يؤثر في عدد قليل من العناوين يكلفك وقت زحف قليلًا. أما انقطاع قاعدة البيانات الذي يكسر كل صفحة فيكلفك كثيرًا، لذلك يجب إصلاحه أولًا.
يؤدي الخطأ 429 الأثر نفسه الذي يؤديه 5xx، لأن Google تقرؤه على أنه خادم مثقل. إذا كانت أداة تحديد المعدل أو حماية الروبوتات تعيد 429 إلى Googlebot، فأنت تدفع ثمن ذلك من وقت الزحف. لا تذكر وثائق Google ترويسة Retry-After. أبقِها لزوار البشر وعملاء الـ API، لكن لا تعتمد على أن Googlebot سينتظر المدة التي حددتها.
تعني حالة 4xx أن الخادم رفض الطلب بسبب أمر يخص الطرف المرسل: العنوان غير موجود، أو الوصول ممنوع، أو صيغة العنوان خاطئة. تتعامل Google مع كل رمز 4xx باستثناء 429 بالطريقة نفسها. فهي تتوقف عن استخدام المحتوى خلف هذا العنوان، وتُخرجه من الفهرس إن كان مفهرسًا. قبل أن تلمس أي خطأ 4xx، اعرف من أين يأتي الطلب، لأن الإصلاح غالبًا ما يكون في مكان واحد: رابط، أو قالب، أو قاعدة إعادة توجيه.
يسجّل سجل الوصول (access log) المُحيل لكل طلب، أي الصفحة التي أرسلت الزائر أو الروبوت إلى هذا العنوان. احسب استجابات 4xx حسب المسار وحسب المُحيل:
awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20
اقرأ عمود المُحيل على النحو التالي:
الإصدار الذي يعيد تسمية مسار، أو يغيّر slug، أو يعيد بناء قالب، ينتج غالبًا موجة من أخطاء 404 في اليوم نفسه. صدّر عدد استجابات 4xx اليومية للأسبوع الذي يسبق النشر وللأسبوع الذي يليه. القفزة المتركزة في مجلد واحد تشير مباشرة إلى التغيير. أضف إعادة التوجيه من العنوان القديم إلى الجديد في الإصدار نفسه، لا في تذكرة لاحقة. للنقل الكامل، راجع قائمة مراجعة ترحيل SEO.
نصيحة
لا تستبدل صفحة مفقودة باستجابة 200 تعرض رسالة قصيرة أو قائمة فارغة. قد تعاملها Google كـ soft 404، فتكلفك طلب جلب كامل دون أن تحصل على شيء.
هذه هي الطريقة التي نستخدمها. تنتقل من الأخطاء التي قد توقف موقعك كله إلى تلك التي تهدر قليلًا من الزحف فقط.
طريقة أخطاء الزحف في 6 خطوات
في Search Console، افتح Settings، ثم Crawl stats، ثم Host status. الأخضر يعني لا مشكلة مهمة خلال 90 يومًا. "Recent issue" تعني مشكلة مهمة خلال الأسبوع الماضي: اترك كل شيء آخر. انقر على كل فئة لترى نسبة الفشل يوميًا، ثم طابق الأيام السيئة مع سجل الاستضافة وشبكة توزيع المحتوى وعمليات النشر.
افتح Indexing، ثم Pages، وصدّر كل سبب خطأ. لا تصلح الروابط واحدًا تلو الآخر. ضعها في جدول بيانات واستخرج المجلد الأول:
=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")
جدول محوري على هذا العمود يُظهر عادة أن معظم الأخطاء تأتي من قالبين أو ثلاثة: فئة مدونة متقاعدة، أو معامل تصفية، أو موجز منتجات قديم.
لكل نمط، اطرح أربعة أسئلة. هل يحصل على نقرات عضوية؟ هل له روابط خلفية؟ هل هو مرتبط داخليًا؟ هل هو في خريطة الموقع؟ رابط 404 لا يملك أيًا من الأربعة يمكنه الانتظار إلى الأبد. رابط 404 له روابط خلفية يحتاج إلى 301 اليوم. تُظهر أداة فحص الروابط المعطلة المجانية أيًا من صفحاتك لا تزال تربط إلى روابط ميتة.
أصلح القواعد لا الروابط. خريطة إعادة توجيه في إعدادات الخادم أفضل من 400 إعادة توجيه مضافة يدويًا في إضافة. مثال في nginx:
map $request_uri $new_uri {
/old-blog/seo-tips/ /blog-geo-seo/seo-best-practices/;
/old-blog/sitemaps/ /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
if ($new_uri) { return 301 $new_uri; }
}
بالنسبة لـ 5xx، أصلح السعة أو الخلل. بالنسبة لـ 401 و403، أصلح قاعدة الأمان. بالنسبة لـ soft 404، أضف محتوى حقيقيًا أو أعد 404 حقيقيًا.
يجب أن يشير كل رابط داخلي مباشرة إلى رابط يعيد 200. ويجب أن يكون كل مدخل في خريطة الموقع رابطًا معتمدًا قابلًا للفهرسة ويعيد 200. خريطة موقع مليئة بإعادات التوجيه و404 تعلّم Google أن تثق بها أقل. يشرح دليلنا حول كيفية إنشاء خريطة موقع ما ينتمي إليها.
في تقرير Page indexing، افتح السبب الذي أصلحته وانقر Validate fix. تفحص Google أولًا عيّنة، ثم الباقي؛ يستغرق ذلك عادة حتى أسبوعين تقريبًا، ويتوقف إذا استمر فشل رابط واحد فقط. لا تنقر مرة أخرى أثناء التشغيل. ثم ضع روتينًا أسبوعيًا: Crawl Stats للمضيف، والسجلات للارتفاعات المفاجئة، وزحف بعد كل نشر.
سلسلة إعادة توجيه قبل الإصلاح وبعده
ما هو: إضافة أو قاعدة ترسل أي رابط مفقود إلى /. كيف تكتشفه: روابط كثيرة في "Soft 404" أو "Page with redirect" تنتهي كلها في الصفحة الرئيسية؛ وأداة الزحف تُظهر مئات من 301 بالهدف نفسه. كيف تصلحه: أعد التوجيه فقط إلى مقابل قريب، واترك الباقي يعيد 404 أو 410.
ما هو: جدار حماية تطبيقات (WAF) أو مدير روبوتات أو محدد معدل يقدّم 403 أو 429 أو صفحة تحدٍّ إلى Google. كيف تكتشفه: رموز 403 أو 429 في Crawl Stats، بينما تُحمَّل الصفحة جيدًا في متصفحك؛ وتُظهر السجلات الحظر حسب عنوان IP. كيف تصلحه: اسمح بـ Googlebot الموثّق، باستخدام DNS العكسي أو نطاقات IP التي تنشرها Google، بدلًا من الوثوق بسلسلة وكيل المستخدم.
ما هو: ملف robots.txt يولّده التطبيق، فيفشل كلما فشل التطبيق، أو يُقدَّم عبر قاعدة في شبكة توزيع المحتوى تخزّن 5xx مؤقتًا. كيف تكتشفه: فئة جلب robots.txt في Host status ليست خضراء. كيف تصلحه: قدّمه كملف ثابت خارج التطبيق، واختبره باستخدام أداة فحص robots.txt.
ما هو: صفحة "سنعود قريبًا" تُقدَّم برمز 200 على كل الروابط. كيف تكتشفه: بعد الصيانة، موجة من soft 404 أو عناوين مكررة. كيف تصلحه: أعد 503 مع Retry-After أثناء الصيانة، واجعلها قصيرة.
ما هو: الإجابة بـ 403 على Googlebot عندما يكون الخادم مثقلًا. كيف تكتشفه: ارتفاعات في 403 تتزامن مع ارتفاعات الضغط. كيف تصلحه: تقول Google إن رموز 4xx غير 429 لا تأثير لها على معدل الزحف. أعد 503 أو 429 لفترة قصيرة، وأصلح السعة.
ما هو: النقر على قائمة Search Console وتعديل كل رابط. كيف تكتشفه: السبب نفسه يعود كل شهر. كيف تصلحه: جمّع حسب النمط، وأصلح القالب أو القاعدة، ثم تحقق مرة واحدة.
ما هو: إنفاق أيام على 404 لروابط مزعجة أو صفحات محذوفة منذ زمن بلا روابط. كيف تكتشفه: الروابط بلا نقرات ولا روابط خلفية ولا روابط داخلية. كيف تصلحه: اتركها. تقول Google إن 404 لصفحة محذوفة ليست بالضرورة مشكلة.
تحذير
لا تحظر أبدًا رابطًا في robots.txt "لإخفاء" خطأ زحف. لن تعود Google قادرة على رؤية 404 أو إعادة التوجيه، وقد يبقى الرابط مفهرسًا، وتفقد الإشارة التي كنت تحاول إرسالها.
على موقع ببضع مئات من الصفحات، لدى Google وقت لكل شيء، وأخطاء الزحف تهم أساسًا للصفحات التي تكسرها. على المواقع الكبيرة (متاجر بفلاتر، أسواق إلكترونية، أخبار)، كل طلب فاشل أو مهدر يأخذ وقتًا من صفحاتك الحقيقية. هذه هي الفكرة وراء ميزانية الزحف.
تجعل 5xx و429 Google تبطئ على مستوى المضيف كله، لذا قد تؤخر بضعة قوالب معطلة زحف صفحات منتجاتك الجديدة. سلاسل إعادة التوجيه تكلف طلبًا لكل قفزة. وsoft 404 تكلف جلبًا كاملًا ولا تعطي شيئًا. أصلح هذه الثلاثة وستغطي الميزانية نفسها صفحات مفيدة أكثر.
عندما تجد Google روابط لكنها تؤجل زحفها، يكون السبب غالبًا خادمًا تعتبره هشًا. إذا رأيت عدد "Discovered, currently not indexed" يتزايد مع أخطاء خادم في Crawl Stats، أصلح الخادم أولًا. التقريران يرويان القصة نفسها.
لم يعد Googlebot الزائر الوحيد المهم. تجلب GPTBot وOAI-SearchBot وClaudeBot وPerplexityBot الصفحات لتدريب النماذج أو للإجابة عن الأسئلة في الوقت الفعلي. تزور الخادم نفسه، وتعاني من الأخطاء نفسها، مع فرق واحد: لا يوجد Search Console لها.
معظم زواحف الذكاء الاصطناعي لا تشغّل JavaScript، لذا قد تبدو لها صفحة تبني محتواها في المتصفح فقط فارغة، وهي نوع من soft 404 لن تراه أبدًا في تقارير Google. كثير منها محظور افتراضيًا من خدمات حماية الروبوتات، غالبًا برمز 403. ولأنها تجلب الصفحات عند الطلب عندما يطرح مستخدم سؤالًا، فإن انتهاء المهلة في تلك اللحظة يعني أن الإجابة تستشهد بشخص آخر. يتناول دليلنا حول سيو JavaScript العرض لكل من زواحف البحث والذكاء الاصطناعي.
سجلات خادمك هي المصدر الموثوق الوحيد. صفِّ حسب وكيل المستخدم وانظر إلى رموز الحالة:
grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
إذا حصلت روبوتات الذكاء الاصطناعي على 403 لم تقصدها، أصلح القاعدة. ثم تحقق مما إذا كانت تستشهد بك فعلًا: تتابع ميزة تتبع الإشارات في الذكاء الاصطناعي من Sorank عدد مرات ذكر ChatGPT وGemini وClaude وPerplexity لعلامتك التجارية، فترى إن كان إصلاح الزحف يغيّر شيئًا.
شغّل هذه القائمة بعد كل نقل للموقع أو إعادة تصميم أو نشر كبير، ومرة في الشهر على المواقع الكبيرة.
قائمة فحص صحة الزحف
افتح Crawl Stats وافحص أسطر حالة المضيف الثلاثة. ثم شغّل أداة فحص قابلية الفهرسة المجانية على أهم خمس صفحات لديك. إذا كان كلاهما نظيفًا، صدّر أخطاء Page indexing وجمّعها حسب المجلد: صار لديك الآن قائمة إصلاح قصيرة ومرتبة بدلًا من تقرير مخيف.
بمجرد أن يصبح الزحف نظيفًا، يصبح الحد التالي هو المحتوى نفسه. تعيد ميزة تحسين المحتوى من Sorank كتابة صفحاتك الحالية وتحديثها بنظام autopilot، فتصبح الصفحات التي يمكن لـ Google الوصول إليها الآن جديرة بالفهرسة والاستشهاد. أما الصفحات التي زحفت إليها Google وتركتها، فاقرأ دليلنا حول "Crawled, currently not indexed".
أخطاء الزحف هي طلبات محرك بحث أو زاحف ذكاء اصطناعي التي تفشل: DNS لا يحلل النطاق، أو الخادم يتأخر أو يعيد 5xx، أو يتعذر جلب robots.txt، أو تدور إعادة توجيه في حلقة، أو تعيد الصفحة رمز 4xx. أخطاء مستوى الموقع قد توقف زحف الموقع كله، بينما لا تصيب أخطاء الروابط إلا الصفحة المعنية.
ليست كذلك بحد ذاتها. تقول Google إن 404 لصفحة حُذفت دون بديل ليست بالضرورة مشكلة. تصبح مشكلة عندما يكون للرابط روابط خلفية أو زيارات أو روابط داخلية، وعندها يكون الإصلاح الصحيح إعادة توجيه 301 واحدة إلى مقابل قريب.
بعد النقر على Validate fix في تقرير Page indexing في Search Console، يستغرق التحقق عادة حتى أسبوعين تقريبًا. تفحص Google أولًا عيّنة من الروابط ثم الباقي، وتتوقف إذا استمر فشل رابط واحد معني.
