التفضيلات

خصوصيتك مهمة بالنسبة لنا، لذلك لديك خيار تعطيل أنواع معينة من التخزين التي قد لا تكون ضرورية للوظائف الأساسية للموقع. قد يؤثر حظر الفئات على تجربتك في الموقع. مزيد من المعلومات (سياسة ملفات تعريف الارتباط)

أخطاء الزحف: كيف تكتشف كل نوع وترتب أولوياته وتصلحه

اكتشف أخطاء الزحف وأصلحها: DNS والخادم وrobots.txt و404 وsoft 404 وإعادة التوجيه. كيف يتصرف Googlebot مع كل خطأ، وطريقة من 6 خطوات لإصلاحها بالترتيب.

تاريخ النشر
18/11/2026
تاريخ التحديث
18/11/2026
مدة القراءة
19 دقائق
أخطاء الزحف: كيف تكتشف كل نوع وترتب أولوياته وتصلحه

أدوات

في هذه الصفحة

باختصار

أخطاء الزحف هي الطلبات التي يرسلها محرك بحث أو زاحف ذكاء اصطناعي إلى موقعك وتفشل: الخادم لا يستجيب في الوقت المحدد، أو نظام أسماء النطاقات (DNS) لا يجيب، أو يتعذر جلب ملف robots.txt، أو تدور إعادة توجيه في حلقة، أو تعيد الصفحة رمز 4xx أو 5xx. أخطاء مستوى الموقع (DNS، الخادم، robots.txt) قد توقف زحف Google لموقعك بالكامل، لذا أصلحها أولًا؛ أما أخطاء مستوى الرابط (404، soft 404، أخطاء إعادة التوجيه) فلا تهم إلا عندما تصيب صفحات تريد فهرستها. تجدها في تقريري Crawl Stats وPage indexing في Search Console، ثم تؤكدها بأداة زحف وبسجلات الخادم، ثم تصلح السبب وتتحقق من الإصلاح.

هل تريد التعمق أكثر؟ اسأل

اختبار سريع

من يجب أن يصلح الجانب التقني لموقعك؟

السؤال 1 من 425%
ما الذي يحدث الآن؟

ما هي أخطاء الزحف، وما ليست هي

يعمل الزاحف مثل زائر صبور جدًا. يطلب من خادمك رابطًا، وينتظر الرد، ويقرأ رمز الحالة والمحتوى، ثم ينتقل إلى الروابط التي وجدها. خطأ الزحف هو أي خطوة في هذه السلسلة تفشل. لا يحصل الزائر أبدًا على صفحة قابلة للاستخدام.

هذا التعريف مهم لأن تقارير كثيرة تخلط بين أخطاء الزحف وقرارات الفهرسة. حالة "Crawled, currently not indexed" ليست خطأ زحف: جلب Google الصفحة بنجاح واختار ألا يحتفظ بها. وحالة "Excluded by noindex" ليست خطأ زحف أيضًا: أنت طلبت من Google حذف الصفحة. خطأ الزحف يعني أن عملية الجلب نفسها فشلت.

العائلتان: أخطاء الموقع وأخطاء الروابط

تقسم Google المشكلات إلى مستويين، وعليك أن تفعل الشيء نفسه.

  • أخطاء الموقع (تسميها Google مشكلات حالة المضيف): فشل تحليل DNS، وفشل الاتصال بالخادم، وفشل جلب robots.txt. تصيب كل رابط على المضيف. يوم سيئ هنا قد يجمّد زحف الموقع كله.
  • أخطاء الروابط: صفحة واحدة تعيد 404 أو 410 أو 401 أو 403 أو 5xx أو soft 404 أو إعادة توجيه معطلة. لا تصيب إلا ذلك الرابط، وكثير منها غير ضار.

أخطاء الموقع مقابل أخطاء الروابط

أخطاء الموقع (أصلحها اليوم)
  • DNS لا يحلل النطاق
  • الخادم يتأخر أو يقطع الاتصال
  • robots.txt يعيد 5xx أو 429
  • تظهر في Crawl Stats، Host status
  • قد توقف زحف كل الصفحات
أخطاء الروابط (فرز)
  • 404، 410، soft 404
  • 401، 403، ورموز 4xx أخرى
  • حلقة إعادة توجيه أو سلسلة طويلة جدًا
  • تظهر في تقرير Page indexing
  • لا تهم إلا على الصفحات التي تريد فهرستها

لماذا يغيّر هذا التمييز أولوياتك

متجر لديه 4000 رابط منتج قديم يعيد 404 قد يكون بصحة جيدة تمامًا إذا اختفت تلك المنتجات نهائيًا. والمتجر نفسه مع ملف robots.txt يعيد 503 لمدة ست ساعات يعيش حالة طوارئ حقيقية، حتى لو كانت كل صفحات المنتجات تعمل. ابدأ بالمضيف، ثم بالروابط التي تجلب المال، ثم بالباقي.

كيف يتصرف Googlebot مع كل نوع من الفشل

لإصلاح أخطاء الزحف جيدًا، عليك أن تعرف ما تفعله Google فعلًا عندما تصادف أحدها. توثيق Google حول تأثير رموز حالة HTTP وأخطاء الشبكة على بحث Google (Google Search Central) يحدد القواعد. هذا ما تعنيه عمليًا.

رموز الحالة، عائلة بعد عائلة

الاستجابةما تفعله Googleهل هي مشكلة؟
2xxتمرر المحتوى إلى الفهرسة. الفهرسة غير مضمونة.لا، إلا إذا كانت الصفحة فارغة (soft 404).
301، 308إشارة قوية إلى أن الهدف هو الرابط الجديد.لا، إذا كانت قفزة واحدة إلى 200.
302، 303، 307إشارة ضعيفة: يميل الرابط الأصلي إلى البقاء الرابط المعتمد.نعم، إذا كان النقل دائمًا.
سلاسل 3xxتتبع حتى 10 قفزات افتراضيًا، ثم تتوقف.نعم: كل قفزة تهدر طلبًا، والحلقات لا تنتهي أبدًا.
404، 410، ورموز 4xx أخرى (عدا 429)تعتبر المحتوى غير موجود، وتحذف الروابط المفهرسة مع الوقت، وتزحف إليها أقل.فقط إذا كان يجب أن توجد الصفحة.
401، 403مثل رموز 4xx الأخرى. لا تبطئ الزحف.نعم، إذا منعت Googlebot من صفحات عامة.
429تُعامل كإشارة إلى ضغط على الخادم، مثل 5xx.نعم: يتباطأ الزحف.
5xxتبطئ الزحف بما يتناسب مع الأخطاء. الروابط التي تستمر في الفشل تُحذف من الفهرس.نعم، دائمًا.

تفصيلان يوقعان فرقًا كثيرة. أولًا، الرمزان 401 و403 لا يخفضان معدل الزحف. إذا كان خادمك يعاني، فإن إعادة 403 إلى Googlebot لا تساعد؛ تطلب Google إعادة 503 أو 429 مؤقتًا بدلًا من ذلك. ثانيًا، الرمز 404 ليس عقوبة. إنه الجواب الصحيح لصفحة لم تعد موجودة.

فشل robots.txt هو الأخطر

يشرح توثيق تقرير Crawl Stats (Search Console Help) القاعدة. ملف robots.txt الذي يجيب 200 (حتى لو كان فارغًا) أو 403 أو 404 أو 410 (لا يوجد ملف) لا مشكلة فيه. أما الذي يجيب 429 أو 5xx فهو فشل، وعندها تتصرف Google بحذر.

ما تفعله Google عندما يستمر فشل robots.txt

أول 12 ساعةتوقف Google زحف الموقع بالكامل.
حتى 30 يومًاتستخدم Google آخر robots.txt جلبته بنجاح.
بعد 30 يومًايعتمد السلوك على ما إذا كانت الصفحة الرئيسية قابلة للوصول.

المصدر: Google Search Console Help، تقرير Crawl Stats

لذلك قد تؤدي قاعدة في شبكة توزيع المحتوى أو جدار حماية يعيد 503 على /robots.txt إلى تجميد موقعك كله لنصف يوم، حتى لو كانت كل الروابط الأخرى سليمة. افحص هذا الملف أولًا في أي تحقيق في أخطاء الزحف. يتناول دليلنا حول حالة "Blocked by robots.txt" المشكلة المعاكسة، عندما يعمل الملف لكنه يحظر أكثر من اللازم.

حدود زحف Google التي يجب تذكرها

10قفزات إعادة توجيه كحد أقصى تتبعها زواحف Google
12 ساعةتوقف الزحف عندما يعيد robots.txt رمز 5xx أو 429
30 يومًاتستمر Google في استخدام آخر robots.txt سليم
5%نسبة فشل DNS يومية مذكورة كمثال على مشكلة مضيف

المصادر: Google Search Central، رموز حالة HTTP وأخطاء الشبكة؛ Search Console Help، تقرير Crawl Stats

رسم توضيحي لزاحف يتتبع الروابط عبر موقع إلكتروني، مع بعض الصفحات المعطلة قيد الإصلاح
أخطاء الزحف هي النقاط التي ينقطع فيها مسار الزاحف عبر موقعك.

كل أنواع أخطاء الزحف، مشروحة مع إصلاحها

هذه هي القائمة الكاملة التي ستصادفها في Search Console وفي أدوات الزحف، مع سبب كل خطأ وإصلاحه. الأسماء مأخوذة من توثيق تقرير Page indexing (Search Console Help).

أخطاء DNS

لم تتمكن Google من تحويل اسم نطاقك إلى عنوان IP، أو لم يُجب خادم DNS. الأسباب الشائعة: نطاق منتهي الصلاحية، أو عطل لدى مزود DNS، أو سجل خاطئ بعد نقل الموقع، أو إعداد DNSSEC خاطئ. افحص ذلك باستعلام من خارج شبكتك:

dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec

الإصلاح: صحّح السجلات، وخفّض قيمة TTL قبل أي نقل، واستخدم مزود DNS لديه احتياطي. إذا كان example.com وwww.example.com موجودين، فيجب أن يُحلَّل كلاهما، حتى لو كان أحدهما يعيد التوجيه فقط.

أخطاء الاتصال بالخادم و5xx

لم يُجب الخادم في الوقت المحدد، أو أغلق الاتصال، أو أجاب بـ 500 أو 502 أو 503 أو 504. الأسباب المعتادة: قاعدة بيانات مثقلة، أو عملية PHP أو Node تنهار تحت الضغط، أو مهلة في الوكيل العكسي، أو تحديث إضافة، أو جدار حماية يحد من معدل الروبوتات. انظر إلى النمط الزمني: أخطاء في الساعة نفسها كل ليلة تشير غالبًا إلى نسخة احتياطية أو مهمة cron.

الإصلاح: اقرأ سجل أخطاء الخادم في الأوقات التي تذكرها Google، وارفع المهلات أو عدد العمليات، وخزّن الصفحات الثقيلة مؤقتًا، وتأكد من أن حماية الروبوتات تسمح بمرور Googlebot الموثّق. للصيانة المخطط لها، أعد 503 مع ترويسة Retry-After بدلًا من صفحة 200 تقول "سنعود قريبًا":

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

404 و410 (غير موجود)

الصفحة غير موجودة. لا مشكلة في ذلك إذا حُذفت عمدًا ولا شيء يربط إليها. تصبح مشكلة عندما لا يزال للرابط روابط خلفية أو زيارات أو روابط داخلية، أو عندما يجب أن توجد الصفحة وكسرها نشر جديد.

الإصلاح: إذا نُقل المحتوى، أضف إعادة توجيه 301 واحدة إلى أقرب مقابل. إذا اختفى نهائيًا، أبقِ 404 أو استخدم 410، واحذف الروابط الداخلية ومدخلات خريطة الموقع التي تشير إليه. لا تعد توجيه كل 404 إلى الصفحة الرئيسية أبدًا: تميل Google إلى معاملتها كـ soft 404.

Soft 404

يقول الخادم 200 لكن الصفحة تبدو فارغة أو تقول "غير موجود": فئة فارغة، أو صفحة بحث بلا نتائج، أو منتج نفد من المخزون بلا محتوى. تنفق Google طلبًا عليها ولا تحصل على شيء. نتناول هذا الخطأ بعمق في دليلنا حول أخطاء soft 404.

401 و403 ورموز 4xx أخرى

لا يرسل Googlebot بيانات اعتماد أبدًا، لذا فإن 401 أو 403 على صفحة عامة يعني أن خادمك أو طبقة أمان تحظره. المتهمون الشائعون: كلمة مرور بيئة الاختبار متروكة على الإنتاج، أو قاعدة WAF، أو حظر حسب الدولة، أو قاعدة حماية من الربط المباشر مطبقة على HTML. أصلح القاعدة لا العَرَض، واختبر باستخدام أداة URL Inspection في Search Console.

أخطاء إعادة التوجيه

تبلّغ Google عن خطأ إعادة توجيه عندما تصادف حلقة، أو سلسلة طويلة جدًا، أو رابطًا يتجاوز الطول الأقصى، أو رابطًا خاطئًا أو فارغًا في السلسلة. الحالة الكلاسيكية بعد نقل الموقع: من http إلى https، ثم إلى www، ثم إلى الشرطة المائلة الأخيرة، ثم إلى مسار جديد. أربع قفزات حيث تكفي واحدة. يشرح دليلنا الكامل حول إعادة التوجيه في السيو كيف تختصرها.

نصيحة

الصق أي رابط مشبوه في أداة فحص إعادة التوجيه المجانية من Sorank: تتبع السلسلة كاملة، وتعرض كل قفزة ورمز حالتها، وتخبرك أين الحلقة أو القفزة الزائدة.

انتهاء المهلة والاستجابات المقطوعة والصفحات الضخمة

بعض الأخطاء لا تُظهر أي رمز حالة. تبدأ الصفحة في التحميل ثم تتوقف، أو تكون ثقيلة جدًا فلا يقرأ الزاحف إلا جزءًا منها. تقرأ زواحف Google عددًا محدودًا من البايتات لكل ملف، لذا قد تفقد صفحة مثقلة بسكربتات مضمّنة أو صور base64 المحتوى في أسفلها. افحص القوالب الثقيلة باستخدام أداة فحص حجم الصفحة.

كل طرق اكتشاف أخطاء الزحف، مقارنة

لا توجد أداة واحدة تُظهر كل أخطاء الزحف. كل طريقة ترى المشكلة من زاوية مختلفة، والتدقيق الجاد يجمع بين اثنتين على الأقل.

الطريقة 1: Search Console، تقرير Crawl Stats

المبدأ: تعرض Google طلبات الزحف الخاصة بها خلال آخر 90 يومًا، مجمّعة حسب الاستجابة ونوع الملف والغرض ونوع Googlebot، إضافة إلى حالة المضيف لـ DNS والخادم وrobots.txt. متى تستخدمها: دائمًا، وأولًا، لأخطاء الموقع. المزايا: إنها الحقيقة الأساسية من Google نفسها. الحدود: متاحة فقط للخصائص على مستوى الجذر، وأمثلتها عيّنات، وتقول Google إن المواقع التي تقل عن ألف صفحة نادرًا ما تحتاجها. مثال: ارتفاع في استجابات "page timeout" كل يوم أحد عند الساعة 3 صباحًا يتزامن مع نسخ احتياطي لقاعدة البيانات.

صفحة مساعدة Google Search Console لتقرير Crawl Stats
توثيق Google لتقرير Crawl Stats، حيث تُشرح حالة المضيف لـ DNS والخادم وrobots.txt.

الطريقة 2: Search Console، تقرير Page indexing وأداة URL Inspection

المبدأ: يسرد الروابط التي تعرفها Google وسبب عدم فهرستها، مع أسباب مثل Server error (5xx) وRedirect error وNot found (404) وSoft 404. متى تستخدمها: لفرز أخطاء الروابط وللتحقق من الإصلاحات. المزايا: مرتبط بالصفحات التي حاولت Google جلبها فعلًا. الحدود: التقارير تتأخر أيامًا، وقوائم الأمثلة محدودة، ويخلط بين أخطاء الزحف وخيارات الفهرسة. مثال: 300 رابط تحت "Redirect error" تشترك كلها في البادئة القديمة /blog/ نفسها.

الطريقة 3: أداة زحف مكتبية أو سحابية

المبدأ: أداة مثل Screaming Frog تزحف إلى موقعك كما يفعل الروبوت، متتبعة الروابط من الصفحة الرئيسية، وتسجل كل رمز حالة وسلسلة إعادة توجيه ورابط معطل. متى تستخدمها: قبل نقل الموقع أو إعادة تصميمه أو نشر كبير وبعده، وشهريًا على المواقع الكبيرة. المزايا: فورية، وشاملة للصفحات المرتبطة، وتُظهر مكان كل رابط معطل. الحدود: لا تعرف ما طلبته Google فعلًا، وتفوتها الصفحات اليتيمة، وقد يعاملها خادمك بشكل مختلف عن Googlebot. يشرح دليل إعداد Screaming Frog تدقيقًا كاملًا خطوة بخطوة.

صفحة منتج Screaming Frog SEO Spider
يزحف Screaming Frog SEO Spider إلى موقعك مثل الروبوت ويسرد كل رمز حالة وسلسلة إعادة توجيه ورابط معطل.

الطريقة 4: تحليل سجلات الخادم

المبدأ: تسجل سجلات الوصول كل طلب، بما في ذلك طلبات Googlebot وBingbot وGPTBot وClaudeBot وPerplexityBot، مع رمز الحالة الدقيق وزمن الاستجابة. متى تستخدمها: على المواقع الكبيرة، وبعد انخفاضات غير مفسرة في الزيارات، ولمعرفة ما تزوره زواحف الذكاء الاصطناعي. المزايا: طلبات حقيقية، ورموز حقيقية، بلا عينات، ولكل الروبوتات. الحدود: تحتاج إلى الوصول إلى السجلات وبعض البرمجة؛ ويجب أن تتحقق من أن "Googlebot" هو Google فعلًا. يشرح دليلنا حول تحليل ملفات السجل للسيو الأمر خطوة بخطوة. نظرة أولى سريعة:

# Googlebot requests that did not return 200, 301 or 304, most frequent first
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50

الطريقة 5: فحوص سريعة لروابط مفردة

المبدأ: اختبر رابطًا واحدًا في كل مرة باستخدام curl أو أداة فحص مجانية على الإنترنت. متى تستخدمها: لتأكيد إصلاح، أو لفحص صفحة مهمة بعد نشر. المزايا: فورية ودقيقة. الحدود: لا تصلح للحجم الكبير. استخدم وكيل مستخدم Googlebot لاكتشاف القواعد التي تعامل الروبوتات بشكل مختلف:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
الطريقةترى أخطاء الموقعترى أخطاء الروابطبيانات Googlebot حقيقيةترى زواحف الذكاء الاصطناعيالأفضل لـ
تقرير Crawl Statsنعمعيّناتنعملاصحة المضيف
تقرير Page indexingجزئيًانعمنعملاالفرز والتحقق
أداة زحف (Screaming Frog...)لانعم، للصفحات المرتبطةلالاإيجاد الروابط المعطلة من مصدرها
سجلات الخادمجزئيًانعمنعمنعمالمواقع الكبيرة، الأسباب الجذرية
فحص رابط مفردلاواحدًا تلو الآخرلالاتأكيد الإصلاحات

أخطاء 5xx: اقرأ رمز الحالة لتحديد الطبقة التي تعطلت

تعني حالة 5xx أن الخادم لم يستطع معالجة طلب بدا صالحًا. تُبطئ Google الزحف استجابةً لذلك، ويزداد البطء كلما زاد عدد العناوين التي تعيد أخطاء. تحتفظ Google بالعناوين المفهرسة مدةً من الزمن، لكنها تزيل العناوين التي تعيد خطأ في الخادم بشكل متكرر. الانقطاع القصير قابل للتعافي، لأن Google ترفع معدل الزحف تدريجيًا حين يجيب خادمك برموز 2xx. أما الفترة الطويلة من الأخطاء فهي ما يضر بفهرسك.

الرمز يخبرك أي طبقة تعطلت

كل رمز 5xx يشير إلى جزء مختلف من المكدس. يعطيك الجدول أول مكان تنظر إليه لكل رمز.

الرمزما يعنيه عادةًانظر إليه أولًا
500فشل التطبيق أثناء معالجة الطلبسجل أخطاء التطبيق في الوقت الدقيق للطلب
502تلقّى الوكيل أو شبكة توصيل المحتوى (CDN) ردًا غير صالح من التطبيق، غالبًا لأنه تعطل أو أُعيد تشغيلهعمليات إعادة التشغيل ووقت تشغيل عملية التطبيق
503الخدمة مثقلة أو محدودة المعدل أو في وضع الصيانةرسوم الحمل وسجل النشر ونوافذ الصيانة
504الوكيل توقف عن انتظار التطبيقاستعلامات قاعدة البيانات البطيئة وإعدادات مهلة الوكيل
429أداة تحديد المعدل تقول إن الطلبات كثيرة جدًاقواعد تحديد المعدل، وهل تنطبق على Googlebot الموثّق

طابق طوابع Google الزمنية مع سجلاتك

يعرض تقرير Crawl Stats الأيام والساعات التي واجهت فيها Google أخطاء (يشرح دليل Crawl Stats كل رسم بياني). يُظهر سجل الخادم ما حدث في تلك اللحظات بالضبط. صفِّ طلبات Googlebot واحسب استجابات 5xx لكل ساعة:

grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c

كل سطر في المخرجات يمثل ساعةً ورمز حالة وعددًا. التجمع في الساعة نفسها كل ليلة يشير غالبًا إلى نسخة احتياطية أو مهمة مجدولة أو استيراد مجدول. أما الأخطاء الموزعة على اليوم كله فتشير غالبًا إلى الحمل، فيكون الحل في السعة أو التخزين المؤقت لا في خطأ برمجي واحد. لطريقة أعمق، راجع دليل تحليل ملفات السجل.

قِس تكلفة خطأ 5xx قبل الذعر

تخفض Google الزحف بما يتناسب مع عدد العناوين التي تعيد أخطاء. القالب المعطل الذي يؤثر في عدد قليل من العناوين يكلفك وقت زحف قليلًا. أما انقطاع قاعدة البيانات الذي يكسر كل صفحة فيكلفك كثيرًا، لذلك يجب إصلاحه أولًا.

يؤدي الخطأ 429 الأثر نفسه الذي يؤديه 5xx، لأن Google تقرؤه على أنه خادم مثقل. إذا كانت أداة تحديد المعدل أو حماية الروبوتات تعيد 429 إلى Googlebot، فأنت تدفع ثمن ذلك من وقت الزحف. لا تذكر وثائق Google ترويسة Retry-After. أبقِها لزوار البشر وعملاء الـ API، لكن لا تعتمد على أن Googlebot سينتظر المدة التي حددتها.

أخطاء 4xx: اعرف مصدرها قبل إصلاحها

تعني حالة 4xx أن الخادم رفض الطلب بسبب أمر يخص الطرف المرسل: العنوان غير موجود، أو الوصول ممنوع، أو صيغة العنوان خاطئة. تتعامل Google مع كل رمز 4xx باستثناء 429 بالطريقة نفسها. فهي تتوقف عن استخدام المحتوى خلف هذا العنوان، وتُخرجه من الفهرس إن كان مفهرسًا. قبل أن تلمس أي خطأ 4xx، اعرف من أين يأتي الطلب، لأن الإصلاح غالبًا ما يكون في مكان واحد: رابط، أو قالب، أو قاعدة إعادة توجيه.

اعثر على مصدر كل خطأ 4xx في سجلاتك

يسجّل سجل الوصول (access log) المُحيل لكل طلب، أي الصفحة التي أرسلت الزائر أو الروبوت إلى هذا العنوان. احسب استجابات 4xx حسب المسار وحسب المُحيل:

awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20

اقرأ عمود المُحيل على النحو التالي:

  • إذا كان المُحيل من نطاقك، فهذا يعني أن إحدى صفحاتك تربط بعنوان لا يعمل. أصلح الرابط أو القالب الذي ينتجه. هذا أهم إصلاح لأنك تتحكم فيه. يشرح دليلنا حول إصلاح الروابط المكسورة الطريقة الكاملة.
  • إذا كان المُحيل من موقع آخر، فهذا يعني أن رابطًا خارجيًا يشير إلى عنوان لم يعد يعمل. إن كان الرابط يستحق الاحتفاظ به، فأضف إعادة توجيه 301 واحدة إلى أقرب صفحة نشطة. وإن لم يكن كذلك، فاترك الخطأ 404 كما هو.
  • إذا كان المُحيل فارغًا، أو كان المسار صفحة لم تنشرها أبدًا، مثل صفحة تسجيل دخول على موقع ثابت، فغالبًا ما يكون روبوتًا أو ماسحًا جرّب العنوان. دعه يتلقى 404 ولا تُضِع وقتًا عليه.

راقب ارتفاع أخطاء 4xx مباشرة بعد كل إصدار

الإصدار الذي يعيد تسمية مسار، أو يغيّر slug، أو يعيد بناء قالب، ينتج غالبًا موجة من أخطاء 404 في اليوم نفسه. صدّر عدد استجابات 4xx اليومية للأسبوع الذي يسبق النشر وللأسبوع الذي يليه. القفزة المتركزة في مجلد واحد تشير مباشرة إلى التغيير. أضف إعادة التوجيه من العنوان القديم إلى الجديد في الإصدار نفسه، لا في تذكرة لاحقة. للنقل الكامل، راجع قائمة مراجعة ترحيل SEO.

نصيحة

لا تستبدل صفحة مفقودة باستجابة 200 تعرض رسالة قصيرة أو قائمة فارغة. قد تعاملها Google كـ soft 404، فتكلفك طلب جلب كامل دون أن تحصل على شيء.

خطوة بخطوة: أصلح أخطاء الزحف بالترتيب الصحيح

هذه هي الطريقة التي نستخدمها. تنتقل من الأخطاء التي قد توقف موقعك كله إلى تلك التي تهدر قليلًا من الزحف فقط.

طريقة أخطاء الزحف في 6 خطوات

  1. افحص حالة المضيفافتح Crawl Stats وانظر إلى DNS والاتصال بالخادم وrobots.txt خلال آخر 90 يومًا.
  2. صدّر أخطاء الروابط وجمّعهاصدّر كل سبب في Page indexing وجمّع الروابط حسب المجلد أو القالب.
  3. رتّب حسب القيمةاحتفظ بالروابط التي لها زيارات أو روابط خلفية أو روابط داخلية أو مدخلات في خريطة الموقع.
  4. أصلح السبب على مستوى القالبقاعدة واحدة أو خريطة توجيه واحدة أو إعداد خادم واحد يصلح مئات الروابط.
  5. نظّف الإشاراتحدّث الروابط الداخلية وخرائط الموقع لتشير إلى روابط 200 النهائية.
  6. تحقق وراقبانقر Validate fix، ثم راقب Crawl Stats وسجلاتك كل أسبوع.

الخطوة 1: افحص المضيف أولًا

في Search Console، افتح Settings، ثم Crawl stats، ثم Host status. الأخضر يعني لا مشكلة مهمة خلال 90 يومًا. "Recent issue" تعني مشكلة مهمة خلال الأسبوع الماضي: اترك كل شيء آخر. انقر على كل فئة لترى نسبة الفشل يوميًا، ثم طابق الأيام السيئة مع سجل الاستضافة وشبكة توزيع المحتوى وعمليات النشر.

الخطوة 2: صدّر وجمّع حسب النمط

افتح Indexing، ثم Pages، وصدّر كل سبب خطأ. لا تصلح الروابط واحدًا تلو الآخر. ضعها في جدول بيانات واستخرج المجلد الأول:

=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")

جدول محوري على هذا العمود يُظهر عادة أن معظم الأخطاء تأتي من قالبين أو ثلاثة: فئة مدونة متقاعدة، أو معامل تصفية، أو موجز منتجات قديم.

الخطوة 3: رتّب حسب القيمة التجارية

لكل نمط، اطرح أربعة أسئلة. هل يحصل على نقرات عضوية؟ هل له روابط خلفية؟ هل هو مرتبط داخليًا؟ هل هو في خريطة الموقع؟ رابط 404 لا يملك أيًا من الأربعة يمكنه الانتظار إلى الأبد. رابط 404 له روابط خلفية يحتاج إلى 301 اليوم. تُظهر أداة فحص الروابط المعطلة المجانية أيًا من صفحاتك لا تزال تربط إلى روابط ميتة.

الخطوة 4: أصلح السبب الجذري

أصلح القواعد لا الروابط. خريطة إعادة توجيه في إعدادات الخادم أفضل من 400 إعادة توجيه مضافة يدويًا في إضافة. مثال في nginx:

map $request_uri $new_uri {
    /old-blog/seo-tips/    /blog-geo-seo/seo-best-practices/;
    /old-blog/sitemaps/    /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
    if ($new_uri) { return 301 $new_uri; }
}

بالنسبة لـ 5xx، أصلح السعة أو الخلل. بالنسبة لـ 401 و403، أصلح قاعدة الأمان. بالنسبة لـ soft 404، أضف محتوى حقيقيًا أو أعد 404 حقيقيًا.

الخطوة 5: نظّف الروابط الداخلية وخرائط الموقع

يجب أن يشير كل رابط داخلي مباشرة إلى رابط يعيد 200. ويجب أن يكون كل مدخل في خريطة الموقع رابطًا معتمدًا قابلًا للفهرسة ويعيد 200. خريطة موقع مليئة بإعادات التوجيه و404 تعلّم Google أن تثق بها أقل. يشرح دليلنا حول كيفية إنشاء خريطة موقع ما ينتمي إليها.

الخطوة 6: تحقق وراقب

في تقرير Page indexing، افتح السبب الذي أصلحته وانقر Validate fix. تفحص Google أولًا عيّنة، ثم الباقي؛ يستغرق ذلك عادة حتى أسبوعين تقريبًا، ويتوقف إذا استمر فشل رابط واحد فقط. لا تنقر مرة أخرى أثناء التشغيل. ثم ضع روتينًا أسبوعيًا: Crawl Stats للمضيف، والسجلات للارتفاعات المفاجئة، وزحف بعد كل نشر.

سلسلة إعادة توجيه قبل الإصلاح وبعده

قبل
  • http://site.com/page
  • 301 إلى https://site.com/page
  • 301 إلى https://www.site.com/page
  • 301 إلى https://www.site.com/page/
  • الروابط الداخلية لا تزال تشير إلى الرابط الأول
بعد
  • 301 واحدة مباشرة إلى https://www.site.com/page/
  • الروابط الداخلية محدّثة إلى الرابط النهائي
  • خريطة الموقع تسرد الرابط النهائي فقط
  • طلب واحد بدلًا من أربعة

الأخطاء الشائعة، وكيف تكتشفها وتصححها

الخطأ 1: إعادة توجيه كل 404 إلى الصفحة الرئيسية

ما هو: إضافة أو قاعدة ترسل أي رابط مفقود إلى /. كيف تكتشفه: روابط كثيرة في "Soft 404" أو "Page with redirect" تنتهي كلها في الصفحة الرئيسية؛ وأداة الزحف تُظهر مئات من 301 بالهدف نفسه. كيف تصلحه: أعد التوجيه فقط إلى مقابل قريب، واترك الباقي يعيد 404 أو 410.

الخطأ 2: حظر Googlebot بأدوات الأمان

ما هو: جدار حماية تطبيقات (WAF) أو مدير روبوتات أو محدد معدل يقدّم 403 أو 429 أو صفحة تحدٍّ إلى Google. كيف تكتشفه: رموز 403 أو 429 في Crawl Stats، بينما تُحمَّل الصفحة جيدًا في متصفحك؛ وتُظهر السجلات الحظر حسب عنوان IP. كيف تصلحه: اسمح بـ Googlebot الموثّق، باستخدام DNS العكسي أو نطاقات IP التي تنشرها Google، بدلًا من الوثوق بسلسلة وكيل المستخدم.

الخطأ 3: ملف robots.txt هش

ما هو: ملف robots.txt يولّده التطبيق، فيفشل كلما فشل التطبيق، أو يُقدَّم عبر قاعدة في شبكة توزيع المحتوى تخزّن 5xx مؤقتًا. كيف تكتشفه: فئة جلب robots.txt في Host status ليست خضراء. كيف تصلحه: قدّمه كملف ثابت خارج التطبيق، واختبره باستخدام أداة فحص robots.txt.

الخطأ 4: صفحات صيانة تعيد 200

ما هو: صفحة "سنعود قريبًا" تُقدَّم برمز 200 على كل الروابط. كيف تكتشفه: بعد الصيانة، موجة من soft 404 أو عناوين مكررة. كيف تصلحه: أعد 503 مع Retry-After أثناء الصيانة، واجعلها قصيرة.

الخطأ 5: استخدام 403 لإبطاء Google

ما هو: الإجابة بـ 403 على Googlebot عندما يكون الخادم مثقلًا. كيف تكتشفه: ارتفاعات في 403 تتزامن مع ارتفاعات الضغط. كيف تصلحه: تقول Google إن رموز 4xx غير 429 لا تأثير لها على معدل الزحف. أعد 503 أو 429 لفترة قصيرة، وأصلح السعة.

الخطأ 6: إصلاح الأخطاء واحدًا تلو الآخر

ما هو: النقر على قائمة Search Console وتعديل كل رابط. كيف تكتشفه: السبب نفسه يعود كل شهر. كيف تصلحه: جمّع حسب النمط، وأصلح القالب أو القاعدة، ثم تحقق مرة واحدة.

الخطأ 7: الذعر من 404 غير ضارة

ما هو: إنفاق أيام على 404 لروابط مزعجة أو صفحات محذوفة منذ زمن بلا روابط. كيف تكتشفه: الروابط بلا نقرات ولا روابط خلفية ولا روابط داخلية. كيف تصلحه: اتركها. تقول Google إن 404 لصفحة محذوفة ليست بالضرورة مشكلة.

تحذير

لا تحظر أبدًا رابطًا في robots.txt "لإخفاء" خطأ زحف. لن تعود Google قادرة على رؤية 404 أو إعادة التوجيه، وقد يبقى الرابط مفهرسًا، وتفقد الإشارة التي كنت تحاول إرسالها.

أخطاء الزحف وميزانية الزحف

على موقع ببضع مئات من الصفحات، لدى Google وقت لكل شيء، وأخطاء الزحف تهم أساسًا للصفحات التي تكسرها. على المواقع الكبيرة (متاجر بفلاتر، أسواق إلكترونية، أخبار)، كل طلب فاشل أو مهدر يأخذ وقتًا من صفحاتك الحقيقية. هذه هي الفكرة وراء ميزانية الزحف.

كيف تستهلك الأخطاء سعة الزحف

تجعل 5xx و429 Google تبطئ على مستوى المضيف كله، لذا قد تؤخر بضعة قوالب معطلة زحف صفحات منتجاتك الجديدة. سلاسل إعادة التوجيه تكلف طلبًا لكل قفزة. وsoft 404 تكلف جلبًا كاملًا ولا تعطي شيئًا. أصلح هذه الثلاثة وستغطي الميزانية نفسها صفحات مفيدة أكثر.

ما علاقة "Discovered, not indexed" بذلك

عندما تجد Google روابط لكنها تؤجل زحفها، يكون السبب غالبًا خادمًا تعتبره هشًا. إذا رأيت عدد "Discovered, currently not indexed" يتزايد مع أخطاء خادم في Crawl Stats، أصلح الخادم أولًا. التقريران يرويان القصة نفسها.

أخطاء الزحف لدى زواحف الذكاء الاصطناعي

لم يعد Googlebot الزائر الوحيد المهم. تجلب GPTBot وOAI-SearchBot وClaudeBot وPerplexityBot الصفحات لتدريب النماذج أو للإجابة عن الأسئلة في الوقت الفعلي. تزور الخادم نفسه، وتعاني من الأخطاء نفسها، مع فرق واحد: لا يوجد Search Console لها.

ما الذي يتغير مع روبوتات الذكاء الاصطناعي

معظم زواحف الذكاء الاصطناعي لا تشغّل JavaScript، لذا قد تبدو لها صفحة تبني محتواها في المتصفح فقط فارغة، وهي نوع من soft 404 لن تراه أبدًا في تقارير Google. كثير منها محظور افتراضيًا من خدمات حماية الروبوتات، غالبًا برمز 403. ولأنها تجلب الصفحات عند الطلب عندما يطرح مستخدم سؤالًا، فإن انتهاء المهلة في تلك اللحظة يعني أن الإجابة تستشهد بشخص آخر. يتناول دليلنا حول سيو JavaScript العرض لكل من زواحف البحث والذكاء الاصطناعي.

كيف تراقبها

سجلات خادمك هي المصدر الموثوق الوحيد. صفِّ حسب وكيل المستخدم وانظر إلى رموز الحالة:

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

إذا حصلت روبوتات الذكاء الاصطناعي على 403 لم تقصدها، أصلح القاعدة. ثم تحقق مما إذا كانت تستشهد بك فعلًا: تتابع ميزة تتبع الإشارات في الذكاء الاصطناعي من Sorank عدد مرات ذكر ChatGPT وGemini وClaude وPerplexity لعلامتك التجارية، فترى إن كان إصلاح الزحف يغيّر شيئًا.

قائمة فحص صحة الزحف

شغّل هذه القائمة بعد كل نقل للموقع أو إعادة تصميم أو نشر كبير، ومرة في الشهر على المواقع الكبيرة.

قائمة فحص صحة الزحف

  • حالة المضيف خضراء لـ DNS والاتصال بالخادم وrobots.txt
  • robots.txt يُقدَّم كملف ثابت ويعيد 200
  • لا ارتفاعات في 5xx أو 429 في Crawl Stats أو السجلات
  • Googlebot الموثّق وروبوتات الذكاء الاصطناعي المرغوبة غير محظورة في جدار الحماية
  • كل إعادة توجيه قفزة واحدة، 301 أو 308، إلى صفحة 200
  • الروابط الداخلية تشير إلى روابط 200 النهائية
  • خرائط الموقع تسرد فقط روابط معتمدة قابلة للفهرسة تعيد 200
  • روابط 404 ذات الروابط الخلفية أو الزيارات موجّهة إلى مقابل قريب
  • الصفحات الفارغة مصلحة أو تعيد 404 حقيقيًا
  • الصيانة تعيد 503 مع Retry-After
  • Validate fix مطلوب لكل سبب مُصلَح

ماذا تفعل اليوم

افتح Crawl Stats وافحص أسطر حالة المضيف الثلاثة. ثم شغّل أداة فحص قابلية الفهرسة المجانية على أهم خمس صفحات لديك. إذا كان كلاهما نظيفًا، صدّر أخطاء Page indexing وجمّعها حسب المجلد: صار لديك الآن قائمة إصلاح قصيرة ومرتبة بدلًا من تقرير مخيف.

بمجرد أن يصبح الزحف نظيفًا، يصبح الحد التالي هو المحتوى نفسه. تعيد ميزة تحسين المحتوى من Sorank كتابة صفحاتك الحالية وتحديثها بنظام autopilot، فتصبح الصفحات التي يمكن لـ Google الوصول إليها الآن جديرة بالفهرسة والاستشهاد. أما الصفحات التي زحفت إليها Google وتركتها، فاقرأ دليلنا حول "Crawled, currently not indexed".

الأسئلة الشائعة

ما هي أخطاء الزحف في السيو؟

أخطاء الزحف هي طلبات محرك بحث أو زاحف ذكاء اصطناعي التي تفشل: DNS لا يحلل النطاق، أو الخادم يتأخر أو يعيد 5xx، أو يتعذر جلب robots.txt، أو تدور إعادة توجيه في حلقة، أو تعيد الصفحة رمز 4xx. أخطاء مستوى الموقع قد توقف زحف الموقع كله، بينما لا تصيب أخطاء الروابط إلا الصفحة المعنية.

هل أخطاء 404 سيئة للسيو؟

ليست كذلك بحد ذاتها. تقول Google إن 404 لصفحة حُذفت دون بديل ليست بالضرورة مشكلة. تصبح مشكلة عندما يكون للرابط روابط خلفية أو زيارات أو روابط داخلية، وعندها يكون الإصلاح الصحيح إعادة توجيه 301 واحدة إلى مقابل قريب.

كم من الوقت تحتاج Google لترى أن أخطاء الزحف أُصلحت؟

بعد النقر على Validate fix في تقرير Page indexing في Search Console، يستغرق التحقق عادة حتى أسبوعين تقريبًا. تفحص Google أولًا عيّنة من الروابط ثم الباقي، وتتوقف إذا استمر فشل رابط واحد معني.

احصل على خطة محتوى لمدة 30 يومًا مجانًا

نحلّل منافسيك وموقعك وظهورك في الذكاء الاصطناعي لنعدّ لك خطة محتوى مخصّصة مجانًا.

أدواتنا المجانية لتحسين محركات البحث

عرض جميع أدواتنا المجانية

احصل على خطة محتوى لمدة 30 يومًا مجانًا

نحلّل منافسيك وموقعك وظهورك في الذكاء الاصطناعي لنعدّ لك خطة محتوى مخصّصة مجانًا.

صورة أحد مستخدمي Sorankصورة أحد مستخدمي Sorankصورة أحد مستخدمي SorankCelio Fabianoصورة إحدى مستخدمات Sorankصورة الملف الشخصي للعميل Xavier Breull
Google
نجمةنجمةنجمةنجمةنجمة
5/5
+5,000
مستخدم

شهادات من رواد أعمال طموحين

من 0 إلى 10000 زائر في 5 أشهر

Celio Fabianomonrobotlavevitre.frGoogleالتجارة الإلكترونية

من 0 إلى 5000 زيارة في 8 أشهر

Thibault BMsorank.comGoogleبرمجيات

من 0 إلى 1104 نقرة في 4 أشهر

Dominiqueflight-sensations-idf.comGoogleالترفيه والطيران

من 0 إلى 163 نقرة خلال 6 أشهر

Coworking Pariscoworking-paris.frGoogleOffice broker

x92 نقرة في 7 أشهر

Guide Zanzibarguidezanzibar.comGoogleالسفر