محظورة بواسطة ملف robots.txt: ماذا تعني هذه الحالة في Search Console وكيف تصلحها

تظهر حالة محظورة بواسطة ملف robots.txt في تقرير فهرسة الصفحات في Google Search Console، ضمن أسباب عدم فهرسة الصفحات. ويصفها توثيق تقرير فهرسة الصفحات في سطر واحد: حُظرت الصفحة بواسطة ملف robots.txt الخاص بموقعك. وخلف هذا السطر حالتان مختلفتان تمامًا، حظر سليم وحظر عن طريق الخطأ، إضافةً إلى حالة قريبة مربكة: «تمت فهرستها على الرغم من حظرها بواسطة ملف robots.txt». يوضح هذا الدليل كيف تميّز بينها وتصلح كل حالة دون أن تفسد شيئًا آخر. وإذا كان الملف نفسه جديدًا عليك، فابدأ بتعريفنا لملف robots.txt.

ماذا تعني «محظورة بواسطة ملف robots.txt» في Search Console؟

يوجد ملف robots.txt في جذر المضيف (example.com/robots.txt) ويخبر برامج الزحف بالمسارات المسموح لها بجلبها. عندما يعثر Googlebot على عنوان URL، عبر رابط أو خريطة موقع، يتحقق من هذا الملف أولًا. وإذا طابقت قاعدة Disallow المسار بالنسبة إلى وكيل المستخدم الخاص به، فإنه لا يجلب الصفحة. عندها يدرج Search Console العنوان تحت «محظورة بواسطة ملف robots.txt».

ينتج عن ذلك أمران. لا يرى Google محتوى الصفحة ولا عنوانها ولا روابطها الداخلية ولا أي وسم meta فيها. ولأنه لا يقرأ الصفحة أبدًا، فهو لا يرى وسم noindex أيضًا. وتُدرج الحالة ضمن أسباب عدم الفهرسة، وهي لمعظم المواقع معلوماتية فقط: إذ يشير Google نفسه إلى أن العناوين المحظورة بواسطة robots.txt محظورة على الأرجح عن قصد.

تبدأ المشكلة عندما تضم القائمة صفحات تريد ظهورها في Google: صفحات المنتجات أو المقالات أو الفئات، أو الموقع كله بعد عملية نقل. في هذه الحالة يكون الحظر سببًا مباشرًا في أن الموقع لا يظهر في Google، وهو من أسرع المشكلات التقنية إصلاحًا.

«محظورة بواسطة ملف robots.txt» أم «تمت فهرستها على الرغم من حظرها»؟

تبدو الحالة الثانية متناقضة، وهي الأكثر إثارة لقلق أصحاب المواقع. وتشرحها مقدمة Google عن robots.txt: ملف robots.txt ليس وسيلة لإبقاء صفحة خارج Google. فإذا كانت صفحات أخرى ترتبط بعنوان محظور، يمكن لـ Google فهرسة العنوان نفسه دون الزحف إليه. وتعرض النتيجة حينها العنوان بلا وصف، لأن Google لم يقرأ النص قط.

المفتاح أن تقرر أولًا ما تريده لكل عنوان: مفهرس أم غير مفهرس. فملف robots.txt يجيب عن سؤال آخر (يُزحف إليه أم لا)، والخلط بين السؤالين هو مصدر معظم الأخطاء.

لماذا تُحظر صفحاتك بواسطة robots.txt؟

ترجع معظم حالات الحظر غير المقصود إلى أسباب قليلة. افحصها بهذا الترتيب:

• قاعدة من بيئة الاختبار انتقلت إلى الموقع الفعلي. تحمي Disallow: / موقع اختبار، ثم تنتقل مع الإطلاق فتحظر كل شيء.
• إعداد في نظام إدارة المحتوى. يتضمن WordPress خيار «منع محركات البحث من أرشفة هذا الموقع»، ولدى منصات أخرى مفاتيح مشابهة تعدّل robots.txt أو تضيف ترويسات.
• قاعدة أوسع من المقصود. تحظر Disallow: /p المسارين /products/ و/pricing/ تمامًا كما تحظر /p/، لأن قواعد robots.txt تطابق بداية المسار.
• أحرف البدل. يطابق * أي تسلسل من الأحرف، ويحدد $ نهاية العنوان. وتحظر Disallow: /*? كل عنوان يحتوي على معاملات، ومنها صفحات الترقيم أو التصفية التي تريد فهرستها.
• موارد محظورة. حظر /assets/ أو /wp-includes/ يخفي ملفات CSS وJavaScript التي يحتاجها Google لعرض الصفحة، فيضعف فهمه لمحتواك.
• نقل الموقع. تتغير المسارات، أو يبقى ملف robots.txt القديم، أو تقدم الاستضافة الجديدة ملفها الافتراضي.
• المضيف الخطأ. لكل نطاق فرعي ولكل بروتوكول ملفه الخاص: قواعد www.example.com لا تنطبق على shop.example.com.

تذكّر أن Google يتبع القاعدة الأكثر تحديدًا (أطول مسار مطابق)، وعندما تتساوى قاعدتا Allow وDisallow في التحديد تفوز القاعدة الأقل تقييدًا. لذا يمكن لقاعدة Allow: /blog/ موجّهة أن تعيد فتح مجلد يقع تحت حظر أوسع.

كيف تصلح «محظورة بواسطة ملف robots.txt» خطوة بخطوة

1. صدّر العناوين المتأثرة

في Google Search Console افتح «الفهرسة» ثم «الصفحات»، وانقر على صف «محظورة بواسطة ملف robots.txt». صدّر القائمة ورتّبها حسب المجلد. غالبًا ما يظهر نمط خلال دقيقة: مجلد واحد أو معامل واحد أو نطاق فرعي واحد.

2. افصل الحظر المقصود عن الأخطاء

صنّف كل نمط إلى «يبقى محظورًا» أو «يجب أن يكون في Google». السلال وصفحات الدفع وحسابات العملاء ونتائج البحث الداخلي ومناطق الإدارة تنتمي إلى المجموعة الأولى. وكل ما يجيب عن استعلام بحث أو يحصل على روابط أو يرد في خريطة موقع XML ينتمي إلى الثانية. والعنوان الموجود في خريطة الموقع والمحظور في آن واحد تناقض يجب حله.

3. اعثر على القاعدة المطابقة

افتح أداة فحص عنوان URL على عنوان نموذجي: ستوضح ما إذا كان الزحف مسموحًا. ثم اقرأ الملف المنشور، أو الصق العنوان في أداة فحص robots.txt المجانية لدينا لترى أي سطر يحظره ولأي وكيل مستخدم.

4. عدّل الملف

احذف القاعدة أو ضيّقها، أو أضف قاعدة Allow أكثر تحديدًا. اجعل التغيير في حده الأدنى واختبره على عنوان تريد إلغاء حظره وعلى عنوان يجب أن يبقى محظورًا. وإذا كان الملف فوضويًا، فأنشئ نسخة نظيفة باستخدام مولّد robots.txt لدينا وقارن قبل النشر.

5. اجعل Google يقرأ الملف الجديد

يحتفظ Google عادةً بنسخة robots.txt في ذاكرة التخزين المؤقت لمدة تصل إلى 24 ساعة، وفق مواصفات robots.txt. ولتسريع ذلك، افتح «الإعدادات» ثم تقرير robots.txt في Search Console (متاح للمواقع على مستوى النطاق)، واطلب إعادة الزحف إلى الملف. بعد ذلك اطلب فهرسة أهم العناوين التي ألغيت حظرها من أداة فحص عنوان URL.

6. تحقّق وراقب

انقر على «التحقق من الإصلاح» في صفحة المشكلة. قد يستغرق التحقق من عدة أيام إلى بضعة أسابيع، وتُفحص العناوين الجديدة كلما أعاد Google الزحف إليها. ويشرح دليلنا حول الفهرسة في Google ما يحدث بعد الزحف، حين يقرر Google ما إذا كانت الصفحة تستحق البقاء.

كيف تصلح «تمت فهرستها على الرغم من حظرها بواسطة ملف robots.txt»

يعتمد الإصلاح على ما تريده للصفحة:

1. تريد الصفحة في Google. ألغِ الحظر. سيزحف Google إلى الصفحة ويقرأ محتواها ويعرض نتيجة عادية بعنوان ووصف.
2. لا تريد الصفحة في Google. ألغِ الحظر أيضًا، ثم أضف <meta name="robots" content="noindex"> في قسم head، أو ترويسة HTTP X-Robots-Tag: noindex لملفات PDF وغيرها. وبعد أن يعيد Google الزحف إلى الصفحة ويزيلها، يمكنك حظرها مجددًا إذا كان حجم الزحف مهمًا، وهو أمر لا تحتاجه معظم المواقع. ويشرح تعريفنا لوسم noindex الخيارات المتاحة.
3. لا ينبغي أن تكون الصفحة عامة. احمها بكلمة مرور أو احذفها (404 أو 410). فلا robots.txt ولا noindex إجراءات أمان.

في التنقل متعدد المرشحات الذي يضم آلاف عناوين التصفية، قد يبقى الحظر في robots.txt الأداة المناسبة لتوفير ميزانية الزحف. ويكون تحذير «تمت فهرستها على الرغم من حظرها» على بعض هذه العناوين مقبولًا عندئذ، ما دامت النسخ الأساسية من فئاتك قابلة للزحف ومفهرسة.

كيف تتأكد من نجاح الإصلاح

تؤكد ثلاث إشارات نجاح الإصلاح. يعرض فحص العنوان المنشور «الزحف مسموح: نعم». وينخفض عدد الصفحات المحظورة في تقرير فهرسة الصفحات خلال الأسابيع التالية. وتبدأ الصفحات التي ألغيت حظرها في جمع مرات ظهور في تقرير الأداء. كما يكشف فحص سريع عبر أداة فحص قابلية الفهرسة لدينا العوائق الأخرى التي ترافق غالبًا أخطاء robots.txt: وسم noindex منسي، أو وسم أساسي خاطئ، أو إعادة توجيه.

المراقبة مهمة لأن هذه الأخطاء تعود. فتحديث القالب أو إضافة أو نص برمجي للنشر قد يعيد كتابة robots.txt دون أن يلاحظ أحد. ومتابعة الصفحات التي تنخفض نقراتها ومرات ظهورها فجأة هي أسرع إنذار مبكر.

تتصل لوحة GEO وSEO من Sorank بـ Search Console وتعرض هذه الصفحات الصاعدة والهابطة في عرض واحد، فيظهر الحظر الذي دخل مع عملية نشر كمجموعة عناوين متراجعة، لا كخسارة بطيئة غير مفهومة.

robots.txt وبرامج زحف الذكاء الاصطناعي وGEO

صار لملف robots.txt جمهور ثانٍ: برامج الزحف التابعة لمساعدي الذكاء الاصطناعي. إذ تنشر OpenAI وAnthropic وPerplexity وGoogle وكلاء مستخدم خاصين بها (GPTBot وOAI-SearchBot وClaudeBot وPerplexityBot وGoogle-Extended) تحترم robots.txt. والقاعدة الموجهة إلى أحدها، أو الحظر العام User-agent: *، هما ما يحدد إن كان ChatGPT أو Claude أو Perplexity قادرًا على قراءة صفحاتك حين يبحث في الويب لبناء إجابة.

ينطبق المنطق نفسه كما مع Google: قرر لكل روبوت ما تريده. فحظر برامج زحف التدريب مع السماح لبرامج زحف البحث حل وسط شائع، ويسرد دليلنا حول robots.txt لبرامج زحف الذكاء الاصطناعي وكلاء المستخدم والقواعد الخاصة بكل منها. ويشرح مدخل المسرد حول برامج زحف الذكاء الاصطناعي دور كل روبوت.

لمعرفة أثر هذه الخيارات، تابع الأسئلة المهمة لنشاطك. إذ تُظهر متابعة الإشارات في الذكاء الاصطناعي من Sorank ما إذا كان ChatGPT أو Gemini أو Claude يستشهد بموقعك، ومن هم المنافسون الذين يستشهد بهم بدلًا منك.

القاعدة التي يجب تذكرها

يحدد robots.txt ما يحق لبرامج الزحف قراءته، ويحدد noindex ما يحق لنتائج البحث عرضه. احصر الحظر في المناطق التي لا قيمة بحثية لها، ولا تحظر أبدًا صفحة تريد فهرستها أو إخراجها من الفهرس، وراجع تقرير فهرسة الصفحات بعد كل عملية نقل أو نشر. معظم مشكلات «محظورة بواسطة ملف robots.txt» تُحل في دقائق بمجرد العثور على القاعدة المسؤولة، ولوحة Search Console في Sorank تساعدك على رصد المشكلة التالية قبل أن تكلفك زيارات.