Robots.txt: التحكم في طريقة زحف Googlebot

Robots.txt هو ملف بسيط لكنه قوي يتحكم في طريقة زحف محركات البحث لموقعك. يقع على العنوان `https://example.com/robots.txt` ويحتوي على قواعد تحدد أي الصفحات والمجلدات يمكن لـ Google وBing وروبوتات أخرى زحفها. يساعدك Robots.txt على إدارة ميزانية الزحف (عدد الصفحات التي يزحفها Google يومياً)، ويمنع إهدار الزحف على صفحات غير مهمة، ويبقي المحتوى الخاص بعيداً عن نتائج البحث.

تمتلك معظم المواقع ملف robots.txt، لكن الكثير منها معدّ بشكل خاطئ. يمكن لملف robots.txt المعدّ بشكل خاطئ أن يحظر بالخطأ صفحات مهمة، مما يهدر إمكانات الترتيب. يحسّن ملف robots.txt المعدّ بشكل صحيح كفاءة الزحف ويحمي خصوصية موقعك. يغطي هذا الدليل بنية robots.txt وأفضل الممارسات وأمثلة واقعية.

ما هو Robots.txt وكيف تستخدمه محركات البحث

Robots.txt هو ملف نصي موحّد ينقل تعليمات الزحف إلى روبوتات محركات البحث. عندما يزور روبوت موقعك للمرة الأولى، فإنه يطلب `/robots.txt` قبل زحف أي شيء آخر. يقرأ الروبوت القواعد ويتبعها (بافتراض أن الروبوت يتصرف بشكل سليم).

توثيق Google لملف robots.txt هو المرجع الرسمي لهذا المعيار. تم إنشاء تنسيق robots.txt عام 1994 وتم اعتماده على نطاق واسع. تحترم جميع محركات البحث الرئيسية (Google وBing وBaidu) ملف robots.txt.

مهم: Robots.txt هو إرشاد، وليس جداراً نارياً. تحترم الروبوتات ذات السلوك السليم (Google وBing) قواعد robots.txt. أما الروبوتات الخبيثة وأدوات الاستخراج فتتجاهل robots.txt. استخدم robots.txt لإدارة زحف محركات البحث، وليس لحظر القراصنة أو أدوات الاستخراج. للأمان، استخدم أدوات على مستوى الخادم.

بنية Robots.txt والقواعد الأساسية

يستخدم Robots.txt بنية نصية بسيطة. يتكون كل قاعدة من جزأين: User-agent (الروبوت الذي تنطبق عليه القاعدة) ومسارات Disallow (الصفحات المراد حظرها).

مثال أساسي:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

يخبر هذا جميع الروبوتات (`*` تعني الجميع) بعدم زحف المجلدين `/admin/` و`/staging/`. يخبر سطر Sitemap الروبوتات بمكان وجود خريطة الموقع الخاصة بك.

User-agent: \* تعني جميع الروبوتات. يمكنك أيضاً تحديد روبوتات معينة:

ينطبق `User-agent: Googlebot` على روبوت Google فقط. وينطبق `User-agent: Bingbot` على روبوت Bing فقط. يمكنك تضمين عدة أقسام User-agent بقواعد مختلفة.

Disallow: /path/ يخبر الروبوتات بعدم زحف ذلك المسار. Disallow: / يحظر الموقع بأكمله. Disallow: (فارغ) يسمح بكل شيء. يمكنك إدراج عدة قواعد Disallow لكل User-agent.

Allow: /path/ يسمح بزحف مسار معين حتى لو كان المجلد الأصل محظوراً. مثال: Disallow: /temp/ لكن Allow: /temp/important/ يسمح بزحف المجلد الفرعي /important/ فقط.

الأنماط الشائعة في Robots.txt

النمط 1: حظر صفحات الإدارة

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

يحظر هذا زحف صفحات الإدارة والمستخدمين والحسابات. عادة ما لا تكون هذه الصفحات مخصصة لمحركات البحث.

النمط 2: حظر بيئة staging

User-agent: *
Disallow: /staging/
Disallow: /test/

يمنع الروبوتات من زحف نسخ الاختبار أو staging من موقعك.

النمط 3: حظر أنواع ملفات معينة

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

يمنع الروبوتات من زحف ملفات PDF وZIP. هذا مفيد إذا كان لديك العديد من ملفات PDF التي لا ينبغي فهرستها.

النمط 4: إبطاء الروبوتات التي تثقل كاهل خادمك

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

يحظر بشكل كامل روبوت Ahrefs (إذا كنت لا ترغب في أن تزحف أدوات SEO موقعك). يبطئ روبوت Semrush بإضافة تأخير مدته 10 ثوانٍ بين الطلبات. يُعد Crawl-delay مفيداً للروبوتات العدوانية التي تثقل كاهل خادمك.

النمط 5: السماح بكل شيء (الوضع الافتراضي)

User-agent: *
Disallow:

هذا هو الوضع الافتراضي. Disallow فارغ يعني السماح بكل شيء. يمكنك أيضاً حذف robots.txt بالكامل إذا كنت تريد أن يكون كل المحتوى قابلاً للزحف.

Robots.txt مقابل Meta Robots Noindex

يحظر Robots.txt الزحف. بينما يحظر Meta robots noindex الفهرسة. يخدم كل منهما غرضاً مختلفاً.

استخدم robots.txt عندما: ترغب في توفير ميزانية الزحف. لديك محتوى مكرر لا ينبغي زحفه. لديك صفحات إدارة لا ينبغي أن تلمسها الروبوتات. ترغب في إبطاء الروبوتات العدوانية.

استخدم meta robots noindex عندما: ترغب في أن يتم زحف صفحة ما دون فهرستها (لرؤية الأخطاء والمشكلات). ترغب في منع الفهرسة مع السماح بالروابط الداخلية والزحف. ترغب في إزالة صفحة من البحث في نهاية المطاف مع إبقائها منشورة.

مثال: يمكن حظر الصفحات المرقمة مثل `/products?page=2` في robots.txt لتوفير ميزانية الزحف (نظراً لأن Google يوحّد عادةً الترقيم). لكن قد ترغب في زحفها لتحديد علاقات canonical. في هذه الحالة، استخدم canonicals بدلاً من robots.txt.

إدارة ميزانية الزحف باستخدام Robots.txt

ميزانية الزحف هي عدد عناوين URL التي يزحفها Google يومياً في موقعك. لا يمكن للمواقع الكبيرة التي تضم ملايين الصفحات أن يتم زحف جميع صفحاتها يومياً. يخصص Google ميزانية الزحف بناءً على سلطة موقعك وتكرار التغييرات فيه. ميزانية الزحف محدودة. إهدارها على صفحات غير مهمة يعني زحف الصفحات المهمة بوتيرة أقل.

حسّن ميزانية الزحف من خلال حظر الصفحات التي لا ينبغي زحفها: المحتوى المكرر، ونتائج البحث المرقمة، وصفحات حساب المستخدم، وصفحات الاختبار. كل صفحة تحظرها تمنح Google ميزانية إضافية لزحف المحتوى المهم لديك.

مهدرات ميزانية الزحف الشائعة: الترقيم اللانهائي (تُنشئ مرشحات المنتجات عناوين URL غير محدودة)، والمحتوى المكرر بمعاملات مختلفة، ومعرّفات الجلسة (session) المُضافة إلى كل عنوان URL، وصفحات التقويم/الأحداث التي تُنشئ عناوين URL لا نهائية. استخدم robots.txt لحظر هذه الأنماط.

تعرض Google Search Console إحصاءات الزحف الخاصة بموقعك. راقب طلبات الزحف يومياً. إذا كان Google يزحف نفس الصفحات بشكل متكرر دون اكتشاف محتوى جديد، راجع ملف robots.txt واستراتيجية الحظر لديك.

Sitemap داخل Robots.txt

أدرج عنوان URL الخاص بخريطة موقعك في robots.txt. أضف `Sitemap: https://example.com/sitemap.xml` في نهاية ملف robots.txt الخاص بك. يخبر هذا Google بمكان العثور على خريطة موقعك بصيغة XML. يمكنك إدراج عدة خرائط مواقع إذا كان لديك عدة ملفات.

مثال:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

إدراج خرائط المواقع في robots.txt أمر اختياري (يمكنك إرسال خرائط المواقع عبر Google Search Console)، لكنه يُعد من أفضل الممارسات.

اختبار والتحقق من صحة Robots.txt

تحتوي Google Search Console على أداة لاختبار robots.txt. انتقل إلى Settings > Crawling > Test robots.txt. أدخل عنوان URL وشاهد ما إذا كان robots.txt يحظره. هذا أمر بالغ الأهمية للتحقق من قواعدك قبل النشر.

اختبر دائماً قبل نشر تغييرات robots.txt. يمكن لخطأ واحد (مثل `Disallow: /` الذي يحظر موقعك بأكمله) أن يدمر ترتيبك. استخدم أداة الاختبار للتحقق من:

عدم حظر الصفحات المهمة. حظر صفحات الإدارة. حظر أنماط المحتوى المكرر. عدم حظر أي مسارات حرجة بالخطأ.

بعد نشر robots.txt، راقب تقرير الزحف (Crawl report) في Google Search Console بحثاً عن أي تغييرات. إذا انخفض معدل الزحف بشكل غير متوقع، فقد تكون قد حظرت محتوى مهماً بالخطأ.

الأخطاء الشائعة في Robots.txt

الخطأ 1: حظر CSS وJavaScript. إذا حظرت `/css/` أو `/js/` في robots.txt، لن يتمكن Google من زحف ملفات CSS وJavaScript الخاصة بك. بدون CSS، لا يستطيع Google عرض صفحاتك بشكل صحيح. لا تحظر CSS أو JavaScript.

الخطأ 2: حظر محتوى مهم. اختبر دائماً قبل النشر. يمكن لخطأ إملائي مثل `Disallow: /p` بدلاً من `Disallow: /staging/` أن يحظر `/products/` عن غير قصد.

الخطأ 3: استخدام robots.txt للأمان. لا تعتمد على robots.txt لحماية البيانات الحساسة. يجب أن تتطلب الصفحات الحساسة أمنياً مصادقة (authentication)، وليس فقط robots.txt. ملف robots.txt عام ويمكن تجاوزه بسهولة.

الخطأ 4: عدم اتساق robots.txt عبر النطاقات. إذا كان لديك عدة نطاقات، حافظ على سياسات robots.txt متسقة. يمكن أن تتسبب القواعد المختلفة عن غير قصد في مشكلات تتعلق بكفاءة الزحف.

الخطأ 5: حظر خريطة الموقع نفسها. لا تحظر أبداً `/sitemap.xml` في robots.txt. يحتاج Google إلى زحف خريطة الموقع لاكتشاف الصفحات.

ميزات متقدمة في Robots.txt

Crawl-delay وRequest-rate: تُبطئ هذه التوجيهات الروبوتات. يضيف `Crawl-delay: 10` تأخيراً مدته 10 ثوانٍ بين الطلبات. يسمح `Request-rate: 1/10` بطلب واحد كل 10 ثوانٍ. استخدم هذه التوجيهات للروبوتات التي تثقل كاهل خادمك. يوصي Google باستخدام إعدادات Search Console بدلاً من هذه التوجيهات.

توجيه Allow: يسمح بزحف مسار معين حتى لو كان المسار الأصل محظوراً. مفيد لاستثناء بعض الحالات. مثال: `Disallow: /temp/` لكن `Allow: /temp/keep/` يسمح بزحف المجلد الفرعي keep فقط.

توثق مواصفات robots.txt الخاصة بـ Google جميع التوجيهات المدعومة. نادراً ما تكون معظم الميزات مطلوبة. التزم بـ User-agent وDisallow وSitemap الأساسية لمعظم المواقع.

توجيهات متقدمة في Robots.txt

تسمح القواعد الخاصة بكل User-agent بقواعد زحف مختلفة لروبوتات مختلفة. يمكنك تحديد قواعد لـ Googlebot وBingbot وuser-agents أخرى بشكل منفصل. هذا مفيد إذا كنت تريد أن يزحف Google موقعك بالكامل مع تقييد وصول Bing إلى أقسام معينة. حدد user-agent في بداية كل كتلة قواعد:

ينطبق `User-agent: Googlebot` على قواعد زاحف Google فقط. بينما ينطبق `User-agent: *` على قواعد جميع الروبوتات. تنطبق القواعد على user-agent المحدد حتى توجيه user-agent التالي. يمكنك إنشاء عدة كتل قواعد لروبوتات مختلفة.

تخبر توجيهات Crawl-delay وrequest-rate الروبوتات بمدى تكرار الزحف. يخبر `Crawl-delay: 5` الروبوت بالانتظار 5 ثوانٍ بين الطلبات. هذا يقلل من الحمل على الخادم. يخبر `Request-rate: 1/10` الروبوت بإجراء طلب واحد على الأكثر كل 10 ثوانٍ. يفصّل توثيق Google لملف robots.txt جميع التوجيهات المدعومة.

تخبر توجيهات موقع Sitemap الروبوتات بمكان العثور على خريطة موقعك. يوجّه `Sitemap: https://example.com/sitemap.xml` الروبوتات إلى خريطة موقعك بصيغة XML. يمكنك تحديد عدة خرائط مواقع. يُنصح بهذا لأنه يساعد الروبوتات على اكتشاف جميع صفحاتك بكفاءة.

يزيل توجيه Clean-param معاملات عنوان URL قبل الزحف. يخبر `Clean-param: utm_source&utm_medium https://example.com` محرك Google بتجاهل معاملات UTM على example.com. هذا يمنع Google من التعامل مع الروابط المتتبّعة كمحتوى مكرر. أصبح استخدام هذا أقل شيوعاً الآن نظراً لأن Google يتعامل تلقائياً مع معظم معاملات التتبّع.

اختبر ملف robots.txt الخاص بك في أداة اختبار robots.txt في Google Search Console. تعرض الأداة عناوين URL التي سيحظرها ملف robots.txt الخاص بك بالنسبة لـ Googlebot. هذا يمنع الحظر العرضي للصفحات المهمة.

الخاتمة

Robots.txt هو ملف بسيط لكنه بالغ الأهمية لإدارة زحف محركات البحث وحماية خصوصية موقعك. يحظر ملف robots.txt المعدّ بشكل صحيح الصفحات غير المهمة، ويوفر ميزانية الزحف، ويمنع زحف المحتوى المكرر عدة مرات. يمكن لملف robots.txt المعدّ بشكل خاطئ أن يحظر بالخطأ محتوى مهماً ويدمر ترتيبك.

اختبر دائماً تغييرات robots.txt قبل نشرها. استخدم أداة اختبار Google Search Console للتحقق من صحة القواعد. راقب إحصاءات الزحف الخاصة بك شهرياً. احظر المحتوى غير المهم وأدر ميزانية الزحف بفعالية. استخدم أداة تدقيق GEO SEO الخاصة بنا لتدقيق إعدادات robots.txt لديك وتحديد المشكلات المحتملة المتعلقة بقابلية الزحف والفهرسة عبر موقعك بأكمله.