مولّد robots.txt مجاني لأي موقع ويب

أكثر من 25% من المواقع تعاني من سوء ضبط ملف robots.txt، ما يؤدي إلى حجب صفحات حيوية عن محركات البحث عن غير قصد.

ملف robots.txt هو أول مستند تقرؤه زواحف محركات البحث حين تزور موقعكم. وتوجيه واحد في غير موضعه كفيل بمنع جوجل من فهرسة أهم صفحاتكم، بل والأسوأ، كشف روابط حساسة أردتم إبقاءها خاصة. ويساعدكم مولّد robots.txt من sorank.com على إنشاء ملفات robots.txt مثالية البنية في ثوانٍ، فتضمنون تحسين ميزانية الزحف وإيصال بنية موقعكم بشكل سليم إلى كل محرك بحث كبير.

ما هو ملف robots.txt ولماذا يهمّ في السيو؟

ملف robots.txt ملف نصي بسيط يوضع في جذر موقعكم (مثل https://example.com/robots.txt)، ويقدّم لزواحف الويب تعليمات عن الصفحات أو الأقسام التي ينبغي أو لا ينبغي زحفها في موقعكم. وهو يتبع بروتوكول استبعاد الروبوتات، وهو معيار ينظّم سلوك الزواحف منذ 1994.

ومع أن robots.txt لا يتحكم في الفهرسة مباشرةً (فذلك دور وسوم meta robots ووسوم canonical)، فإنه يؤدي دورًا حاسمًا في إدارة ميزانية الزحف. ففي المواقع الكبيرة ذات آلاف الصفحات، يضمن توجيه الزواحف إلى تخطي المناطق قليلة القيمة، مثل لوحات الإدارة أو المحتوى المكرر أو بيئات الاختبار، أن تُزحف أهم صفحاتكم وتُفهرَس بسرعة أكبر.

أبرز أسباب أهمية robots.txt:

• تحسين ميزانية الزحف، وجّهوا الزواحف إلى صفحاتكم ذات الأولوية العالية بدل إهدار الموارد على روابط غير ذات صلة
• تخفيف الحمل على الخادم، امنعوا الروبوتات الشرهة من إثقال خادمكم بطلبات لا لزوم لها
• حماية الخصوصية، احجبوا الزواحف عن الوصول إلى الأدوات الداخلية أو مواقع الاختبار أو المجلدات الحساسة
• اكتشاف ملف sitemap، دلّوا محركات البحث على ملف sitemap بصيغة XML لزحف أكثر كفاءة

فهم توجيهات robots.txt: المرجع الكامل

يستخدم ملف robots.txt صياغة بسيطة مبنية على عدد قليل من التوجيهات الأساسية. وإتقان هذه التوجيهات ضروري للتحكم السليم في الزحف:

User-agent: يحدد الزاحف الذي تنطبق عليه القواعد. استخدموا * لكل الزواحف، أو استهدفوا روبوتات بعينها مثل Googlebot أو Bingbot أو GPTBot.

Disallow: يخبر الزواحف بألا تصل إلى مسارات محددة. فمثلًا، Disallow: /admin/ يحجب مجلد الإدارة بأكمله.

Allow: يتجاوز قاعدة Disallow لمسارات بعينها داخل مجلد محجوب. وهو مفيد للتحكم الدقيق، كالسماح بـ /admin/public-page مع حجب بقية /admin/.

Sitemap: يعلن موقع ملف sitemap بصيغة XML. وهذا التوجيه مستقل عن الزاحف ويساعد محركات البحث على اكتشاف كل روابطكم القابلة للفهرسة.

Crawl-delay: يضبط مهلة (بالثواني) بين طلبات الزاحف المتتالية. ويدعمه Bing وYandex، بينما تتجاهله جوجل التي تعتمد على إعدادات Search Console بدلًا منه.

مثال على ملف robots.txt حسن البنية:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /search?
Allow: /admin/public/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

كيف تستخدمون مولّد robots.txt من Sorank

يبسّط مولّد robots.txt المجاني لدينا عملية الإنشاء عبر واجهة سهلة:

1. اختاروا وكلاء المستخدم لديكم، اختاروا من الزواحف الشائعة (Googlebot وBingbot وGPTBot وغيرها) أو استخدموا رمز البدل * لقواعد شاملة
2. حدّدوا قواعد Disallow، أدخلوا المسارات التي تريدون حجبها عن الزحف، مثل /wp-admin/ أو /staging/ أو معطيات الاستعلام مثل /search?
3. أضيفوا استثناءات Allow، إذا كنتم بحاجة إلى السماح بالوصول إلى صفحات بعينها داخل مجلدات محجوبة، فأضيفوا قواعد Allow
4. أدرجوا رابط ملف sitemap، أدخلوا موقع ملف sitemap بصيغة XML ليكتشفه الزواحف تلقائيًا
5. اضبطوا Crawl-delay اختياريًا، حدّدوا قيم المهلة للزواحف التي تدعمها إذا كان خادمكم بحاجة إلى تهدئة الوتيرة
6. ولّدوا ونزّلوا، انسخوا ملف robots.txt الناتج أو نزّلوه، ثم ارفعوه إلى المجلد الجذر لموقعكم

أخطاء شائعة في robots.txt تضر بالسيو

حتى مديرو المواقع ذوو الخبرة يرتكبون أخطاء في robots.txt قد تضر بظهورهم في البحث ضررًا بالغًا:

1. حجب ملفات CSS وJavaScript: تحتاج جوجل إلى عرض صفحاتكم لفهم محتواها. وحجب مجلدي /css/ أو /js/ يمنع Googlebot من عرض صفحاتكم، وهو ما قد يضر بمراتبكم ضررًا كبيرًا.

2. استخدام robots.txt لإخفاء صفحات من الفهرس: توجيه Disallow لا يزيل صفحة من فهرس جوجل، بل يمنع زحفها فقط. فإذا ربطت مواقع أخرى بصفحة محجوبة، قد تفهرس جوجل الرابط رغم ذلك (وتعرضه بلا مقتطف). استخدموا وسوم noindex بدلًا من ذلك.

3. حجب الموقع بأكمله عن غير قصد: سطر Disallow: / واحد تحت User-agent: * يحجب كل الزواحف عن موقعكم بأكمله. تحققوا دائمًا من قواعد البدل لديكم مرتين.

4. نسيان الشرطة الختامية: Disallow: /admin يحجب أي رابط يبدأ بـ /admin، بما في ذلك /administration. استخدموا Disallow: /admin/ لحجب المجلد وحده.

5. عدم إدراج توجيه Sitemap: وإن لم يكن إلزاميًا، فإن إعلان ملف sitemap داخل robots.txt يضمن أن تكتشفه كل محركات البحث، حتى لو لم ترسلوه عبر أدوات مديري المواقع الخاصة بكل منها.

6. القواعد المتعارضة: حين تتداخل قواعد Allow وDisallow، تكون الأولوية للقاعدة الأكثر تحديدًا في تطبيق جوجل. اختبروا إعداداتكم دائمًا لتفادي الحجب غير المقصود.

أفضل ممارسات robots.txt بحسب منصات إدارة المحتوى

WordPress: احجبوا /wp-admin/ لكن اسمحوا بـ /wp-admin/admin-ajax.php (وهو ضروري لعمل الواجهة الأمامية). ولا تحجبوا أبدًا /wp-content/uploads/ لأنه يحتوي ملفات الوسائط لديكم. وفكّروا في حجب /wp-includes/ للبرامج النصية غير الأساسية.

Webflow: يولّد Webflow ملف robots.txt تلقائيًا، لكن يمكنكم تخصيصه في إعدادات موقعكم. وتأكدوا من أنكم لا تحجبون صفحات مجموعات المحتوى أو مسارات القوالب التي تولّد محتوى ديناميكيًا.

Shopify: لدى Shopify ملف robots.txt افتراضي يحجب مسارات داخلية مثل /admin و/cart و/checkout و/orders. ومنذ 2021، يمكنكم تخصيصه عبر قالب السمة robots.txt.liquid.

Next.js وتطبيقات React أحادية الصفحة: تأكدوا من تقديم ملف robots.txt كملف ساكن من المجلد العام. وفي التطبيقات المعروضة من الخادم، تحققوا من أن Googlebot يستطيع الوصول إلى كل نقاط الواجهة اللازمة لعرض المحتوى.

إدارة زواحف الذكاء الاصطناعي عبر robots.txt

مع صعود نماذج الذكاء الاصطناعي التي تكشط محتوى الويب، اكتسب robots.txt أهمية جديدة في التحكم بوصول زواحف الذكاء الاصطناعي:

• GPTBot، زاحف OpenAI لجمع بيانات التدريب
• ChatGPT-User، زاحف OpenAI لميزات التصفح المباشر
• Google-Extended، زاحف جوجل لبيانات تدريب الذكاء الاصطناعي (منفصل عن Googlebot)
• anthropic-ai، زاحف Anthropic على الويب
• CCBot، روبوت Common Crawl، وتستخدمه مجموعات كثيرة من بيانات تدريب الذكاء الاصطناعي

لحجب كل زواحف الذكاء الاصطناعي مع السماح لمحركات البحث:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

اختبار ملف robots.txt والتحقق منه

بعد توليد ملف robots.txt، تحققوا منه دائمًا قبل نشره:

• Google Search Console، استخدموا أداة «robots.txt Tester» (ضمن إعدادات الزحف) للبحث عن أخطاء الصياغة واختبار روابط بعينها في مواجهة قواعدكم
• Bing Webmaster Tools، توفّر محلّل robots.txt يبيّن كيف يفسر Bingbot ملفكم
• اختبار المتصفح، زوروا yourdomain.com/robots.txt مباشرةً للتأكد من أنه متاح ومنسّق بشكل صحيح
• تحليل ملفات السجل، راقبوا سجلات خادمكم بعد النشر للتأكد من أن الزواحف تحترم توجيهاتكم

وتذكّروا أن محركات البحث تخزّن ملف robots.txt لديكم مؤقتًا وتحدّثه دوريًا (كل 24 ساعة عادةً). وبعد إجراء التغييرات، يمكنكم طلب إعادة الزحف عبر Google Search Console للحصول على تحديث أسرع.

استخدموا مولّد robots.txt من Sorank لإنشاء ملف منسّق بشكل سليم في ثوانٍ، من دون أي معرفة بالبرمجة. احموا ميزانية الزحف لديكم، وأديروا وصول الروبوتات، واضمنوا أن تنال أثمن صفحات موقعكم ما تستحقه من اهتمام محركات البحث.