أداة فحص robots.txt: تحققوا من الصياغة ومن وصول زواحف الذكاء الاصطناعي

تجلب أداة فحص robots.txt ملف robots.txt الخاص بأي نطاق وتحلّله، وتتحقق من صحة صياغته، وتبرز التوجيهات التي تؤثر في زواحف الذكاء الاصطناعي مثل GPTBot وPerplexityBot وGoogle-Extended. أدخلوا نطاقكم في الأداة أعلاه للحصول على تحليل فوري.

أساسيات robots.txt ولماذا غيّرت زواحف الذكاء الاصطناعي المعادلة

robots.txt ملف نصي بسيط يوضع في جذر نطاقكم ويوجّه الزواحف إلى المسارات التي يُسمح لها بالوصول إليها والمسارات الممنوعة. ولسنوات طويلة كان مديرو المواقع يكتبون قواعدهم أساسًا من أجل Googlebot وBingbot. ثم جاء صعود محركات البحث المدعومة بالذكاء الاصطناعي بفئة جديدة من الروبوتات، لكل منها user-agent خاص به، ويجب السماح لها أو حظرها صراحةً.

من أشهر user-agents زواحف الذكاء الاصطناعي: GPTBot (OpenAI/ChatGPT)، وPerplexityBot (Perplexity)، وGoogle-Extended (تدريب جوجل للذكاء الاصطناعي وميزات Gemini)، وClaudeBot (Anthropic)، وOAI-SearchBot (بحث OpenAI على الويب). فإذا كان ملف robots.txt لديكم يستخدم Disallow: / شاملًا تحت User-agent: *، فهو يحجب هذه الزواحف كلها ما لم يُعَد السماح لكل واحد منها على حدة.

ما الذي تفحصه الأداة أعلاه

• صحة الصياغة: ترصد التوجيهات المشوّهة، وغياب الأسطر الفارغة بين كتل الوكلاء، والحقول غير المدعومة.
• وصول روبوتات الذكاء الاصطناعي: تبيّن الأداة لكل زاحف ذكاء اصطناعي رئيسي ما إذا كان مسموحًا له، أو مسموحًا له جزئيًا، أو محجوبًا بالكامل.
• توجيهات Crawl-delay: المهل المفرطة تبطئ فهرسة الذكاء الاصطناعي، وتشير الأداة إلى القيم التي تتجاوز العتبات الموصى بها.
• إعلان ملفات sitemap: تتحقق من وجود سطر Sitemap يشير إلى ملف sitemap صالح بصيغة XML.
• أنماط البدل: تتحقق من استخدام رمزي البدل * و$ اللذين تفسّرهما بعض المحلّلات بطرق مختلفة.
• القواعد المتعارضة: عندما تناقض قاعدة أكثر تحديدًا قاعدة أوسع، تشرح الأداة أي توجيه له الأولوية.

كيف تقرؤون النتائج وتتصرفون بناءً عليها

• إذا كان GPTBot أو PerplexityBot محجوبًا: قرّروا ما إذا كان ذلك مقصودًا. وإن كنتم تريدون الظهور في البحث المدعوم بالذكاء الاصطناعي، فأضيفوا Allow: / صريحًا داخل كتلة user-agent الخاصة به، أو احذفوا المنع الشامل.
• إذا كان Google-Extended محجوبًا: قد تُستبعد صفحاتكم من معرفة Gemini ومن الميزات التي تعتمد على مجموعة تدريب الذكاء الاصطناعي لدى جوجل. وازنوا بين المكاسب والخسائر بعناية.
• لا ترفعوا كل القيود دون تمييز. فحجب أدوات الكشط وسارقي المحتوى أمر مشروع. صوّبوا قيودكم: احجبوا روبوتات أو مسارات بعينها، لا الزواحف كلها.
• بعد كل تعديل، أعيدوا تشغيل الأداة أعلاه للتأكد من تطبيق التغيير بشكل صحيح قبل نشره.
• اجمعوا بين robots.txt وملف llms.txt سليم البنية لتمنحوا زواحف الذكاء الاصطناعي الإذن وخريطة التنقل معًا.

معيار مرجعي: روبوت واحد محجوب يعني الاختفاء من منصة بأكملها

تظهر AI Overviews اليوم في نحو 31% من استعلامات جوجل. وسطر Disallow خاطئ واحد يستهدف Google-Extended كفيل بإخراج صفحاتكم كليًا من مجموعة إجابات Gemini. وبالمثل، فحجب GPTBot يعني أن ميزة تصفح الويب في ChatGPT لا تستطيع قراءة محتواكم أثناء الزحف. والكلفة غير متكافئة: تصحيح قاعدة في robots.txt يستغرق دقائق، بينما استعادة الظهور المفقود في الذكاء الاصطناعي تستغرق أسابيع.

ولمتابعة حضور علامتكم الدائم في إجابات الذكاء الاصطناعي عبر كل المحركات الكبرى، يتتبع Sorank الاستشهادات والظهور تلقائيًا.