التفضيلات
خصوصيتك مهمة بالنسبة لنا، لذلك لديك خيار تعطيل أنواع معينة من التخزين التي قد لا تكون ضرورية للوظائف الأساسية للموقع. قد يؤثر حظر الفئات على تجربتك في الموقع. مزيد من المعلومات
خصوصيتك مهمة بالنسبة لنا، لذلك لديك خيار تعطيل أنواع معينة من التخزين التي قد لا تكون ضرورية للوظائف الأساسية للموقع. قد يؤثر حظر الفئات على تجربتك في الموقع. مزيد من المعلومات
ملف robots.txt لزواحف الذكاء الاصطناعي: وكلاء المستخدم لدى OpenAI وAnthropic وPerplexity وGoogle، ودور كل منهم، وإعداد يبقيك قابلًا للاستشهاد.
لخّص هذا المقال بالذكاء الاصطناعي
أصبح ملف robots.txt لزواحف الذكاء الاصطناعي قرارًا تجاريًا وليس ملفًا تقنيًا فقط. الملف نفسه الذي كان يخاطب Googlebot وحده يقرر الآن ما إذا كان ChatGPT وClaude وPerplexity وGemini يستطيعون قراءة صفحاتك والاستشهاد بها والربط إليها. لم يتغير التنسيق: ما زال بروتوكول استبعاد الروبوتات الموحّد في RFC 9309، بأسطر User-agent وAllow وDisallow. ما تغيّر هو عدد الوكلاء، وأن المزود الواحد قد يشغّل عدة زواحف لأغراض مختلفة.
يفصل معظم مزودي الذكاء الاصطناعي اليوم بين التدريب والفهرسة للبحث والجلب بطلب المستخدم عبر وكلاء مستخدم مختلفين. يلخص الجدول أهمها كما يوثقها كل مزود.
| المزود | وكيل المستخدم | الغرض | أثر الحظر |
|---|---|---|---|
| OpenAI | GPTBot | بيانات تدريب نماذج OpenAI | عدم استخدام المحتوى في التدريب المستقبلي |
| OpenAI | OAI-SearchBot | الفهرسة لبحث ChatGPT | قد لا تظهر صفحاتك كمصادر في بحث ChatGPT |
| OpenAI | ChatGPT-User | صفحات يطلب المستخدم من ChatGPT زيارتها | لا يستطيع ChatGPT فتح صفحتك عند الطلب |
| Anthropic | ClaudeBot | بيانات تدريب نماذج Claude | عدم استخدام المحتوى في التدريب المستقبلي |
| Anthropic | Claude-SearchBot وClaude-User | جودة البحث والجلب بطلب المستخدم | ظهور أقل في إجابات Claude التي تبحث في الويب |
| Perplexity | PerplexityBot وPerplexity-User | فهرس البحث والجلب بطلب المستخدم | فرصة أقل للاستشهاد بك في Perplexity |
| Googlebot | بحث Google بما فيه AI Overviews ووضع الذكاء الاصطناعي | الخروج الكامل من البحث | |
| Google-Extended (رمز) | استخدام المحتوى لنماذج Gemini والتأسيس خارج البحث | لا أثر في ترتيب البحث | |
| Apple | Applebot-Extended (رمز) | استخدام المحتوى لنماذج Apple التوليدية | يواصل Applebot الزحف من أجل Siri وSpotlight |
| Common Crawl | CCBot | أرشيف مفتوح للويب تعيد استخدامه مجموعات بيانات كثيرة للذكاء الاصطناعي | غياب المحتوى عن عمليات الزحف القادمة للأرشيف |
المصادر: وثائق زواحف OpenAI وقائمة Google للزواحف الشائعة. تتغير الأسماء أحيانًا، فراجع صفحة كل مزود قبل تعديل الملف. وتقدم مداخل مسردنا حول زواحف الذكاء الاصطناعي وزواحف OpenAI التعريفات المختصرة.
بالنسبة لمعظم الشركات التي تبحث عن عملاء، لا: احظر التدريب إن لزم الأمر، وأبقِ زواحف البحث مفتوحة. يعتمد القرار على ما تبيعه:
مجموعات صريحة لكل وكيل مستخدم، مع السماح لزواحف البحث وخيار واضح لزواحف التدريب. مثال لشركة تريد الظهور في الذكاء الاصطناعي دون تغذية التدريب:
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xmlاحذف المجموعة الثانية إذا كنت موافقًا على استخدام محتواك في التدريب. يبني مولّد robots.txt المجاني لدينا الملف، ويعرض مدقق robots.txt الوكلاء الذين يسمح لهم ملف منشور فعليًا.
أكثرها شيوعًا قاعدة عامة منسوخة من منتدى. الأخطاء المتكررة:
لا، فهو يفتح الباب فقط. عندما تستطيع الزواحف قراءة صفحاتك، يعتمد الاستشهاد على وضوح الإجابات وسهولة استخراجها وتأكيدها من مصادر أخرى. وتساعد البيانات المنظمة لبحث الذكاء الاصطناعي والأقسام التي تجيب مباشرة وملف llms.txt الاختياري في الخطوة التالية.
تعامل مع كل زاحف ذكاء اصطناعي كقرار مستقل: افتح زواحف البحث والجلب، واختر عن وعي بشأن زواحف التدريب، وتحقق من أن خادمك يطبق السياسة نفسها. ثم قِس ما إذا كان الباب المفتوح يتحول إلى استشهادات. يتابع Sorank علامتك في ChatGPT وClaude وGemini أسبوعيًا وينشر محتوى منظمًا ليُستشهد به: ابدأ مع 3 أيام مجانية.
ليس وحده. يجمع GPTBot بيانات لتدريب نماذج OpenAI. أما بحث ChatGPT فيعتمد على زاحف آخر هو OAI-SearchBot، وعلى ChatGPT-User للصفحات التي يطلب المستخدم فتحها. حظر GPTBot وحده يحد من الاستخدام في التدريب ويُبقي صفحاتك مؤهلة للظهور والربط في بحث ChatGPT.
لا. Google-Extended رمز في ملف robots.txt وليس زاحفًا مستقلًا، وتؤكد Google أنه لا يؤثر في الإدراج أو الترتيب في بحث Google. ميزتا AI Overviews ووضع الذكاء الاصطناعي جزء من البحث وتستخدمان Googlebot. يتحكم Google-Extended في استخدام محتواك لنماذج Gemini والتأسيس خارج البحث.
يوثّق كبار المزودين وكلاء المستخدم لديهم ويؤكدون أن زواحفهم تتبع robots.txt، مع استثناءات للزيارات التي يطلقها المستخدم مباشرة. وقد أُفيد بأن بعض الزواحف الأقل شفافية تتجاهله. للحظر الصارم، اجمع بين robots.txt وقواعد الخادم أو جدار الحماية المعتمدة على وكيل المستخدم ونطاقات IP المنشورة.
مولّد llms.txt
أداة فحص خريطة الموقع
محول صفحات الويب إلى Markdown
عدّاد الكلماتمولّد ترميز Schema
معاينة Open Graph
أداة ضغط الصورأداة تحليل الروابط الخلفية
مستشعر تقلّب نتائج البحث
مولّد روابط URLمولّد وسوم الميتاأداة البحث عن الكلمات المفتاحيةتدقيق السيو داخل الصفحة
مستخرج الروابط
أداة فحص حجم الصفحةمولّد robots.txtمولّد Faviconفاحص سلطة النطاقلقد جربوا SORANK قبلك
“نحن وكالة إعلانات (Ads) وأردنا أخيرًا إعادة تنظيم الـ SEO لدينا بشكل نهائي. قدّمت لنا Sorank رؤية واضحة لموقعنا، وساعدتنا على ترتيب أولويات التحسينات وهيكلة المحتوى بشكل صحيح. الأداة سهلة الاستخدام، ومصممة جيدًا للعمل الجماعي، وعملية جدًا لتجميع المتابعة دون الحاجة إلى التنقل بين عدة منصات. أساس متين جدًا لبداية جديدة مع الـ SEO لدينا.”
Gaspard Madouiوكالة إعلانات (Ads)“على مدى عامين، جاء 100% من عملائي من LinkedIn. النشر يوميًا، والتعليق، ومتابعات الرسائل المباشرة... اعتماد كامل على الخوارزمية. كنت أعلم أنني بحاجة إلى العمل على SEO لكنني كنت أؤجله دائمًا: طويل جدًا، وتقني جدًا، وليس مجال عملي. مع Sorank، اتخذت الخطوة أخيرًا. خلال 4 أشهر، أصبحت أولد 15 عميلًا محتملًا عضويًا شهريًا دون نشر أي شيء. لا يزال الأمر ليس مناصفة مع LinkedIn، لكنني أنام بشكل أفضل لعلمي أن لدي الآن مصدر عملاء ثانيًا ينمو تلقائيًا.”
Valentin Thomyوكالة ColdMailing
“تركت برنامج Sorank يقوم بعمله فقط، والآن أصبح تقييم DR لموقعي 25 وصفحتي تحتل مرتبة أعلى.”
Lucas Flandreمقدّم بودكاست“حل ممتاز لإدارة SEO دون صداع. عمليات التدقيق سريعة، والواجهة واضحة، وترى بسرعة الإجراءات التي يجب تنفيذها. لقد أصبح أداة أساسية لتتبع وتحسين SEO الخاص بمواقعي. أوصي به بشدة.”
Xavرائد أعمال
