Common Crawl: ما هو، وكيف تستخدمه نماذج الذكاء الاصطناعي، وهل يجب حظر CCBot

Common Crawl نادراً ما يُذكر في نقاشات SEO، مع أنه من أهم الطرق التي يصل بها المحتوى العام على الويب إلى نماذج اللغة. بالنسبة للعلامات التجارية التي تعمل على GEO (أي أن يذكرها مساعدو الذكاء الاصطناعي ويصفوها بدقة)، فإن فهم طريقة عمله يساعد في تحديد ما يُسمح به وما يُحظر، ولماذا تهم المعلومات المتسقة على الويب المفتوح. المصدر: commoncrawl.org.

ما هو Common Crawl؟

Common Crawl منظمة غير ربحية مسجلة في الولايات المتحدة بصفة 501(c)(3)، وتزحف على الويب منذ عام 2007 وتتيح بياناتها مجاناً. وبحسب موقعها، تضم المجموعة أكثر من 300 مليار صفحة عبر 15 عاماً، وتنمو بمقدار من 3 إلى 5 مليارات صفحة شهرياً، وقد استُشهد بها في أكثر من 10,000 ورقة بحثية. يُنشر كل زحف كبيانات خام للصفحات وبيانات وصفية ونص مستخرج، ويمكن لأي شخص تنزيله.

كيف تستخدم نماذج الذكاء الاصطناعي Common Crawl؟

تتعلم نماذج اللغة الكبيرة من كميات هائلة من النصوص، وCommon Crawl من أكبر المصادر العامة المتاحة. تصف ورقة GPT-3، Language Models are Few-Shot Learners (2020)، نسخة مُفلترة من Common Crawl بوصفها أكبر مكوّن في بيانات تدريبه، بوزن 60% في الخليط. كما أن نماذج ومجموعات بيانات مفتوحة كثيرة لاحقة مُشتقة منه، عادةً بعد تصفية مكثفة للجودة وإزالة التكرار. راجع مدخلينا في المسرد عن LLM وبيانات تدريب الذكاء الاصطناعي.

ما هو CCBot؟

CCBot هو الزاحف التابع لـ Common Crawl. وبحسب صفحة CCBot في Common Crawl، يُعرّف نفسه بوكيل المستخدم CCBot/2.0، ويعمل من نطاقات IP منشورة مع reverse DNS حتى تتمكن من التحقق من الطلبات الأصلية، ويمكن إيقافه عبر robots.txt:

• User-agent: CCBot
• Disallow: /

يتناول دليلنا عن robots.txt وزواحف الذكاء الاصطناعي CCBot إلى جانب GPTBot وClaudeBot وPerplexityBot وGoogle-Extended، ويعددها مدخل المسرد عن زواحف الذكاء الاصطناعي. وأداة فحص robots.txt المجانية تُظهر ما يسمح به ملفك.

هل تسمح بـ Common Crawl أم تحظره؟

معظم الشركات التي يكون محتواها تسويقياً أو توثيقياً أو تعليمياً تستفيد من وجودها في مجموعة الويب المفتوح. أما الناشرون الذين تعتمد إيراداتهم على محتوى حصري فكثيراً ما يحظرونه. ينطبق الحظر على الزحف المستقبلي؛ ولا يزيل الصفحات من الأرشيفات السابقة أو من النماذج التي دُرّبت عليها بالفعل.

ماذا يعني Common Crawl لـ GEO

• الاتساق: ما يقوله الويب المفتوح عن علامتك التجارية (موقعك وملفاتك وتقييماتك ومقالاتك) يغذي ما تتعلمه النماذج. حافظ على تطابق الحقائق في كل مكان (راجع اتساق العلامة التجارية).
• الوضوح: الصفحات الواضحة والواقعية أسهل في الاستخراج وإعادة الاستخدام من الصفحات التي تُخفي محتواها خلف السكربتات.
• الحضور على مواقع الغير: الإشارات في المقالات والأدلة تضاعف بصمتك في المجموعة.
• الصبر: تصل بيانات التدريب إلى النماذج بعد أشهر من الزحف؛ أما الاسترجاع المباشر فأسرع.

الخلاصة

Common Crawl هو الأرشيف المفتوح الذي تتعلم منه نماذج ذكاء اصطناعي كثيرة؛ والسماح لـ CCBot بمحتواك التسويقي العام يساعد علامتك التجارية على أن تكون حاضرة في تلك الذاكرة. ادمج ذلك مع محتوى يستطيع البحث المباشر بالذكاء الاصطناعي العثور عليه والاستشهاد به (راجع GEO مقابل SEO وLLM SEO). Sorank برنامج SEO وGEO يعمل بنظام autopilot: ينشر محتوى واضحاً وموثقاً، ويتابع عبر تتبع الإشارات في الذكاء الاصطناعي كيف يذكر ChatGPT وClaude وGemini علامتك التجارية. راجع خطط Sorank، مع تجربة مجانية لمدة 3 أيام.