Common Crawl: nedir, yapay zeka modelleri nasıl kullanıyor ve CCBot engellenmeli mi

Common Crawl SEO tartışmalarında nadiren geçer, oysa kamuya açık web içeriğinin dil modellerine ulaşmasının başlıca yollarından biridir. GEO üzerinde çalışan markalar için (yapay zeka asistanları tarafından doğru şekilde alıntılanmak ve tanımlanmak), bunun nasıl işlediğini bilmek neye izin verileceğine, neyin engelleneceğine ve açık web'de tutarlı bilginin neden önemli olduğuna karar vermeye yardımcı olur. Kaynak: commoncrawl.org.

Common Crawl nedir?

Common Crawl, ABD'de 501(c)(3) olarak kayıtlı kâr amacı gütmeyen bir kuruluştur. 2007'den beri web'i tarıyor ve verilerini ücretsiz olarak erişilebilir kılıyor. Web sitesine göre veri kümesi 15 yılda 300 milyardan fazla sayfayı kapsıyor, ayda 3 ila 5 milyar sayfa büyüyor ve 10.000'den fazla araştırma makalesinde alıntılanmış. Her tarama; sayfaların ham verileri, meta veriler ve çıkarılmış metin olarak yayımlanıyor ve herkes bunları indirebiliyor.

Yapay zeka modelleri Common Crawl'ı nasıl kullanıyor?

Büyük dil modelleri çok büyük miktarda metinden öğrenir ve Common Crawl en büyük kamuya açık kaynaklardan biridir. Language Models are Few-Shot Learners (2020) başlıklı GPT-3 makalesi, filtrelenmiş bir Common Crawl sürümünü eğitim verisinin en büyük bileşeni olarak tanımlar; karışımda %60 ağırlığı vardır. Sonraki birçok model ve açık veri kümesi de bundan türemiştir, genellikle kalite ve kopyalar için yoğun filtrelemeden sonra. Sözlüğümüzdeki LLM ve yapay zeka eğitim verisi maddelerine bakın.

CCBot nedir?

CCBot, Common Crawl'ın tarayıcısıdır. Common Crawl'ın CCBot sayfasına göre CCBot/2.0 kullanıcı aracısıyla kendini tanıtır, yayımlanmış IP aralıklarından ve ters DNS ile çalışır, böylece gerçek istekleri doğrulayabilirsiniz, ve robots.txt ile durdurulabilir:

• User-agent: CCBot
• Disallow: /

Yapay zeka tarayıcıları hakkındaki robots.txt rehberimiz, CCBot'u GPTBot, ClaudeBot, PerplexityBot ve Google-Extended ile birlikte ele alır; yapay zeka tarayıcıları sözlük maddesi de hepsini listeler. Ücretsiz robots.txt denetleyicisi dosyanızın neye izin verdiğini gösterir.

Common Crawl'a izin mi vermeli, engellemeli mi?

İçeriği pazarlama, dokümantasyon veya eğitim olan çoğu işletme, açık web korpusunda yer almaktan fayda sağlar. Geliri özel içeriğe dayanan yayıncılar ise genellikle engeller. Engelleme gelecekteki taramalar için geçerlidir; geçmiş arşivlerdeki veya zaten eğitilmiş modellerdeki sayfaları kaldırmaz.

Common Crawl'ın GEO için anlamı

• Tutarlılık: açık web'in markanız hakkında söylediği her şey (siteniz, profilleriniz, yorumlarınız, makaleleriniz) modellerin öğrendiklerini besler. Bilgileri her yerde aynı tutun (bkz. marka tutarlılığı).
• Açıklık: net ve gerçeklere dayalı sayfalar, içeriği betiklerin arkasına gizleyen sayfalardan daha kolay çıkarılır ve yeniden kullanılır.
• Üçüncü taraf sitelerdeki varlık: makalelerdeki ve dizinlerdeki anılar, korpustaki izinizi çoğaltır.
• Sabır: eğitim verileri, bir taramadan aylar sonra modellere ulaşır; canlı getirme daha hızlıdır.

Özetle

Common Crawl, birçok yapay zeka modelinin öğrendiği açık arşivdir; kamuya açık pazarlama içeriğinizde CCBot'a izin vermek markanızın bu bellekte var olmasına yardımcı olur. Bunu, canlı yapay zeka aramasının bulabileceği ve alıntılayabileceği içeriklerle birleştirin (bkz. GEO ve SEO ve LLM SEO). Sorank, autopilot modunda çalışan bir SEO ve GEO yazılımıdır: net ve kaynaklı içerik yayımlar, yapay zeka anma takibi ile ChatGPT, Claude ve Gemini'nin markanızdan nasıl söz ettiğini izler. Sorank planlarına bakın; 3 gün ücretsiz deneme sunulur.