Yapay Zeka Tarayıcıları İçin Robots.txt: Neye İzin Verilmeli, Neyi Engellemeli

Yapay zeka tarayıcıları için robots.txt yalnızca teknik bir dosya değil, bir iş kararı haline geldi. Bir zamanlar yalnızca Googlebot ile konuşan aynı dosya, artık ChatGPT, Claude, Perplexity ve Gemini'nin sayfalarınızı okuyup okuyamayacağına, alıntılayıp alıntılayamayacağına ve onlara bağlantı verip veremeyeceğine karar veriyor. Biçimin kendisi değişmedi: hâlâ RFC 9309 olarak standartlaştırılmış Robots Dışlama Protokolü, kullanıcı aracıları, Allow ve Disallow satırlarıyla. Değişen şey araç sayısı ve tek bir satıcının farklı amaçlara sahip birkaç bot çalıştırabilmesi.

Hangi yapay zeka tarayıcıları var ve ne yaparlar?

Çoğu yapay zeka satıcısı artık eğitimi, arama dizinlemeyi ve kullanıcı tetiklemeli getirmeyi farklı kullanıcı aracılarına ayırıyor. Tablo, her satıcının belgelediği şekliyle başlıca olanları özetliyor.

Kaynaklar: OpenAI tarayıcı belgeleri ve Google'ın yaygın tarayıcılar listesi. Adlar zaman zaman değişir; bu yüzden dosyayı düzenlemeden önce her satıcının sayfasını kontrol edin. Yapay zeka tarayıcıları ve OpenAI tarayıcıları sözlük maddelerimiz tanımları kısa tutar.

Yapay zeka tarayıcılarını engellemeli misiniz?

Müşteri isteyen çoğu işletme için hayır: gerekiyorsa eğitimi engelleyin, arama tarayıcılarını açık tutun. Takas, ne sattığınıza bağlıdır:

• Markalar, SaaS, e-ticaret, yerel işletmeler: yapay zeka yanıtları bir müşteri kazanım kanalıdır. Arama tarayıcılarını engellemek sizi bu kanaldan çıkarır. Eğitim tarayıcılarına izin vermek ise gelecekteki modellerin markanızı tanımasına da yardımcı olur.
• Sayfa görüntülemelerinden veya aboneliklerden geçinen yayıncılar: eğitim tarayıcılarını engellemek içeriğin değerini korur; arama tarayıcılarını açık tutmak yine de atıf ve bağlantı getirir.
• Özel veya lisanslı içeriği olan siteler: geniş ölçüde engelleyin ve sunucu düzeyinde uygulayın, çünkü robots.txt bir erişim denetimi değil, bir taleptir.

Önerilen bir robots.txt nasıl görünür?

Kullanıcı aracı başına açık gruplar, arama botlarına izin verilmiş ve eğitim botları için net bir seçim. Yapay zeka görünürlüğü isteyen ama eğitim verisini beslemeyi tercih etmeyen bir işletme için örnek:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

İçeriğinizin eğitimde kullanılmasına razıysanız ikinci grubu kaldırın. Ücretsiz robots.txt oluşturucumuz dosyayı hazırlar, robots.txt denetleyicisi ise canlı bir dosyanın gerçekte hangi araçlara izin verdiğini gösterir.

Hangi hatalar yapay zeka görünürlüğünü kazara engeller?

En yaygını, bir forumdan kopyalanmış genel bir kuraldır. Sık yapılan hatalar:

• Hazırlık sitesinden kalan “User-agent: * / Disallow: /”, Googlebot dahil her botu engeller.
• GPTBot'u engellemek isterken OAI-SearchBot'u engellemek, sizi yalnızca eğitimden değil ChatGPT aramasından çıkarır.
• robots.txt'ten bağımsız olarak yapay zeka kullanıcı aracılarına 403 döndüren bir CDN veya güvenlik duvarı bot koruma kuralı. Sunucu günlüklerinizi kontrol edin.
• Sayfayı oluşturmak için gereken CSS ve JavaScript'i engellemek, böylece tarayıcılar boş bir kabuk görür.
• Önemli içeriğin yalnızca istemci tarafında yüklenmesi; birçok yapay zeka tarayıcısı JavaScript çalıştırmaz, bu yüzden ana metni HTML içinde sunun.

Kaynak gösterilmek için robots.txt yeterli mi?

Hayır, yalnızca kapıyı açar. Tarayıcılar sayfalarınızı okuyabildiğinde, kaynak gösterilme bu sayfaların soruları net yanıtlamasına, çıkarım için yapılandırılmış olmasına ve diğer kaynaklarca doğrulanmasına bağlıdır. Temiz yapay zeka araması için yapılandırılmış veri, önce yanıtı veren bölümler ve isteğe bağlı bir llms.txt dosyası bir sonraki adıma yardımcı olur.

Sonuç

Yapay zeka tarayıcılarını ayrı kararlar olarak ele alın: arama ve kullanıcı tetiklemeli getirme botlarını açın, eğitim botları için bilinçli seçim yapın ve sunucunuzun aynı politikayı uyguladığını doğrulayın. Ardından açık kapının atıflara dönüşüp dönüşmediğini ölçün. Sorank markanızı her hafta ChatGPT, Claude ve Gemini'de izler ve kaynak gösterilmek üzere yapılandırılmış içerik yayımlar: 3 günlük ücretsiz denemeyle başlayın.