Web Sitesi Taranabilirlik Yapay Zeka Denetimi: Yapay Zeka Botları Sitenize Gerçekten Erişebiliyor mu?

Bir web sitesi taranabilirlik yapay zeka denetimi basit bir soruyu yanıtlar: müşterilerinize yanıt veren yapay zekalar sitenizi okuyabiliyor mu? Her şirket tarayıcısının robots.txt içinde kullandığı adı yayımlar ve her ayar kendi başına çalışır. Örneğin OpenAI, bir sitenin içeriğini model eğitiminin dışında tutmak için GPTBot'a izin vermeyip ChatGPT arama sonuçlarında yer almak için OAI-SearchBot'a izin verebileceğini açıklar (OpenAI, overview of OpenAI crawlers). Bu nedenle robots.txt içindeki tek bir satır, siz fark etmeden sizi bir yapay zeka yanıtında görünmez kılabilir.

Denetim hangi yapay zeka tarayıcılarını kontrol eder?

Denetim 14 kullanıcı aracısını test eder. Aşağıda işaretlenen beşi arama ve canlı yanıtlara hizmet eder: onları engellemek sizi insanların bugün okuduğu yanıtların dışına çıkarır.

Anthropic artık üç botu belgeliyor: eğitim için ClaudeBot, biri Claude'a soru sorduğunda çekilen sayfalar için Claude-User ve arama kalitesi için Claude-SearchBot (Claude Help Center, Anthropic crawlers). Claude tarafından kaynak gösterilmek istiyorsanız, son ikisine de robots.txt dosyanızda izin verin.

Denetimi nasıl çalıştırırsınız?

1. yourdomain.com gibi alan adınızı girin. Denetim https://yourdomain.com/robots.txt dosyasını ve ana sayfayı okur.
2. En üstteki dört rakamı okuyun: izinli arama botları, engellenen tarayıcılar, kontrol edilen tarayıcılar ve bildirilen site haritaları.
3. Tarayıcı tablosunu tarayın: her satır şirketi, rolü, durumu ve kararı veren kuralı gösterir.
4. “Nasıl iyileştirilir” altında listelenen sorunları düzeltin, ardından denetimi yeniden çalıştırın.

Denetim ücretsizdir; günde 3 kontrol yapılır ve hesap gerekmez.

Yapay zeka taranabilirlik puanı nasıl hesaplanır?

Her tarayıcı bir kontrol sayılır: izinli tam puan, kısmi yarım puan kazandırır, engelli hiçbir şey kazandırmaz. Beş arama tarayıcısı eğitim tarayıcılarının iki katı ağırlığa sahiptir ve ana sayfada, meta robots etiketinde veya X-Robots-Tag başlığında bulunan bir noindex, başarısızlık olarak iki kat sayılır. Puan, kazanılan puanların payıdır.

Puan açıklığı ödüllendirir. Beş arama tarayıcısını açık tutup diğer dokuzunu engellerseniz puanınız 57 civarında olur: bu bir hata değil, bilinçli bir tercihtir. Bu durumda önce 5/5 olması gereken “Search bots OK” rakamına bakın.

İzinli, kısmi ve engelli ne anlama gelir?

Denetim robots.txt kurallarını tarayıcıların yaptığı gibi uygular: tarayıcı için adıyla yazılmış grubu veya yoksa “User-agent: *” grubunu alır.

• İzinli: hiçbir grup uygulanmıyor ya da grupta Disallow kuralı yok.
• Kısmi: /admin/ veya /cart/ gibi bazı yollara izin verilmiyor. Bu genellikle sorun değildir; içerik sayfalarınızın listede olmadığından emin olun.
• Engelli: “Allow: /” olmadan “Disallow: /”; bu nedenle tarayıcı hiçbir sayfayı okuyamaz.

Kurallar, IETF tarafından RFC 9309'da standartlaştırılan Robots Exclusion Protocol'ü izler; bu protokol site sahiplerine bu kuralların “bir erişim yetkilendirmesi biçimi olmadığını” da hatırlatır (RFC 9309, Robots Exclusion Protocol). robots.txt, iyi niyetli tarayıcıların uyduğu bir istektir, bir kilit değildir.

Yapay zeka tarayıcılarını engellemeli misiniz, içeri almalı mısınız?

İki kullanımı ayırın. Arama tarayıcıları kaynak gösterimleri ve ziyaretler getirir; eğitim tarayıcıları gelecekteki modelleri besler. Önerilmek isteyen çoğu şirket birinci grubu açar, ikinci grup için duruma göre karar verir.

İki resmî açıklama karar vermeye yardımcı olur. Google, Google-Extended'ın bir sitenin Google Arama'da yer almasını etkilemediğini ve bir sıralama sinyali olmadığını belirtir (Google, common crawlers). Perplexity, PerplexityBot'un siteleri arama sonuçlarında gösterdiğini ve yapay zeka temel modellerini eğitmek için kullanılmadığını belirtir (Perplexity, crawlers documentation). Apple'ın Applebot-Extended'ı yalnızca eğitimi denetler: Apple, içeriğinizin Spotlight, Siri ve Safari üzerinden keşfedilebilir kalmaya devam ettiğini belirtir (Apple Support, about Applebot).

Engellenmiş bir yapay zeka tarayıcısını nasıl düzeltirsiniz?

Alan adınızın kökündeki robots.txt dosyasını düzenleyin. GPTBot'u dışarıda tutarken ChatGPT aramasını açmak için iki grup ekleyin:

• User-agent: OAI-SearchBot ve ardından Allow: /
• User-agent: GPTBot ve ardından Disallow: /

Ardından değişikliği sıklıkla geri alan üç şeyi kontrol edin.

1. robots.txt daha okunmadan yapay zeka kullanıcı aracılarını engelleyen bir CDN veya güvenlik duvarı kuralı. Bazı CDN'ler yapay zeka botlarını engelleyen tek tıklık bir anahtar sunar.
2. Bir meta etiketinde veya X-Robots-Tag başlığında yer alan ve denetimin ayrıca bildirdiği bir noindex.
3. Gecikme: OpenAI ve Perplexity, değişikliklerin yansımasının yaklaşık 24 saat sürebileceğini söylüyor.

robots.txt kontrol aracı sözdizimini doğrular, robots.txt oluşturucu ise temiz bir dosya yazar. Sözlüğümüzdeki yapay zeka tarayıcıları maddesi her botu daha ayrıntılı açıklar.

Denetim neden site haritasına ve noindex'e bakar?

Çünkü erişim yeterli değildir: tarayıcıların sayfalarınızı bulması ve onları kullanmalarına izin verilmesi de gerekir. robots.txt içindeki bir “Sitemap:” satırı her tarayıcıyı URL listenize yönlendirir ve ana sayfadaki bir noindex arama sistemlerine siteyi dışarıda bırakmalarını söyler. Google, AI Overviews veya AI Mode'da destekleyici bir bağlantı olarak görünmek için bir sayfanın dizine eklenmiş olması ve bir snippet için uygun olması gerektiğini doğrular (Google, AI features and your website). Sayfa sayfa bir görünüm için dizine eklenebilirlik kontrolünü ve site haritası kontrolünü kullanın.

Denetimin sınırları nelerdir?

• Trafiği değil, kuralları okur: bir tarayıcının gerçekten sizi ziyaret edip etmediğini göremez. Bunu sunucu günlükleriniz gösterir.
• Eksik bir robots.txt açık sayılır: dosya okunamadığında her tarayıcı izinli gösterilir. Dosya bir sunucu hatasıyla yanıt verirse, RFC 9309'da belirtildiği gibi tarayıcılar tüm siteyi engelli sayabilir; bu yüzden durum kodunu kontrol edin.
• Güvenlik duvarları ona görünmez: CDN düzeyinde engellenen bir bot yine de izinli görünür.
• Yeni tarayıcılar sık çıkar: liste web'deki her botu değil, başlıca yapay zeka şirketlerini kapsar.

Açık kapılardan gerçek kaynak gösterimlerine

Açık bir robots.txt kaynak gösterimlerini mümkün kılar; onları kendiliğinden oluşturmaz. Tarayıcılar sizi okuyabildiğinde, ChatGPT'nin sizi gerçekten kaynak gösterip göstermediğini ChatGPT görünürlük kontrolü ile kontrol edin. Ardından Sorank yapay zeka anma takibi kaynak gösterimlerinizi ChatGPT'de, Perplexity'de, Gemini'de ve Claude'da her hafta izler; blog makalesi oluşturucu ise bu yapay zekaların alıntılamayı sevdiği sayfaları yayımlar. Bunu autopilot ile çalıştırmak için Sorank planlarına bakın.