Özet
Ücretsiz robots.txt kontrol aracı, herhangi bir alan adının canlı robots.txt dosyasını okur ve kural gruplarını, site haritalarını, bulduğu sorunları ve GPTBot ile OAI-SearchBot'tan ClaudeBot, PerplexityBot ve Google-Extended'a kadar 14 yapay zeka tarayıcısının durumunu (izinli, kısmi veya engelli) gösterir. Dosyada her değişiklikten sonra ve sayfalarınız Google'da ya da yapay zeka yanıtlarında görünmeyi bıraktığında kullanın.
Daha fazlasını mı istiyorsunuz? Sorun:
Bir robots.txt kontrol aracı, tüm bir siteyi sessizce engelleyen satırı yakalar. robots.txt, her büyük tarayıcının bir siteyi ziyaret etmeden önce okuduğu herkese açık bir standarttır (RFC 9309) ve yapay zeka tarayıcıları, ele alması gereken bot sayısını çoğaltmıştır. Mayıs 2024 ile Mayıs 2025 arasında GPTBot'un yapay zeka tarayıcı trafiğindeki payı %5'ten %30'a çıktı ve Meta-ExternalAgent %19'a ulaştı (Cloudflare, who's crawling your site in 2025). Dosyanızın hepsine makul bir şey söylemesi gerekir.
robots.txt kontrol aracı neyi gösterir?
Bir alan adı girin; araç https://yourdomain/robots.txt adresini çeker, yönlendirmeleri izler, dosyayı ayrıştırır ve beş blok döndürür.
| Blok | Ne gösterir | Neye bakmalı |
|---|---|---|
| Kural grupları | Dosyanın kaç User-agent grubu içerdiği | Sıfır, sözdiziminin okunamadığı anlamına gelir |
| Site haritaları | Bulunan her Sitemap satırı | Site haritanıza en az bir tam URL |
| Engellenen yapay zeka botları | 14 yapay zeka tarayıcısından kaçının tamamen engellendiği | Yalnızca engellemeyi seçtikleriniz |
| Sorunlar | Tespit edilen sorunlar ve bir öneri | Sıfır ya da yalnızca bilinçli tercihler |
| Ham dosya | Sunulduğu haliyle robots.txt | Yayımladığınızı düşündüğünüz dosya olup olmadığı |
Alan adının robots.txt dosyası yoksa ya da düz metin yerine bir HTML sayfası döndürüyorsa, araç bunu söyler ve bir dosya eklemenizi önerir. Ücretsiz sürüm günde 3 kontrol yapar.
Kontrol aracı bir yapay zeka botunun engelli olup olmadığına nasıl karar verir?
14 yapay zeka tarayıcısının her biri için araç, botu adıyla anan bir grup arar. Yoksa User-agent: * grubunu kullanır. Ardından üç durum uygular.
| Durum | Grupta bulunan kural | Anlamı |
|---|---|---|
| İzinli | Hiçbir grup uygulanmıyor ya da grupta Disallow kuralı yok | Bot tüm siteyi tarayabilir |
| Kısmi | Yalnızca bazı yollarda Disallow kuralları | Bot bu yollar dışında siteyi tarayabilir |
| Engelli | Allow: / olmadan Disallow: / | Bottan tüm sitenin dışında kalması istenir |
Kontrol edilen 14 tarayıcı şunlardır: GPTBot, OAI-SearchBot ve ChatGPT-User (OpenAI), ClaudeBot, Claude-Web ve anthropic-ai (Anthropic), PerplexityBot ve Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) ve Meta-ExternalAgent. Tablo ayrıca her botun sağlayıcısını ve amacını gösterir; böylece eğitimi mi, aramayı mı yoksa canlı gezintiyi mi engellediğinizi bir bakışta görebilirsiniz.
Hangi yapay zeka tarayıcılarına izin vermelisiniz?
Sayfalarınızı yapay zeka arama yanıtlarına koyan tarayıcılara izin verin. Eğitim tarayıcılarını engellemek bir ticari tercihtir; arama tarayıcılarını engellemek genellikle bir hatadır.
- OAI-SearchBot: dışarıda kalmayı seçen siteler ChatGPT arama yanıtlarında gösterilmez. GPTBot yalnızca model eğitimiyle ilgilidir ve iki ayar birbirinden bağımsızdır (OpenAI crawlers overview).
- PerplexityBot: web sitelerini Perplexity sonuçlarında gösterir ve bağlantılar, temel modelleri eğitmek için kullanılmaz (Perplexity crawlers).
- Google-Extended: Google Arama'da yer almayı veya sıralamayı etkilemeyen, Gemini eğitimi ve temellendirmesi için bir belirteç (Google common crawlers).
- Anthropic: ClaudeBot eğitim verisi toplar; Claude-SearchBot ve Claude-User ise arama ve kullanıcı isteklerine hizmet eder. Bu ikisini engellemek Claude'daki görünürlüğünüzü azaltabilir (Anthropic crawler policy).
Çoğu site hiç karar vermez. 6 Haziran 2025'te robots.txt dosyası olan ilk 10000 alan adının yalnızca yaklaşık %14'ünde yapay zeka botlarını hedefleyen kurallar vardı ve aynı Cloudflare çalışmasına göre GPTBot hem en çok engellenen (312 alan adı) hem de en çok açıkça izin verilen (61 alan adı) bottu. Dosyada adı geçmeyen botlara varsayılan olarak izin verilir.
En yaygın sorunlar ne anlama gelir?
| Bildirilen sorun | Neden önemli | Düzeltme |
|---|---|---|
| User-agent: * tüm siteden engellenmiş | Kendi grubu olmayan her tarayıcıdan, Googlebot dahil, dışarıda kalması isteniyor | Site bir hazırlık kopyası değilse, * grubundan Disallow: / kaldırın |
| Sitemap yönergesi yok | Site haritasını hiç göndermediğiniz Bing veya yapay zeka tarayıcıları gibi tarayıcılar onu bulamayabilir | Sitemap: https://yourdomain/sitemap.xml ekleyin |
| Adı belli bir yapay zeka botu engelli | O sağlayıcı sayfalarınızı taramaz | Yalnızca o botu engellemek bilinçli bir tercihse bırakın |
| Hiç User-agent grubu ayrıştırılmadı | Dosyada geçerli kural yok, bu yüzden hiçbir şeyi kısıtlamaz | Sözdizimini kontrol edin: Field: value, satır başına bir kural |
| robots.txt bulunamadı | Kendi başına bir hata değil: Google o zaman her şeyi tarar | Site haritanızı ve yapay zeka tercihlerinizi bildirmek için yine de bir dosya ekleyin |
Eksik veya bozuk bir dosyayı Google, HTTP durumuna göre farklı ele alır. Bir 4xx yanıtı (429 hariç) kısıtlama olmadığı anlamına gelir. Bir 5xx yanıtı sunucu hatası olarak ele alınır: Google taramayı 12 saat duraklatır, ardından 30 güne kadar son sağlam kopyasını kullanır (Google, how Google interprets the robots.txt specification). Sunucu hatalarıyla başarısız olmaya devam eden bir robots.txt, bu nedenle sağlıklı bir sitenin taramasını dondurabilir.
Bir robots.txt sorununu adım adım nasıl düzeltirsiniz?
- Gerçekte neyin çevrimiçi olduğunu doğrulamak için raporda ham dosyayı okuyun. CDN önbellekleri ve hazırlık dağıtımları çoğu zaman eski bir sürüm sunar.
- Temiz grupları, Allow ve Disallow kurallarını ve Sitemap satırını oluşturan robots.txt oluşturucu ile dosyayı yeniden yazın.
- Her ana makinenin köküne yükleyin. blog.example.com gibi bir alt alan adının kendi dosyasına ihtiyacı vardır.
- Kontrol aracını yeniden çalıştırın ve durumların değiştiğini doğrulayın.
- Düzeltme acilse Google'a bildirin. Search Console'daki robots.txt raporu, en çok kullanılan 20 ana makineniz için Google'ın bulduğu dosyaları gösterir ve yeniden tarama istemenize izin verir (Search Console Help, robots.txt report). Aksi halde Google önbellekteki kopyasını yaklaşık 24 saat içinde yeniler.
Ardından sayfaların kendilerini kontrol edin. robots.txt içinde açık bir sayfa, bir noindex etiketi ya da başka bir yere işaret eden bir canonical nedeniyle yine de dizinin dışında tutulabilir: dizine eklenebilirlik kontrolü bunların hepsini tek bir URL'de test eder. Yapay zeka tarayıcılarının neyi okuyabildiğini site genelinde görmek için yapay zeka taranabilirlik denetimini çalıştırın.
robots.txt kontrol aracının sınırları nelerdir?
- Durumlar bot başına özetlenir, URL başına değil. “Kısmi”, bazı yolların kapalı olduğunu söyler; hangileri olduğunu görmek için kuralları okuyun.
- Bot başına bir grup. Aynı bot için kuralları birkaç gruba bölerseniz Google bunları birleştirir. Bu durumda ham dosyayı okuyun.
- Yalnızca kök alan adı. Araç, girdiğiniz alan adının dosyasını www olmadan okur ve yönlendirmeleri izler. Her alt alan adını ayrıca kontrol edin.
- 14 botluk bir liste. Claude-SearchBot ve Claude-User gibi daha yeni kullanıcı aracıları henüz tabloda değil: onları ham dosyada arayın.
- robots.txt bir istektir. Saygın tarayıcılar ona uyar, kötüye kullananlar uymaz ve ChatGPT-User veya Perplexity-User gibi bir kullanıcı tarafından tetiklenen çekmeler, OpenAI ve Perplexity'nin ikisinin de belgelediği gibi, onu uygulamayabilir.
Bu kontrollerin ardındaki terimler için sözlüğümüzdeki robots.txt ve yapay zeka tarayıcıları maddelerine bakın.
Yapay zeka asistanlarının sizi bulup kaynak gösterebildiğinden nasıl emin olursunuz?
Açık bir robots.txt koşuldur, sonuç değildir. Tarayıcılar sitenizi okuyabildiğinde, yapay zeka asistanlarının onu gerçekten kullanıp kullanmadığını ölçün.
- ChatGPT'nin, Claude'un, Gemini'nin ve Perplexity'nin sizi anıp anmadığını ve hangi kaynakları gösterdiğini her hafta kontrol eden Sorank yapay zeka anma takibi ile markanızı yapay zeka yanıtlarında takip edin.
- GEO ve SEO panosunda yapay zeka ziyaretlerini Google tıklamalarınızın yanında izleyin.
- Takviminizi dolduran ve zamanlanmış olarak yayımlayan blog içerik planlayıcı ile tarayıcılara okumaları için taze sayfalar sunun.
robots.txt içindeki tek bir yanlış satır, bir siteyi aynı anda Google'dan ve her yapay zeka asistanından gizleyebilir. Her değişiklikten sonra yukarıda kendi dosyanızı kontrol edin, ardından taranabilirliğinizi ve yapay zeka görünürlüğünüzü autopilot ile izlemek için Sorank planlarına bakın.
