Özet
Ücretsiz robots.txt oluşturucu, tarayıcılara sitenizin hangi bölümlerini ziyaret edebileceklerini söyleyen dosyayı yazar. Bir mod seçin (her şeye izin ver, her şeyi engelle veya özel), user-agent'larınızı ve yollarınızı listeleyin, site haritası URL'nizi ekleyin, ardından dosyayı kopyalayın veya indirin ve alan adınızın kök dizinine yükleyin. Unutmayın: robots.txt dizine eklemeyi değil, taramayı denetler. Bir sayfayı Google'ın dışında tutmak için bunun yerine noindex kullanın.
Daha fazlasını mı istiyorsunuz? Sorun:
Bir robots.txt oluşturucu, bir sitenin tamamını yanlışlıkla engelleyen küçük sözdizimi hatalarından sizi kurtarır. Dosya, 1994'te Martijn Koster tarafından oluşturulan ve Eylül 2022'de IETF tarafından internet standardı olarak yayımlanan Robots Exclusion Protocol'ü izler (RFC 9309, Robots Exclusion Protocol). Googlebot'tan ChatGPT, Claude ve Perplexity botlarına kadar her ciddi tarayıcı önce bunu okur.
Robots.txt oluşturucu ne yapar?
Siz yazdıkça sağda canlı bir önizleme, bir Kopyala düğmesi ve robots.txt adlı bir dosya kaydeden bir İndir düğmesiyle geçerli bir robots.txt oluşturur. Hiçbir şey bir sunucuya gönderilmez: dosya tarayıcınızda hazırlanır.
| Ayar | Ne yazar? | Ne zaman kullanılır? |
|---|---|---|
| Her şeye izin ver | User-agent: * ve Allow: / | Tarayıcılardan saklayacak bir şeyi olmayan çoğu herkese açık site |
| Her şeyi engelle | User-agent: * ve Disallow: / | Taranmaması gereken hazırlık veya önizleme siteleri |
| Özel | Bot başına bir User-agent satırı, ardından Disallow ve Allow yollarınız | Yönetim alanlarını, site içi aramayı veya belirli bir botu engelleme |
| Site haritası URL'si | Sitemap: https://example.com/sitemap.xml | Her zaman, böylece her tarayıcı site haritanızı bulur |
| Crawl-delay | Crawl-delay: 1 ile 120 saniye arası | Yalnızca bunu destekleyen botlar ve zorlanan bir sunucu için |
Özel modda, listelediğiniz tüm user-agent'lar aynı kuralları paylaşır; standart bir grubu böyle tanımlar. Farklı botlara farklı kurallar vermek için her seferinde bir grup oluşturun ve bunları aynı dosyada art arda yapıştırın.
Adım adım bir robots.txt dosyası nasıl oluşturulur?
- Modu seçin. Bir şeyi engellemek için nedeniniz yoksa "Her şeye izin ver" ile başlayın.
- Özel modda user-agent'larınızı listeleyin, satır başına bir tane: tüm tarayıcılar için
*ya da Googlebot, Bingbot veya GPTBot gibi adlar. - Engellenecek yolları (Disallow) ve açık tutulacak istisnaları (Allow) satır başına bir tane olacak şekilde ekleyin; her biri eğik çizgiyle başlar.
- Site haritası URL'nizi https ve alan adıyla birlikte tam olarak yapıştırın.
- Dosyayı kopyalayın veya indirin ve ana makinenizin kök dizinine yükleyin; böylece
https://example.com/robots.txtadresinde yanıt verir. - Canlı ortamda test edin: canlı dosyayı okuyan ve her yapay zeka tarayıcısının durumunu gösteren ücretsiz robots.txt kontrol aracıyla.
Konum katıdır. Google yalnızca bir ana makinenin kök dizinindeki robots.txt dosyasını okur, bir sitede yalnızca bir tane olabilir ve dosya yalnızca yayımlandığı protokol, ana makine ve bağlantı noktası için geçerlidir: bir alt alan adının kendi dosyası olmalıdır (Google, robots.txt dosyası oluşturma ve gönderme).
Google hangi robots.txt kurallarını izler?
Google dört alanı destekler: user-agent, allow, disallow ve sitemap. Crawl-delay gibi diğer alanlar desteklenmez (Google, Google'ın robots.txt belirtimini nasıl yorumladığı). Aynı sayfa aşağıdaki kuralları belirler.
| Kural | Google nasıl uygular? |
|---|---|
| En belirgin kural kazanır | Allow ve Disallow bir URL ile eşleştiğinde, en uzun yola sahip kural geçerli olur |
| Kurallar arasında eşitlik | Eşleşen iki kural eşit derecede belirgin olduğunda Google en az kısıtlayıcı olanı kullanır |
| Joker karakterler | * herhangi bir karakter dizisiyle eşleşir, $ URL'nin sonunu işaretler |
| Büyük/küçük harf | Alan adları büyük/küçük harfe duyarsızdır, ancak yollar duyarlıdır: /Admin/, /admin/ değildir |
| Dosya boyutu | İlk 500 KiB'den sonraki içerik yok sayılır |
| Önbellek | Dosya genellikle 24 saate kadar önbelleğe alınır, bu yüzden bir değişiklik anında geçerli olmaz |
| Eksik dosya (4xx) | Hiçbir kısıtlama yokmuş gibi ele alınır: her şey taranabilir |
| Sunucu hatası (5xx) | Google taramayı 12 saat durdurur, ardından 30 güne kadar son sağlam kopyayı kullanır |
İşte bir online mağaza için tipik bir dosya. Sepeti, ödeme sayfasını ve site içi aramayı engeller, herkese açık bir klasörü açık tutar ve site haritasını bildirir.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Disallow bir sayfayı Google'dan kaldırır mı?
Hayır. Robots.txt, bir web sayfasını Google'ın dışında tutma mekanizması değildir. Engellenmiş bir URL, başka siteler ona link veriyorsa yine de dizine eklenebilir ve o zaman açıklamasız görünür (Google, robots.txt'e giriş). Bir sayfayı gizlemek için Google'ın onu taramasına izin verin ve bir noindex meta etiketi veya HTTP üstbilgisi ekleyin. Sayfayı aynı anda robots.txt'te engellemek, Google'ın noindex'i hiç görmemesine yol açar.
Sonucu sayfa sayfa, robots.txt'i, meta robots'u, X-Robots-Tag'i ve canonical'ı birlikte okuyan dizine eklenebilirlik kontrol aracıyla doğrulayın. Terimler için robots.txt ve tarama ve dizine ekleme sözlük maddelerimize bakın.
Yapay zeka tarayıcılarını robots.txt'te engellemeli misiniz?
İsterseniz model eğiten botları engelleyin, ama yapay zeka aramasını besleyen botları açık tutun. Büyük sağlayıcılar artık ikisini ayırıyor; dolayısıyla içeriğinizi korumak ile alıntılanmak arasında seçim yapmak zorunda değilsiniz.
| Sağlayıcı | Eğitim botu | Arama veya yanıt botu | Arama botunu engellemenin bedeli |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Sayfalarınız ChatGPT arama yanıtlarında gösterilmez |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude'un arama sonuçlarında daha az görünürlük |
| Perplexity | Listelenmemiş | PerplexityBot | Sayfalarınız Perplexity sonuçlarında öne çıkarılmayabilir veya bağlantı verilmeyebilir |
| Google-Extended (ayrı bir bot değil, bir belirteç) | Googlebot | Google-Extended, Google Arama'yı veya sıralamaları etkilemez |
Kaynaklar: OpenAI tarayıcılarına genel bakış, Anthropic tarayıcı politikası, Perplexity tarayıcıları ve Google ortak tarayıcıları. Eğitimi reddederken ChatGPT tarafından alıntılanabilir kalmak için yalnızca şu iki satırı içeren bir dosya yeterlidir, çünkü diğer tüm botlara varsayılan olarak izin verilir:
User-agent: GPTBot Disallow: /
Eğilim gerçektir: tek bir yılda (2023 ile 2024 arası), C4 eğitim veri kümesinin en aktif biçimde sürdürülen kaynaklarının %28'i veya daha fazlası yapay zeka tarayıcılarına tamamen kapatıldı (Longpre ve ark., Consent in Crisis, 2024). Bu eğilimi izlemeden önce, engellemenin yapay zeka yanıtlarında size neye mal olduğunu kontrol edin: Sorank yapay zeka anma takibi, ChatGPT, Claude, Gemini ve Perplexity'nin markanızı anıp anmadığını her hafta gösterir.
Hangi robots.txt hataları SEO'ya en çok zarar verir?
- Yayından sonra Disallow: / bırakmak. Hazırlık ortamı dosyaları sık sık canlıya geçer. Tek bir satır, her tarayıcıyı sitenin tamamından engeller.
- CSS ve JavaScript'i engellemek. Eksik kaynaklar sayfayı anlamayı zorlaştırıyorsa Google bunları engellememeyi önerir.
- Sondaki eğik çizgiyi unutmak.
Disallow: /adminaynı zamanda/administrationve/admin-guideyollarını da engeller. Yalnızca klasörü engellemek için/admin/yazın. - Google için Crawl-delay'e güvenmek. Google bunu yok sayar. Anthropic uzantıyı desteklediğini söylüyor; bu yüzden onu yalnızca okuyan botlar için tutun.
- Robots.txt'i güvenlik aracı olarak kullanmak. Dosya herkese açıktır ve herkes okuyabilir. Özel alanları, doğrudan onlara işaret eden bir Disallow satırıyla değil, bir oturum açma ile koruyun.
- WordPress istisnasını unutmak. Varsayılan WordPress dosyası
/wp-admin/yolunu engeller ama ön yüz özelliklerinin kullandığı/wp-admin/admin-ajax.phpyoluna izin verir (WordPress geliştirici başvurusu).
Yayımladıktan sonra robots.txt dosyanızı nasıl kontrol edersiniz?
En hızlıdan en eksiksize üç kontrol kullanın.
- URL'yi açın: tarayıcıda
https://yourdomain.com/robots.txt. Bir HTML sayfası veya 404 değil, düz metin görmelisiniz. - Robots.txt kontrol aracını çalıştırın; kural gruplarını, site haritalarını, sorunları ve 14 yapay zeka user-agent'ının durumunu listeler.
- Search Console'daki robots.txt raporunu açın. Google'ın sitenizin ilk 20 ana makinesi için bulduğu dosyaları, son taramayı ve uyarıları gösterir; acil bir düzeltmeden sonra yeniden tarama istemenizi sağlar (Search Console Yardım, robots.txt raporu).
Ardından kurulumu tamamlayın: XML site haritası oluşturucu ile temiz bir site haritası ve yapay zeka asistanlarına önemli sayfalarınızın özetini veren llms.txt oluşturucu ile bir llms.txt dosyası üretin.
Oluşturulmuş bir robots.txt'in sınırları nelerdir?
Oluşturucu doğru sözdizimi yazar, ama sitenizi bilemez. Engellenen bir yolda sıralanmasını istediğiniz sayfaların olup olmadığını kontrol etmez ve her seferinde bir grup yazar. Kötü botlar dosyayı tamamen yok sayar: robots.txt bir duvar değil, bir istektir; bu yüzden kötüye kullanım amaçlı trafiği sunucu veya güvenlik duvarı düzeyinde engelleyin. Son olarak, protokol yalnızca taramayı kapsar. ChatGPT-User veya Perplexity-User gibi bir kullanıcı isteğiyle getirilen bir sayfa, her iki sağlayıcının belgelerinde belirttiği gibi robots.txt kurallarını izlemeyebilir.
Sitenizi taranması ve alıntılanması kolay hale nasıl getirirsiniz?
Temiz bir robots.txt ilk adımdır. Sonraki adımlar, taranmaya değer sayfalar yayımlamak ve tarayıcıların gerçekten geri geldiğini kontrol etmektir.
- Taramanızı ve trafiğinizi, Search Console'u, Analytics'i ve ChatGPT ile Perplexity'den gelen ziyaretleri bir araya getiren GEO ve SEO panosunda izleyin.
- Pazarınızda yapay zeka asistanlarının hangi siteleri alıntıladığını ve aralarında kaçıncı sırada olduğunuzu GEO liderlik tablosuyla görün.
- Düzenli yayımlayın: blog makalesi oluşturucusuyla, böylece tarayıcılar her zaman yeni bir şey bulur.
İki dakikalık bir robots.txt, tarama bütçenizi ve yapay zeka görünürlüğünüzü aynı anda korur. Kendi dosyanızı yukarıda oluşturun, kontrol aracıyla test edin, ardından sitenizi autopilot ile taranabilir ve alıntılanır tutmak için Sorank planlarına göz atın.
