robots.txt tarafından engellendi: Search Console durumunun anlamı ve çözümü

robots.txt tarafından engellendi durumu, Google Search Console'un sayfa dizine ekleme raporunda, sayfaların dizine eklenmeme nedenleri arasında görünür. Google'ın sayfa dizine ekleme raporu belgeleri bunu tek satırda açıklar: sayfa, sitenizin robots.txt dosyası tarafından engellendi. Bu satırın arkasında birbirinden çok farklı iki durum vardır, sağlıklı bir engel ve kazara bir engel; bir de kafa karıştıran bir akraba: "robots.txt tarafından engellenmesine rağmen dizine eklendi". Bu rehber, ikisini nasıl ayırt edeceğinizi ve başka hiçbir şeyi bozmadan her birini nasıl düzelteceğinizi gösterir. Dosyanın kendisi size yeniyse robots.txt tanımımızla başlayın.

Search Console'da "robots.txt tarafından engellendi" ne anlama gelir?

robots.txt dosyası ana makinenin kök dizininde bulunur (ornek.com/robots.txt) ve tarayıcılara hangi yolları alabileceklerini söyler. Googlebot bir URL bulduğunda, bir bağlantı ya da site haritası aracılığıyla, önce bu dosyayı kontrol eder. Kendi user-agent'ı için yolla eşleşen bir Disallow kuralı varsa sayfayı almaz. Search Console da URL'yi "robots.txt tarafından engellendi" altında listeler.

Bunun iki sonucu vardır. Google sayfanın içeriğini, başlığını, iç bağlantılarını ve meta etiketlerini göremez. Sayfayı hiç okumadığı için bir noindex etiketini de göremez. Durum, dizine eklenmeme nedenleri arasında yer alır ve çoğu site için yalnızca bilgilendiricidir: Google'ın kendisi, robots.txt tarafından engellenen URL'lerin büyük olasılıkla bilinçli olarak engellendiğini belirtir.

Sorun, liste Google'da görmek istediğiniz sayfaları içerdiğinde başlar: ürün sayfaları, makaleler, kategoriler ya da bir taşımanın ardından sitenin tamamı. Bu durumda engel, sitenin Google'da görünmemesinin doğrudan nedenidir ve en hızlı düzeltilen teknik sorunlardan biridir.

"robots.txt tarafından engellendi" mi, "Engellenmesine rağmen dizine eklendi" mi?

İkinci durum çelişkili görünür ve site sahiplerini en çok endişelendiren budur. Google'ın robots.txt'ye giriş belgesi bunu açıklar: robots.txt, bir sayfayı Google'ın dışında tutmanın yolu değildir. Başka sayfalar engellenen bir URL'ye bağlantı veriyorsa Google URL'nin kendisini taramadan dizine ekleyebilir. Sonuçta adres açıklamasız görünür, çünkü Google metni hiç okumamıştır.

Önemli olan, önce her URL için ne istediğinize karar vermektir: dizine eklenmiş mi, eklenmemiş mi. robots.txt başka bir soruyu yanıtlar (taranmış mı, taranmamış mı) ve ikisini karıştırmak hataların çoğunun kaynağıdır.

Sayfalarınız neden robots.txt tarafından engelleniyor?

Kazara engellerin çoğu birkaç nedenden kaynaklanır. Bunları şu sırayla kontrol edin:

• Canlıya taşınan bir test ortamı kuralı. Disallow: / bir test sitesini korur, yayına alma sırasında canlıya geçer ve her şeyi engeller.
• Bir CMS ayarı. WordPress'te "Arama motorlarının bu siteyi dizinlemesini engelle" seçeneği bulunur; diğer platformlarda da robots.txt'yi düzenleyen veya başlık ekleyen benzer anahtarlar vardır.
• Beklenenden geniş bir kural. Disallow: /p, yalnızca /p/ klasörünü değil, /paketler/ ve /panel/ gibi /p ile başlayan tüm yolları engeller. robots.txt kuralları yolun başlangıcıyla eşleşir.
• Joker karakterler. * herhangi bir karakter dizisiyle, $ ise URL'nin sonuyla eşleşir. Disallow: /*? parametre içeren her URL'yi engeller; bu, dizine eklenmesini istediğiniz sayfalandırılmış veya filtrelenmiş sayfaları da kapsayabilir.
• Engellenen kaynaklar. /assets/ veya /wp-includes/ klasörünü engellemek, Google'ın sayfayı oluşturmak için ihtiyaç duyduğu CSS ve JavaScript'i gizler ve içeriğinizi anlamasını zorlaştırır.
• Bir site taşıma. Yollar değişir, eski robots.txt kalır ya da yeni barındırma kendi varsayılan dosyasını sunar.
• Yanlış ana makine. Her alt alan adı ve protokolün kendi dosyası vardır: www.ornek.com üzerindeki kurallar magaza.ornek.com için geçerli değildir.

Google'ın en özgül kuralı (eşleşen en uzun yolu) uyguladığını ve eşit derecede özgül bir Allow ile Disallow çakıştığında en az kısıtlayıcı olanın kazandığını unutmayın. Hedefli bir Allow: /blog/ bu nedenle daha geniş bir engelin altındaki bir klasörü yeniden açabilir.

"robots.txt tarafından engellendi" adım adım nasıl düzeltilir

1. Etkilenen URL'leri dışa aktarın

Google Search Console'da Dizin oluşturma, ardından Sayfalar bölümünü açın ve "robots.txt tarafından engellendi" satırına tıklayın. Listeyi dışa aktarıp klasöre göre sıralayın. Genellikle bir dakika içinde bir örüntü görürsünüz: tek bir dizin, tek bir parametre, tek bir alt alan adı.

2. Bilinçli engelleri hatalardan ayırın

Her örüntüyü "engelli kalsın" veya "Google'da olmalı" olarak işaretleyin. Sepetler, ödeme adımları, müşteri hesapları, site içi arama sonuçları ve yönetim alanları ilk gruba girer. Bir arama sorgusunu yanıtlayan, bağlantı alan veya XML site haritanızda bulunan her şey ikinci gruba. Hem site haritasında olan hem de engellenen bir URL, çözülmesi gereken bir çelişkidir.

3. Eşleşen kuralı bulun

Örnek bir URL için URL Denetimi aracını açın: taramaya izin verilip verilmediğini gösterir. Ardından canlı dosyayı okuyun ya da URL'yi ücretsiz robots.txt denetleyicimize yapıştırarak hangi satırın onu hangi user-agent için engellediğini görün.

4. Dosyayı düzenleyin

Kuralı kaldırın veya daraltın ya da daha özgül bir Allow ekleyin. Değişikliği en aza indirin ve hem engelini kaldırmak istediğiniz bir URL'de hem de engelli kalması gereken bir URL'de test edin. Dosya dağınıksa robots.txt oluşturucumuzla temiz bir sürüm hazırlayın ve yayınlamadan önce karşılaştırın.

5. Google'ın yeni dosyayı okumasını sağlayın

Google'ın robots.txt spesifikasyonuna göre Google robots.txt dosyasını genellikle 24 saate kadar önbellekte tutar. Süreci hızlandırmak için Ayarlar'ı, ardından Search Console'daki robots.txt raporunu açın (alan adı düzeyindeki mülkler için kullanılabilir) ve dosya için yeniden tarama isteyin. Ardından URL Denetimi'nde engeli kaldırılan en önemli URL'leriniz için dizine ekleme isteyin.

6. Doğrulayın ve izleyin

Sorun sayfasında "Düzeltmeyi doğrula" düğmesine tıklayın. Doğrulama birkaç günden birkaç haftaya kadar sürebilir ve yeni URL'ler Google onları yeniden taradıkça kontrol edilir. Google'da dizine ekleme rehberimiz, taramadan sonra, Google bir sayfanın tutulmaya değer olup olmadığına karar verirken neler olduğunu açıklar.

"robots.txt tarafından engellenmesine rağmen dizine eklendi" nasıl düzeltilir

Çözüm, sayfa için ne istediğinize bağlıdır:

1. Sayfanın Google'da olmasını istiyorsunuz. Engeli kaldırın. Google sayfayı tarar, içeriğini okur ve başlık ile açıklama içeren normal bir sonuç gösterir.
2. Sayfanın Google'da olmasını istemiyorsunuz. Yine engeli kaldırın, ardından head bölümüne <meta name="robots" content="noindex"> ya da PDF'ler ve diğer dosyalar için X-Robots-Tag: noindex HTTP başlığı ekleyin. Google sayfayı yeniden tarayıp kaldırdıktan sonra, tarama hacmi önemliyse yeniden engelleyebilirsiniz; ancak çoğu sitenin buna hiç ihtiyacı olmaz. noindex tanımımız seçenekleri açıklar.
3. Sayfa herkese açık olmamalı. Şifreyle koruyun veya kaldırın (404 ya da 410). Ne robots.txt ne de noindex bir güvenlik önlemidir.

Binlerce filtre URL'si içeren yönlü gezinmede, tarama bütçesini korumak için robots.txt engeli doğru araç olmaya devam edebilir. Bu URL'lerin birkaçındaki "engellenmesine rağmen dizine eklendi" uyarısı, kategorilerinizin standart sürümleri taranabilir ve dizine eklenmiş olduğu sürece kabul edilebilir.

Düzeltmenin işe yaradığını nasıl kontrol edersiniz

Başarılı bir düzeltmeyi üç sinyal doğrular. Canlı URL'nin URL Denetimi "Taramaya izin verildi: Evet" gösterir. Sayfa dizine ekleme raporundaki engellenen sayfa sayısı sonraki haftalarda düşer. Engeli kaldırılan sayfalar da Performans raporunda gösterim toplamaya başlar. Ücretsiz dizine eklenebilirlik denetleyicimizle hızlı bir kontrol, robots.txt hatalarına sıkça eşlik eden diğer engelleri de yakalar: unutulmuş bir noindex, hatalı bir standart URL etiketi veya bir yönlendirme.

İzleme önemlidir, çünkü bu hatalar geri gelir. Bir tema güncellemesi, bir eklenti veya bir dağıtım betiği, kimse fark etmeden robots.txt'yi yeniden yazabilir. Tıklamaları ve gösterimleri aniden düşen sayfaları takip etmek en hızlı erken uyarıdır.

Sorank GEO / SEO Panosu Search Console'a bağlanır ve yükselen ve düşen bu sayfaları tek bir görünümde gösterir. Böylece bir dağıtımla gelen engel, yavaş ve açıklanamayan bir kayıp olarak değil, düşüşteki bir URL grubu olarak ortaya çıkar.

robots.txt, yapay zeka tarayıcıları ve GEO

robots.txt'nin artık ikinci bir kitlesi var: yapay zeka asistanlarının tarayıcıları. OpenAI, Anthropic, Perplexity ve Google, robots.txt'ye uyan kendi user-agent'larını yayınlar (GPTBot ve OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended). Bunlardan biri için yazılmış bir kural ya da genel bir User-agent: * engeli, ChatGPT, Claude veya Perplexity'nin bir yanıt oluşturmak için web'de arama yaparken sayfalarınızı okuyup okuyamayacağını belirler.

Google'daki mantık burada da geçerlidir: her bot için ne istediğinize karar verin. Eğitim tarayıcılarını engelleyip arama tarayıcılarına izin vermek yaygın bir orta yoldur. Yapay zeka tarayıcıları için robots.txt rehberimiz user-agent'ları ve her biri için kuralları listeler. Sözlükteki yapay zeka tarayıcıları maddesi de hangi botun ne yaptığını açıklar.

Bu tercihlerin etkisini görmek için işiniz açısından önemli istemleri takip edin. Sorank'taki Yapay Zeka Anma Takibi, ChatGPT, Gemini veya Claude'un sitenizi alıntılayıp alıntılamadığını ve sizin yerinize hangi rakipleri alıntıladığını gösterir.

Akılda tutulacak kural

robots.txt tarayıcıların neyi okuyabileceğine, noindex ise arama sonuçlarının neyi gösterebileceğine karar verir. Engelleri arama değeri olmayan alanlara ayırın, dizine eklenmesini ya da dizinden çıkarılmasını istediğiniz bir sayfayı asla engellemeyin ve her taşıma veya dağıtımdan sonra sayfa dizine ekleme raporuna bakın. "robots.txt tarafından engellendi" sorunlarının çoğu, sorumlu kural bulunduğunda dakikalar içinde çözülür; Sorank'ın Search Console panosu da bir sonrakini trafiğe mal olmadan fark etmenize yardımcı olur.