Tarama hatalarını bulun ve düzeltin: DNS, sunucu, robots.txt, 404, soft 404 ve yönlendirme hataları. Googlebot'un tepkisi ve sırayla düzeltmek için 6 adımlı yöntem.

Bu sayfada
Kısaca
tarama hataları, bir arama motoru veya yapay zekâ tarayıcısının sitenize yaptığı ve başarısız olan isteklerdir: sunucu zaman aşımına uğrar, DNS yanıt vermez, robots.txt alınamaz, bir yönlendirme döngüye girer ya da sayfa 4xx veya 5xx kodu döndürür. Site düzeyindeki hatalar (DNS, sunucu, robots.txt) Google'ın tüm sitenizi taramasını durdurabilir, bu yüzden önce onları düzeltin; URL düzeyindeki hatalar (404, soft 404, yönlendirme hataları) yalnızca dizine eklenmesini istediğiniz sayfaları etkilediğinde önemlidir. Bunları Search Console'daki Tarama İstatistikleri ve Sayfa dizine ekleme raporlarında bulur, bir tarayıcı ve sunucu günlükleriyle doğrular, ardından nedeni giderip düzeltmeyi doğrularsınız.
Daha fazlasını mı istiyorsunuz? Sorun:
Kısa test
Sitenizin teknik tarafını kim düzeltmeli?
Size önerimiz
adım: önce ana makineyi kontrol edin sizin için doğru çözüm
Bu sıralamada 1. sırada, yanıtlarınıza en uygun seçenek.
Size önerimiz
adım: dışa aktarın ve kalıba göre gruplayın sizin için doğru çözüm
Bu sıralamada 2. sırada, yanıtlarınıza en uygun seçenek.
Size önerimiz
adım: iş değerine göre sıralayın sizin için doğru çözüm
Bu sıralamada 3. sırada, yanıtlarınıza en uygun seçenek.
Size önerimiz
adım: kök nedeni düzeltin sizin için doğru çözüm
Bu sıralamada 4. sırada, yanıtlarınıza en uygun seçenek.
Bir tarayıcı çok sabırlı bir ziyaretçi gibi çalışır. Sunucunuzdan bir URL ister, yanıt bekler, durum kodunu ve içeriği okur, sonra bulduğu bağlantılara geçer. Tarama hatası, bu zincirde başarısız olan herhangi bir adımdır. Ziyaretçi hiçbir zaman kullanılabilir bir sayfa alamaz.
Bu tanım önemlidir, çünkü birçok rapor tarama hatalarını dizine ekleme kararlarıyla karıştırır. "Tarandı, şu anda dizine eklenmedi" bir tarama hatası değildir: Google sayfayı sorunsuz aldı ve saklamamayı seçti. "noindex ile hariç tutuldu" da tarama hatası değildir: sayfayı kaldırmasını Google'a siz söylediniz. Tarama hatası, getirme işleminin kendisinin bozulduğu anlamına gelir.
Google sorunları iki düzeye ayırır, siz de ayırmalısınız.
Site hataları ve URL hataları
404 döndüren 4000 eski ürün URL'si olan bir mağaza, o ürünler kalıcı olarak kaldırıldıysa tamamen sağlıklı olabilir. Aynı mağazanın robots.txt dosyası altı saat boyunca 503 döndürüyorsa, her ürün sayfası çalışsa bile gerçek bir acil durum vardır. Önce ana makineyle, sonra para kazandıran URL'lerle, en son geri kalanlarla başlayın.
Tarama hatalarını iyi düzeltmek için Google'ın bir hatayla karşılaştığında gerçekte ne yaptığını bilmeniz gerekir. Google'ın HTTP durum kodlarının, ağ ve DNS hatalarının Google Arama'yı nasıl etkilediğine dair belgesi (Google Search Central) kuralları verir. Uygulamada anlamları şöyledir.
| Yanıt | Google ne yapar | Sorun mu? |
|---|---|---|
| 2xx | İçeriği dizine eklemeye aktarır. Dizine eklenme garanti değildir. | Hayır, sayfa boş değilse (soft 404). |
| 301, 308 | Hedefin yeni URL olduğuna dair güçlü sinyal. | Hayır, 200'e tek atlamaysa. |
| 302, 303, 307 | Zayıf sinyal: orijinal URL genellikle standart (kanonik) olarak kalır. | Evet, taşıma kalıcıysa. |
| 3xx zincirleri | Varsayılan olarak en fazla 10 atlamayı izler, sonra vazgeçer. | Evet: her atlama bir isteği boşa harcar ve döngüler hiç çözülmez. |
| 404, 410, diğer 4xx (429 hariç) | İçeriği yok sayar, dizindeki URL'leri zamanla kaldırır, onları daha seyrek tarar. | Yalnızca sayfanın var olması gerekiyorsa. |
| 401, 403 | Diğer 4xx ile aynı. Taramayı yavaşlatmazlar. | Evet, Googlebot'u herkese açık sayfalardan engelliyorlarsa. |
| 429 | 5xx gibi sunucu aşırı yük sinyali olarak değerlendirilir. | Evet: tarama yavaşlar. |
| 5xx | Taramayı hatalarla orantılı olarak yavaşlatır. Sürekli başarısız olan URL'ler dizinden kaldırılır. | Evet, her zaman. |
İki ayrıntı birçok ekibi yanıltır. Birincisi, 401 ve 403 tarama hızını düşürmez. Sunucunuz zorlanıyorsa Googlebot'a 403 döndürmek işe yaramaz; Google bunun yerine geçici olarak 503 veya 429 döndürmenizi ister. İkincisi, 404 bir ceza değildir. Artık olmayan bir sayfa için doğru yanıttır.
Google'ın Tarama İstatistikleri raporu belgesi (Search Console Yardım) kuralı açıklar. 200 (boş olsa bile) ya da 403, 404 veya 410 (dosya yok) yanıtı veren bir robots.txt sorun değildir. 429 veya 5xx yanıtı veren bir robots.txt bir hatadır ve Google o zaman temkinli davranır.
robots.txt sürekli başarısız olduğunda Google ne yapar
Kaynak: Google Search Console Yardım, Tarama İstatistikleri raporu
Yani /robots.txt için 503 sunan bir CDN kuralı veya güvenlik duvarı, diğer tüm URL'ler sorunsuz olsa bile tüm sitenizi yarım gün dondurabilir. Her tarama hatası incelemesinde önce bu dosyayı kontrol edin. "robots.txt tarafından engellendi" durumu rehberimiz tersi sorunu ele alır: dosya çalışır ama fazla şey engeller.
Akılda tutulması gereken Google tarama sınırları
Kaynaklar: Google Search Central, HTTP durum kodları ve ağ hataları; Search Console Yardım, Tarama İstatistikleri raporu

Search Console'da ve tarayıcılarda karşılaşacağınız tam liste, her biri için neden ve düzeltmeyle birlikte burada. Adlar Google'ın Sayfa dizine ekleme raporu belgesinden (Search Console Yardım) alınmıştır.
Google alan adınızı bir IP adresine çeviremedi ya da DNS sunucusu yanıt vermedi. Sık nedenler: süresi dolmuş alan adı, DNS sağlayıcısı kesintisi, taşıma sonrası yanlış kayıt veya hatalı DNSSEC yapılandırması. Kendi ağınızın dışından bir sorguyla kontrol edin:
dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec
Düzeltme: kayıtları düzeltin, her taşımadan önce TTL'yi düşürün ve yedekliliği olan bir DNS sağlayıcısı kullanın. Hem example.com hem www.example.com varsa, biri yalnızca yönlendirse bile ikisi de çözümlenmelidir.
Sunucu zamanında yanıt vermedi, bağlantıyı kapattı ya da 500, 502, 503 veya 504 ile yanıt verdi. Tipik nedenler: aşırı yüklenmiş veritabanı, yük altında çöken bir PHP veya Node süreci, ters proxy zaman aşımı, bir eklenti güncellemesi ya da botları sınırlayan bir güvenlik duvarı. Zaman düzenine bakın: her gece aynı saatte çıkan hatalar genellikle bir yedeklemeye veya cron işine işaret eder.
Düzeltme: Google'ın bildirdiği zamanlardaki sunucu hata günlüğünü okuyun, zaman aşımlarını veya işçi sayısını artırın, ağır sayfaları önbelleğe alın ve bot korumanızın doğrulanmış Googlebot'u geçirdiğinden emin olun. Planlı bakım için "yakında döneceğiz" yazan bir 200 sayfası yerine Retry-After başlığıyla 503 döndürün:
HTTP/1.1 503 Service Unavailable
Retry-After: 3600
Sayfa yok. Bilerek silindiyse ve hiçbir şey ona bağlantı vermiyorsa sorun yoktur. URL'nin hâlâ geri bağlantıları, trafiği veya iç bağlantıları varsa ya da sayfanın var olması gerekirken bir yayın onu bozduysa sorundur.
Düzeltme: içerik taşındıysa en yakın karşılığa tek bir 301 ekleyin. Kalıcı olarak kaldırıldıysa 404'ü koruyun veya 410 kullanın ve ona işaret eden iç bağlantıları ve site haritası girdilerini kaldırın. Asla her 404'ü ana sayfaya yönlendirmeyin: Google bunları genellikle soft 404 olarak değerlendirir.
Sunucu 200 der ama sayfa boş görünür veya "bulunamadı" yazar: boş bir kategori, sonuçsuz bir arama sayfası, içeriği olmayan stokta yok ürünü. Google ona bir istek harcar ve hiçbir şey almaz. Bunu soft 404 hataları rehberimizde ayrıntılı ele alıyoruz.
Googlebot asla kimlik bilgisi göndermez, bu yüzden herkese açık bir sayfadaki 401 veya 403, sunucunuzun ya da bir güvenlik katmanının onu engellediği anlamına gelir. Sık suçlular: canlı sitede unutulmuş test ortamı şifresi, bir WAF kuralı, ülke engeli ya da HTML'e uygulanmış bir hotlink koruması. Belirtiyi değil kuralı düzeltin ve Search Console'daki URL Denetimi aracıyla test edin.
Google bir döngüye, çok uzun bir zincire, azami uzunluğu aşan bir URL'ye ya da zincirde hatalı veya boş bir URL'ye rastladığında yönlendirme hatası bildirir. Taşıma sonrası klasik durum: http'den https'ye, sonra www'ye, sonra sondaki eğik çizgiye, sonra yeni bir yola. Bir atlamanın yeteceği yerde dört atlama. SEO yönlendirmeleri rehberimiz bunları nasıl kısaltacağınızı anlatır.
İpucu
Şüpheli bir URL'yi ücretsiz Sorank yönlendirme kontrol aracına yapıştırın: tüm zinciri izler, her atlamayı ve durum kodunu gösterir, döngünün veya fazla atlamanın nerede olduğunu söyler.
Bazı hatalar hiç durum kodu göstermez. Sayfa yüklenmeye başlar ve durur ya da o kadar ağırdır ki tarayıcı yalnızca bir kısmını okur. Google tarayıcıları dosya başına sınırlı sayıda bayt okur, bu yüzden satır içi betiklerle veya base64 görsellerle şişmiş bir sayfa alttaki içeriği kaybedebilir. Ağır şablonları sayfa boyutu kontrol aracıyla kontrol edin.
Hiçbir araç tek başına her tarama hatasını göstermez. Her yöntem sorunu farklı bir açıdan görür ve ciddi bir denetim en az ikisini birleştirir.
İlke: Google son 90 güne ait kendi tarama isteklerini yanıta, dosya türüne, amaca ve Googlebot türüne göre gruplanmış hâlde, ayrıca DNS, sunucu ve robots.txt için ana makine durumuyla gösterir. Ne zaman kullanılır: her zaman ve ilk olarak, site hataları için. Avantajlar: doğrudan Google'dan gelen gerçek veridir. Sınırlar: yalnızca kök düzeyindeki mülkler için, örnekler örneklemelidir ve Google bin sayfanın altındaki sitelerin buna nadiren ihtiyaç duyduğunu söyler. Örnek: her pazar saat 03:00'te bir veritabanı yedeklemesiyle örtüşen "sayfa zaman aşımı" yanıtı artışı.

İlke: Google'ın bildiği URL'leri ve neden dizine eklenmediklerini, Sunucu hatası (5xx), Yönlendirme hatası, Bulunamadı (404) veya Soft 404 gibi nedenlerle listeler. Ne zaman kullanılır: URL hatalarını önceliklendirmek ve düzeltmeleri doğrulamak için. Avantajlar: Google'ın gerçekten denediği sayfalara bağlıdır. Sınırlar: raporlar günlerce gecikir, örnek listeleri sınırlıdır ve tarama hatalarını dizine ekleme tercihleriyle karıştırır. Örnek: "Yönlendirme hatası" altında aynı eski /blog/ önekini paylaşan 300 URL.
İlke: Screaming Frog gibi bir araç sitenizi bir bot gibi tarar, ana sayfadan bağlantıları izler ve her durum kodunu, yönlendirme zincirini ve bozuk bağlantıyı kaydeder. Ne zaman kullanılır: taşıma, yeniden tasarım veya büyük bir yayından önce ve sonra, büyük sitelerde ise her ay. Avantajlar: anında, bağlantı verilen sayfalar için eksiksiz, her bozuk bağlantının nerede olduğunu gösterir. Sınırlar: Google'ın gerçekte ne istediğini bilmez, yetim sayfaları kaçırır ve sunucunuz ona Googlebot'tan farklı davranabilir. Screaming Frog kurulum rehberimiz eksiksiz bir denetimi adım adım anlatır.

İlke: erişim günlükleriniz Googlebot, Bingbot, GPTBot, ClaudeBot ve PerplexityBot dahil her isteği, tam durum kodu ve yanıt süresiyle kaydeder. Ne zaman kullanılır: büyük sitelerde, açıklanamayan trafik düşüşlerinden sonra ve yapay zekâ tarayıcılarının neye eriştiğini görmek için. Avantajlar: gerçek istekler, gerçek kodlar, örnekleme yok, her bot. Sınırlar: günlüklere erişim ve biraz betik gerektirir; "Googlebot"un gerçekten Google olduğunu doğrulamanız gerekir. SEO için günlük dosyası analizi rehberimiz adım adım ilerler. Hızlı bir ilk bakış:
# 200, 301 veya 304 döndürmeyen Googlebot istekleri, en sık olan önce
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50
İlke: curl veya ücretsiz bir çevrimiçi araçla her seferinde bir URL test edin. Ne zaman kullanılır: bir düzeltmeyi doğrulamak veya yayından sonra önemli bir sayfayı kontrol etmek için. Avantajlar: anında ve kesin. Sınırlar: ölçeklenmez. Botlara farklı davranan kuralları yakalamak için Googlebot kullanıcı aracısı kullanın:
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
| Yöntem | Site hatalarını görür | URL hatalarını görür | Gerçek Googlebot verisi | Yapay zekâ tarayıcılarını görür | En uygun kullanım |
|---|---|---|---|---|---|
| Tarama İstatistikleri raporu | Evet | Örneklemeli | Evet | Hayır | Ana makine sağlığı |
| Sayfa dizine ekleme raporu | Kısmen | Evet | Evet | Hayır | Önceliklendirme ve doğrulama |
| Tarayıcı (Screaming Frog...) | Hayır | Evet, bağlantı verilen sayfalar | Hayır | Hayır | Bozuk bağlantıları kaynağında bulmak |
| Sunucu günlükleri | Kısmen | Evet | Evet | Evet | Büyük siteler, kök nedenler |
| Tek URL kontrolleri | Hayır | Teker teker | Hayır | Hayır | Düzeltmeleri doğrulamak |
5xx durumu, sunucunun geçerli görünen bir isteği işleyemediği anlamına gelir. Google buna yanıt olarak taramasını yavaşlatır ve URL'lerinizin daha fazlası hata döndürdükçe daha da yavaşlatır. Google, dizinde olan URL'leri bir süre tutar, ama sürekli sunucu hatası döndüren URL'leri kaldırır. Kısa bir hata patlaması telafi edilebilir, çünkü sunucunuz 2xx kodlarıyla yanıt vermeye başlayınca Google tarama hızını kademeli olarak yeniden artırır. Dizininize zarar veren, uzun süren hata dizisidir.
Her 5xx kodu yığının farklı bir parçasına işaret eder. Aşağıdaki tablo, her biri için bakmanız gereken ilk yeri verir.
| Kod | Genellikle ne anlama gelir | Önce bakılacak yer |
|---|---|---|
| 500 | Uygulama isteği işlerken başarısız oldu | İsteğin tam zamanındaki uygulama hata günlüğü |
| 502 | Proxy veya CDN uygulamadan geçersiz bir yanıt aldı, genellikle uygulama çöktüğü ya da yeniden başlatıldığı için | Uygulama sürecinin yeniden başlatmaları ve çalışma süresi |
| 503 | Hizmet aşırı yüklü, hız sınırına takılmış ya da bakımda | Yük grafikleri, dağıtım geçmişi ve bakım pencereleri |
| 504 | Proxy, uygulamayı beklemekten vazgeçti | Yavaş veritabanı sorguları ve proxy zaman aşımı ayarları |
| 429 | Hız sınırlayıcı, çok fazla istek olduğunu bildiriyor | Hız sınırı kuralları ve bunların doğrulanmış Googlebot'a uygulanıp uygulanmadığı |
Tarama İstatistikleri, Google'ın hatalarla karşılaştığı günleri ve saatleri gösterir (Tarama İstatistikleri rehberimiz her grafiği açıklar). Sunucu günlüğünüz tam o anlarda neler olduğunu gösterir. Googlebot isteklerini süzün ve 5xx yanıtlarını saat başına sayın:
grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c
Çıktıdaki her satır bir saat, bir durum kodu ve bir sayıdır. Her gece aynı saatte toplanan hatalar genellikle bir yedeklemeye, bir cron görevine ya da zamanlanmış bir içe aktarmaya işaret eder. Gün boyunca yayılan hatalar genellikle yüke işaret eder, bu yüzden çözüm tek bir hatadan çok kapasite ya da önbellekleme olur. Daha derin bir yöntem için günlük dosyası analizi rehberimize bakın.
Google, hata döndüren URL sayısıyla orantılı olarak taramayı azaltır. Birkaç URL'yi etkileyen bozuk bir şablonun tarama süresine maliyeti azdır. Her sayfayı bozan bir veritabanı kesintisi ise çok pahalıdır ve ilk önce o düzeltilmelidir.
429, Google onu aşırı yüklenmiş bir sunucu olarak okuduğu için 5xx ile aynı etkiyi yapar. Hız sınırlayıcınız ya da bot korumanız Googlebot'a 429 döndürüyorsa bunun bedelini tarama süresinde ödersiniz. Google'ın dokümantasyonu Retry-After başlığından söz etmez. Bu başlığı insan ziyaretçilere ve API istemcilerine göndermeye devam edin, ama Googlebot'un ayarladığınız süre kadar beklemesine güvenmeyin.
4xx durumu, sunucunun istemci tarafındaki bir nedenle isteği reddettiği anlamına gelir: URL mevcut değildir, erişim yasaktır veya adres hatalı biçimlendirilmiştir. Google, 429 hariç her 4xx'i aynı şekilde ele alır. O URL'nin arkasındaki içeriği kullanmayı bırakır ve URL dizinde varsa onu dizinden çıkarır. Bir 4xx'e dokunmadan önce isteğin nereden geldiğini öğrenin, çünkü çözüm çoğu zaman tek bir yerde durur: bir bağlantıda, bir şablonda veya bir yönlendirme kuralında.
Erişim günlüğünüz her isteğin yönlendiren (referrer) bilgisini kaydeder ve ziyaretçiyi veya botu o URL'ye hangi sayfanın gönderdiğini gösterir. 4xx yanıtlarını yola ve yönlendiren adrese göre sayın:
awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20
Yönlendiren sütununu şöyle okuyun:
Bir rotayı yeniden adlandıran, slug'ı değiştiren veya bir şablonu yeniden oluşturan bir sürüm, çoğu zaman aynı gün bir dalga 404 üretir. Dağıtımdan önceki hafta ve sonraki hafta için günlük 4xx yanıt sayısını dışa aktarın. Tek bir klasörde yoğunlaşan bir sıçrama doğrudan değişikliği gösterir. Eski URL'den yeni URL'ye yönlendirmeyi daha sonraki bir bilete bırakmayın, aynı sürümde ekleyin. Tam bir taşıma için SEO taşıma kontrol listemize bakın.
İpucu
Eksik bir sayfayı kısa bir mesaj ya da boş bir liste gösteren 200 yanıtıyla değiştirmeyin. Google bunu soft 404 olarak değerlendirebilir ve bu, tam bir tarama maliyeti doğurur, karşılığında hiçbir şey vermez.
Kullandığımız yöntem budur. Tüm sitenizi durdurabilecek hatalardan yalnızca biraz tarama boşa harcayanlara doğru ilerler.
6 adımlı tarama hatası yöntemi
Search Console'da Ayarlar'ı, sonra Tarama istatistikleri'ni, sonra Ana makine durumu'nu açın. Yeşil, 90 gün boyunca önemli bir sorun olmadığı anlamına gelir. "Yakın tarihli sorun", son bir haftada ciddi bir problem olduğunu gösterir: diğer her şeyi bırakın. Günlük hata oranını görmek için her kategoriye tıklayın, ardından kötü günleri barındırma, CDN ve yayın geçmişinizle eşleştirin.
Dizine ekleme'yi, sonra Sayfalar'ı açın ve her hata nedenini dışa aktarın. URL'leri tek tek düzeltmeyin. Bir tabloya koyun ve ilk klasörü ayıklayın:
=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")
Bu sütun üzerinde bir pivot tablo genellikle hataların çoğunun iki veya üç şablondan geldiğini gösterir: kaldırılmış bir blog kategorisi, bir filtre parametresi, eski bir ürün akışı.
Her kalıp için dört soru sorun. Organik tıklama alıyor mu? Geri bağlantısı var mı? İç bağlantı alıyor mu? Site haritasında mı? Bu dördünden hiçbiri olmayan bir 404 sonsuza kadar bekleyebilir. Geri bağlantısı olan bir 404 bugün bir 301 gerektirir. Ücretsiz bozuk bağlantı kontrol aracı, kendi sayfalarınızdan hangilerinin hâlâ ölü URL'lere bağlantı verdiğini gösterir.
URL'leri değil kuralları düzeltin. Sunucu yapılandırmanızdaki bir yönlendirme haritası, bir eklentide elle eklenmiş 400 yönlendirmeden iyidir. Örneğin nginx'te:
map $request_uri $new_uri {
/old-blog/seo-tips/ /blog-geo-seo/seo-best-practices/;
/old-blog/sitemaps/ /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
if ($new_uri) { return 301 $new_uri; }
}
5xx için kapasiteyi veya hatayı düzeltin. 401 ve 403 için güvenlik kuralını düzeltin. Soft 404 için ya gerçek içerik ekleyin ya da gerçek bir 404 döndürün.
Her iç bağlantı doğrudan 200 döndüren bir URL'ye işaret etmelidir. Her site haritası girdisi standart, dizine eklenebilir, 200 döndüren bir URL olmalıdır. Yönlendirmeler ve 404'lerle dolu bir site haritası, Google'a ona daha az güvenmeyi öğretir. Site haritası nasıl oluşturulur rehberimiz içine nelerin girmesi gerektiğini açıklar.
Sayfa dizine ekleme raporunda düzeltilen nedeni açın ve Düzeltmeyi doğrula'ya tıklayın. Google önce bir örneği, sonra geri kalanını kontrol eder; bu genellikle yaklaşık iki haftaya kadar sürer ve tek bir URL bile hâlâ başarısızsa durur. Süreç işlerken tekrar tıklamayın. Ardından haftalık bir rutin belirleyin: ana makine için Tarama İstatistikleri, artışlar için günlükler, her yayından sonra bir tarama.
Düzeltmeden önce ve sonra bir yönlendirme zinciri
Nedir: eksik her URL'yi / adresine gönderen bir eklenti veya kural. Nasıl fark edilir: "Soft 404" veya "Yönlendirmeli sayfa" altında hepsi ana sayfaya düşen çok sayıda URL; bir tarayıcı aynı hedefe sahip yüzlerce 301 gösterir. Nasıl düzeltilir: yalnızca yakın bir karşılığa yönlendirin, geri kalanının 404 veya 410 döndürmesine izin verin.
Nedir: Google'a 403, 429 veya bir doğrulama sayfası sunan bir WAF, bot yöneticisi veya hız sınırlayıcı. Nasıl fark edilir: sayfa tarayıcınızda sorunsuz yüklenirken Tarama İstatistikleri'nde 403 veya 429; günlükler engellemeleri IP'ye göre gösterir. Nasıl düzeltilir: kullanıcı aracısı dizesine güvenmek yerine ters DNS veya Google'ın yayımladığı IP aralıklarıyla doğrulanmış Googlebot'a izin verin.
Nedir: uygulama tarafından üretilen ve bu yüzden uygulama her çöktüğünde çöken ya da bir 5xx'i önbelleğe alan bir CDN kuralıyla sunulan robots.txt. Nasıl fark edilir: Ana makine durumundaki robots.txt getirme kategorisi yeşil değildir. Nasıl düzeltilir: onu uygulamanın dışında statik bir dosya olarak sunun ve robots.txt kontrol aracıyla test edin.
Nedir: her URL'de 200 durum koduyla sunulan bir "Yakında döneceğiz" sayfası. Nasıl fark edilir: bakımdan sonra bir soft 404 veya yinelenen başlık dalgası. Nasıl düzeltilir: bakım sırasında Retry-After ile 503 döndürün ve süreyi kısa tutun.
Nedir: sunucu aşırı yüklendiğinde Googlebot'a 403 ile yanıt vermek. Nasıl fark edilir: yük artışlarıyla örtüşen 403 artışları. Nasıl düzeltilir: Google, 429 dışındaki 4xx kodlarının tarama hızına etkisi olmadığını söyler. Kısa bir süre 503 veya 429 döndürün ve kapasiteyi düzeltin.
Nedir: Search Console listesinde gezinip her URL'yi tek tek düzenlemek. Nasıl fark edilir: aynı neden her ay geri gelir. Nasıl düzeltilir: kalıba göre gruplayın, şablonu veya kuralı düzeltin, sonra bir kez doğrulayın.
Nedir: spam URL'ler veya bağlantısı olmayan, uzun zaman önce silinmiş sayfalar için günler harcamak. Nasıl fark edilir: URL'lerin tıklaması, geri bağlantısı ve iç bağlantısı yoktur. Nasıl düzeltilir: bırakın. Google, kaldırılmış bir sayfa için 404'ün mutlaka bir sorun olmadığını söyler.
Uyarı
Bir tarama hatasını "gizlemek" için bir URL'yi asla robots.txt'de engellemeyin. Google artık 404'ü veya yönlendirmeyi göremez, URL dizinde kalabilir ve göndermeye çalıştığınız sinyali kaybedersiniz.
Birkaç yüz sayfalık bir sitede Google'ın her şeye zamanı vardır ve tarama hataları çoğunlukla bozdukları sayfalar için önemlidir. Büyük sitelerde (filtreli mağazalar, pazaryerleri, haber siteleri) her başarısız veya boşa giden istek gerçek sayfalarınızdan zaman çalar. Tarama bütçesi fikrinin temeli budur.
5xx ve 429, Google'ın tüm ana makinede yavaşlamasına neden olur, bu yüzden birkaç bozuk şablon yeni ürün sayfalarınızın taranmasını geciktirebilir. Yönlendirme zincirleri atlama başına bir isteğe mal olur. Soft 404'ler tam bir getirmeye mal olur ve karşılığında hiçbir şey vermez. Bu üçünü düzeltin, aynı bütçe daha fazla yararlı sayfayı kapsasın.
Google URL'leri bulduğunda ama taramayı ertelediğinde, neden çoğunlukla kırılgan gördüğü bir sunucudur. Tarama İstatistikleri'ndeki sunucu hatalarıyla birlikte büyüyen bir "Keşfedildi, şu anda dizine eklenmedi" sayısı görüyorsanız, önce sunucuyu düzeltin. İki rapor aynı hikâyeyi anlatır.
Googlebot artık önemli olan tek ziyaretçi değil. GPTBot, OAI-SearchBot, ClaudeBot ve PerplexityBot, modelleri eğitmek veya soruları gerçek zamanlı yanıtlamak için sayfaları getirir. Aynı sunucuya erişirler ve aynı hatalardan etkilenirler, tek bir farkla: onlar için Search Console yoktur.
Çoğu yapay zekâ tarayıcısı JavaScript çalıştırmaz, bu yüzden içeriğini yalnızca tarayıcıda oluşturan bir sayfa onlara boş görünebilir; bu, Google raporlarında asla göremeyeceğiniz bir tür soft 404'tür. Birçoğu bot koruma hizmetleri tarafından varsayılan olarak, çoğu zaman 403 ile engellenir. Ve bir kullanıcı soru sorduğunda talep üzerine getirdikleri için, o andaki bir zaman aşımı yanıtın başka birini kaynak göstermesi demektir. JavaScript SEO rehberimiz hem arama hem yapay zekâ tarayıcıları için işlemeyi (rendering) ele alır.
Sunucu günlükleriniz tek güvenilir kaynaktır. Kullanıcı aracısına göre filtreleyin ve durum kodlarına bakın:
grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
Yapay zekâ botları istemediğiniz 403'ler alıyorsa kuralı düzeltin. Sonra sizi gerçekten kaynak gösterip göstermediklerini kontrol edin: Sorank'ın yapay zekâda marka bahsi takibi, ChatGPT, Gemini, Claude ve Perplexity'nin markanızdan ne sıklıkla bahsettiğini izler; böylece bir tarama düzeltmesinin bir şeyi değiştirip değiştirmediğini görürsünüz.
Bu listeyi her taşıma, yeniden tasarım veya büyük yayından sonra ve büyük sitelerde ayda bir uygulayın.
Tarama sağlığı kontrol listesi
Tarama İstatistikleri'ni açın ve üç ana makine durumu satırını kontrol edin. Ardından en değerli beş sayfanızda ücretsiz dizine eklenebilirlik kontrol aracını çalıştırın. İkisi de temizse, Sayfa dizine ekleme hatalarını dışa aktarın ve klasöre göre gruplayın: artık korkutucu bir rapor yerine kısa, sıralı bir düzeltme listeniz var.
Tarama temizlendiğinde bir sonraki sınır içeriğin kendisidir. Sorank'ın içerik optimizasyonu mevcut sayfalarınızı autopilot ile yeniden yazar ve günceller; böylece Google'ın artık ulaşabildiği sayfalar dizine eklenmeye ve kaynak gösterilmeye değer olur. Google'ın taradığı ama dışarıda bıraktığı sayfalar için "Tarandı, şu anda dizine eklenmedi" rehberimizi okuyun.
Tarama hataları, bir arama motoru veya yapay zekâ tarayıcısının başarısız olan istekleridir: DNS çözümlenmez, sunucu zaman aşımına uğrar veya 5xx döndürür, robots.txt alınamaz, bir yönlendirme döngüye girer ya da sayfa 4xx kodu döndürür. Site düzeyindeki hatalar tüm sitenin taranmasını durdurabilir, URL hataları ise yalnızca ilgili sayfayı etkiler.
Tek başlarına değil. Google, yerine bir şey konmadan kaldırılan bir sayfa için 404'ün mutlaka bir sorun olmadığını söyler. URL'nin hâlâ geri bağlantıları, trafiği veya iç bağlantıları varsa sorun olur; bu durumda doğru çözüm yakın bir karşılığa tek bir 301 yönlendirmesidir.
Search Console'daki Sayfa dizine ekleme raporunda Düzeltmeyi doğrula'ya tıkladıktan sonra doğrulama genellikle yaklaşık iki haftaya kadar sürer. Google önce bir URL örneğini, sonra geri kalanını kontrol eder ve etkilenen tek bir URL bile hâlâ başarısızsa durur.
