Excluded by 'noindex' tag: bu normal mi, nasıl düzeltilir?

« Excluded by 'noindex' tag », isteyerek ya da yanlışlıkla kendi oluşturduğunuz tek dizinleme durumudur. Google'ın Sayfa dizinleme raporu belgelerinde bu neden üç cümlede anlatılır: « Google sayfayı dizinlemeye çalıştığında bir « noindex » yönergesiyle karşılaştı ve bu nedenle sayfayı dizinlemedi. Bu sayfanın dizinlenmesini istemiyorsanız tebrikler! Dizinlenmesini istiyorsanız « noindex » yönergesini kaldırmanız gerekir. » Bu rehber, her URL'nin cümlenin hangi tarafında olduğuna karar vermenize, istenmeyen bir kuralın tam kaynağını bulmanıza ve başka bir şeyi bozmadan düzeltmenize yardımcı olur.

« Excluded by 'noindex' tag » ne anlama gelir?

Bir noindex kuralı, arama motorlarına bir sayfayı sonuçlarında göstermemelerini söyler. Google bunu iki yerde okur; bunu noindex ile dizinlemeyi engelleme rehberinde açıklar:

• Bir robots meta etiketi, HTML'in <head> bölümünde: tüm arama motorları için <meta name="robots" content="noindex">, yalnızca Google için name="googlebot".
• Bir X-Robots-Tag HTTP başlığı, sunucunun yanıtla birlikte gönderdiği, değeri noindex veya none olan başlık. HTML içermeyen dosyalar, örneğin PDF'ler için tek seçenek budur.

Googlebot bunlardan birini bulduğunda URL'yi dizin dışında tutar. Durum, Search Console'da Dizinleme, ardından Sayfalar altında, « Why pages aren't indexed » tablosunda görünür. Yardım sayfası aynı nedeni « URL marked 'noindex' » olarak verir; iki etiket de tek bir durumu tanımlar.

Üç gerçek raporu okuma biçiminizi değiştirir:

• Google size uydu. Google'ın bir sayfaya karşı kendi kararını verdiği « Crawled - currently not indexed » durumunun aksine, bu durum sitenizin gönderdiği bir talimatı yansıtır.
• Bir tarama gerektirir. Google, noindex kuralını yalnızca getirmesine izin verilen bir sayfada görebilir. robots.txt ile engellenen bir sayfa bu duruma hiç ulaşmaz.
• Kural zincirin her halkasından gelebilir. HTML, CMS, eklenti, tema, sunucu yapılandırması ve CDN, her biri kuralı ekleyebilir ve sayfa kaynağı HTTP başlıklarını göstermez.

Normal mi, yoksa hata mı?

Çoğu sitede bu durumda URL'ler bulunur ve bunların birçoğu orada olmalıdır. Google'ın raporu, dizinlenmemiş olarak listelenen sayfaların orada « mutlaka bir hata yüzünden olmadığını » belirtir. Herhangi bir şeyi düzeltmeden önce listeyi URL türüne göre sıralayın.

Son satır göründüğünden daha önemlidir. Bir site haritası Google'a « bu sayfaları dizinle » der, bir noindex ise tam tersini söyler. Site haritasını yalnızca dizinlenebilir ve kanonik URL'lerle sınırlı tutun (site haritasını Google'a gönderme rehberimiz, bunu nasıl temizleyeceğinizi anlatır).

İstenmeyen noindex nereden gelir?

Önemli bir sayfada noindex varsa, nedeni neredeyse her zaman aşağıdaki kaynaklardan biridir. Bunları en sık olandan en nadir olana doğru bu sırayla kontrol edin.

WordPress durumu, adını anmaya değecek kadar yaygındır. WordPress'in Okuma ekranı belgelerine göre « Discourage search engines from indexing this site » seçeneğini işaretlemek, her sayfanın head bölümüne noindex,nofollow ekler (5.3 sürümünden beri). Yayına alma sonrasında unutulan tek bir kutucuk, tüm bir siteyi Google'dan çıkarmaya yeter. Yayınlar ve yeniden tasarımlar en riskli anlardır; bu yüzden bir SEO taşıma kontrol listesi her zaman tarama kurallarının kontrolünü içerir. WordPress'e özgü ayarlar için WordPress SEO ve GEO sayfamıza bakın.

Durumu adım adım nasıl teşhis edersiniz?

1. Raporu açın. Search Console'da Dizinleme, ardından Sayfalar bölümüne gidin, « Excluded by 'noindex' tag » üzerine tıklayın ve listeyi dışa aktarın.
2. URL'leri sıralayın yukarıdaki tabloyla. Dizin dışında kalması gerekenleri bir kenara ayırın.
3. Önemli bir URL'yi inceleyin. URL denetimi aracına yapıştırın. « Indexing allowed? » satırı, Google'ın bir noindex görüp görmediğini ve bunun robots meta etiketinden mi yoksa X-Robots-Tag başlığından mı geldiğini söyler.
4. Canlı URL'yi test edin. « Test live URL » düğmesine tıklayın: canlı sürümde noindex yoksa kural zaten kaldırılmıştır ve Google'ın yalnızca yeniden taraması gerekir.
5. İki yeri kendiniz kontrol edin. Sayfa kaynağında, sonra yanıt başlıklarında noindex arayın (tarayıcının geliştirici araçları, Ağ sekmesi). Ücretsiz bir HTTP başlık denetleyicisi, geliştirici araçlarını açmadan X-Robots-Tag'i gösterir, dizinlenebilirlik denetleyicisi ise meta etiketi, başlığı ve robots.txt'yi tek seferde test eder.
6. Kaynağı izleyin kaynak tablosuyla, önce CMS ayarından ve SEO eklentisinden başlayarak.

Nasıl düzeltilir?

Düzeltme kaynağa bağlıdır. Kuralın üretildiği yerdeki ayarı değiştirin, yalnızca görünen çıktıyı değil, yoksa bir sonraki güncellemede geri döner.

Düzeltmeden sonra URL denetimi aracında en önemli URL'ler için dizinleme isteyin ve çok sayıda sayfa etkilenmişse site haritasını yeniden gönderin. Düzeltilmiş bir URL grubu için raporda « Validate fix » düğmesine tıklayın: Google doğrulamanın « typically takes up to about two weeks, but in some cases can take much longer » sürebileceğini belirtir. Önce sayfa veya CDN önbelleğini temizleyin, yoksa Google eski kuralla birlikte eski sürümü getirebilir. Haftalar sonra sayfalar hâlâ görünmüyorsa, Google'da sayfa dizinleme rehberimiz bir sonraki adımları sıralar. Sayfalar Crawled - currently not indexed durumuna geçerse, sorun artık kural değil içeriktir.

Noindex, robots.txt veya canonical: hangisini kullanmalı?

Bu üç araç sık sık karıştırılır ve yanlış birleştirmek en kafa karıştırıcı raporları üretir.

Google bunu açıkça söyler: robots.txt bir sayfayı engelliyorsa, « the crawler will never see the noindex rule ». Bir sayfanın dizinden çıkmasını istiyorsanız, kaybolana kadar noindex ile taranabilir bırakın, sonra engelleyip engellemeyeceğinize karar verin. Dosyanızı robots.txt denetleyicisiyle test edin ve tam kural listesi için robots meta etiketi spesifikasyonunu okuyun; orada kurallar çeliştiğinde « the more restrictive rule applies » denildiği de yazar.

Bu neden SEO ve yapay zeka görünürlüğü için önemli?

Noindex altındaki bir sayfa, kalitesi ne olursa olsun Google'dan organik tıklama almaz. Büyük bir sitede bir şablondaki istenmeyen bir kural yüzlerce ürün veya makale sayfasını bir anda kaldırabilir ve ilk belirti genellikle haftalar sonra gelen trafik düşüşüdür. Siteniz tamamen kaybolmuş gibiyse, Google'da görünmeyen bir web sitesi kontrol listemizle başlayın.

Yapay zeka asistanları ikinci bir maliyet ekler. ChatGPT, Perplexity ve Gemini çoğu zaman web arama dizinlerinden sayfa getirip alıntılayarak yanıt verir; bu yüzden dizinde olmayan bir sayfanın alıntılanma şansı düşüktür. Yapay zekanın en çok alıntıladığı platformlar üzerine araştırmamız, hangi kaynakları tercih ettiklerini gösterir.

Sorank bizim ürünümüz: autopilot modunda çalışan bir SEO ve GEO yazılımı. GEO ve SEO panosu Search Console'dan tıklamaları, gösterimleri ve sıralamaları gösterir; böylece bir sayfa grubunda gösterimlerin ani düşüşü hızla fark edilir. Ücretsiz Sorank Chrome eklentisi ise açtığınız her sayfadaki SEO sorunlarını işaretler.

Kısaca: hiç sıralanmaması gereken sayfalarda noindex'i bırakın, sıralanması gereken sayfalarda kaynağından kaldırın, site haritasını noindex'li URL'lerden arındırın ve Google noindex'ini okuyana kadar bir sayfayı asla robots.txt ile engellemeyin. Dizinlenmek ve alıntılanmak üzere tasarlanmış sayfaları yayınlamak için Sorank planlarına bakın: ayda 49€'dan başlayan fiyatlarla, 3 gün ücretsiz deneme.