SEO sunucu günlüğü analizini adım adım öğrenin: Googlebot'u doğrulayın, tarama israfını bulun ve komutlar, araçlar ve kontrol listesiyle düzeltin.

Bu sayfada
Kısaca
SEO için sunucu günlüğü analizi, Googlebot ve diğer botların hangi URL'leri istediğini, bunlara ne sıklıkla döndüklerini ve hangi durum kodlarını aldıklarını görmek için sunucunun erişim günlüklerini okumaktır. Günlükler, tarayıcıların sitenizde gerçekte ne yaptığını gösterir, SEO araçlarınızın tahmin ettiğini değil. Bunu yapmak için 30 günlük kaydı dışa aktarın, doğrulayabildiğiniz Googlebot isteklerini tutun, tarama etkinliğini URL grubuna ve durum koduna göre ölçün, israfı giderin, ardından iki ila dört hafta sonra yeni bir dışa aktarımı karşılaştırın.
Daha fazlasını mı istiyorsunuz? Sorun:
Kısa test
SEO size uygun mu ve nasıl başlamalısınız?
Sorank yanıtlarınıza uyuyor
Kendi sitenizde 3 gün deneyin ve Google, ChatGPT ve diğer yapay zekâlarda nerede olduğunuzu görün.
3 gün ücretsiz deneyin3 gün ücretsiz, sonra istediğiniz zaman bırakın. 90 gün para iade garantisi, koşullar geçerlidir.
Bir şey sunucunuzdan bir dosya istediğinde, sunucu erişim günlüğüne tek bir satır yazar. Çoğu sunucu Apache "combined" biçimine yakın bir format kullanır. Bir Googlebot isteği şöyle görünür:
66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Soldan sağa okuyun: IP adresi, zaman damgası, HTTP yöntemi ve URL, durum kodu (burada 200), gönderilen bayt sayısı, yönlendiren (referrer) ve user agent. Her istek buradadır; analiz aracınızda hiçbir zaman sayfa görüntüleme olarak görünmeyenler de dahil: görseller, CSS dosyaları, yönlendirmeler ve 404 hataları.
Diğer veri kaynaklarınızın her biri bu tablonun bir parçasını görür. Search Console'daki Tarama İstatistikleri raporu toplulaştırılmıştır ve yalnızca Google'ın tarayıcılarını kapsar. Analitik araçları yalnızca tarayıcısı JavaScript'inizi çalıştıran ziyaretçileri kaydeder. Screaming Frog gibi bir site tarayıcısı, bağlantılarınızı takip ederek ulaşabildiği şeyi gösterir; bu da Google'ın gerçekten istediği şeyle aynı değildir. Gerçekte olanı yalnızca sunucu günlüğü kaydeder.
Sunucu günlükleri ile Search Console Tarama İstatistikleri
Tarama bütçesi, Google'ın sitenizde taramayı yapabildiği ve istediği URL kümesidir. Google bunu iki faktörle açıklar. Birincisi tarama kapasitesi limitidir: Google'ın tarayıcılarının sunucunuzu aşırı yüklemeden açık tutabileceği bağlantı sayısı. Bu limit, siteniz sağlıklı kaldıkça yükselir ve yanıtlar yavaşladığında ya da 5xx veya 429 hataları döndüğünde düşer. İkincisi tarama talebidir; bu da sitenizin büyüklüğüne, içeriğinin ne sıklıkla değiştiğine, kalitesine ve sayfalarının ne kadar popüler olduğuna bağlıdır.
Google bu konuyu büyük siteler için gelişmiş bir rehber olarak sunar. Kaba eşikleri şunlardır: haftada bir kadar değişen içeriğe sahip 1 milyon veya daha fazla benzersiz sayfası olan siteler ve her gün değişen içeriğe sahip 10000 veya daha fazla benzersiz sayfası olan siteler. "Keşfedildi, şu anda dizine eklenmedi" durumunda çok sayıda URL'si olan siteler de kapsamdadır. Daha küçük siteler genellikle güncel bir site haritasına ve Sayfa İndeksleme raporunu düzenli kontrol etmeye güvenebilir. Bu, günlüklerin onlar için işe yaramaz olduğu anlamına gelmez. Taramayla ilgili bir sorun olduğunda, tam olarak nerede olduğunu görmenin en hızlı yolu günlüktür.
Google'a göre günlük analizinin en çok önem kazandığı durumlar
Kaynak: Google Search Central, tarama bütçesi üzerine gelişmiş rehber. Google bunları kesin eşikler değil, kaba tahminler olarak nitelendirir.
Siteniz bu aralıktaysa soru artık günlükleri okuyup okumayacağınız değil, bunu ne sıklıkla yapacağınızdır. Tek seferlik bir denetim bugünkü israfı gösterir. Aylık bir dışa aktarım ise yaptığınız düzeltmelerin Googlebot'un zamanını nereye harcadığını değiştirip değiştirmediğini gösterir. Terminoloji için tarama bütçesi sözlük maddesi temelleri anlatır, Keşfedildi, şu anda dizine eklenmedi rehberi ise bu tür bir incelemeyi genellikle tetikleyen durumu açıklar.

Aşağıdaki iş akışı her sunucu ve her araçla çalışır. Sonraki bölümler her adımı ayrıntılı olarak açıklar ve ham bir günlük dosyasında bugün çalıştırabileceğiniz komutları verir.
Altı adımlı yöntem
Web sunucusunun (Apache, Nginx veya IIS) ham erişim günlüklerini geliştiricinizden ya da barındırma sağlayıcınızdan isteyin. Başlamadan önce üç şeyi kontrol edin: günlük formatını, saat dilimini ve saklama süresini. Kurulumunuza bağlı olarak eski günlükler birkaç gün veya hafta sonra silinebilir, bu yüzden dışa aktarımı şimdi isteyin, sonra değil.
Katman, insanların beklediğinden daha önemlidir. Bir CDN bir isteği önbelleğinden yanıtlarsa, kaynak sunucunuz bunu hiç görmez. Googlebot, kaynak günlüğünüzde görünmeyen bir URL'yi tarayabilir; bu yüzden yalnızca kaynak sunucudan yapılan bir dışa aktarım, önbelleğe alınmış içerikteki tarama etkinliğini eksik sayar. CDN günlüklerini de dışa aktarın ve herhangi bir toplamına güvenmeden önce birkaç URL için iki kaynağı karşılaştırın.
Combined biçimindeki bir günlükte durum kodu 9. alan, URL yolu ise 7. alandır. Bu iki sütun ilk soruların çoğunu yanıtlar. Bu komut Googlebot isteklerini durum koduna göre sayar:
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
Bu komut, filtre varyantları birlikte gruplansın diye sorgu dizesi çıkarılmış olarak Googlebot'un en sık istediği 20 yolu listeler:
grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20
İlk komut, herkesin sahteleyebileceği user agent metnini okur. Çıktısını, bir sonraki bölüm bitene kadar bir aday listesi olarak değerlendirin. Ayrıca günlüğünüz özel bir format kullanıyorsa alan numaraları değişir, bu yüzden sütunlara güvenmeden önce bir satırı gözle kontrol edin.
Bir ziyaretçinin Googlebot olduğunu doğrulamanın Google'ın kendi yöntemi DNS kullanır. Günlüğünüzdeki IP adresi için ters DNS sorgusu çalıştırın, ana bilgisayar adının googlebot.com, google.com veya googleusercontent.com ile bittiğini kontrol edin, sonra bu ana bilgisayar adı için ileri bir sorgu çalıştırıp özgün IP'yi döndürdüğünü doğrulayın. Google'ın dokümantasyonu bu örneği kullanır: 66.249.66.1, crawl-66-249-66-1.googlebot.com adresine ters çözülür:
host 66.249.66.1
İleri kontrol ikinci komuttur ve aynı IP'yi döndürmelidir:
host crawl-66-249-66-1.googlebot.com
Milyonlarca satır işliyorsanız DNS sorguları yavaşlar. Google ayrıca tarayıcılarının IP aralıklarını içeren JSON dosyaları yayınlar; Googlebot için common-crawlers.json de bunlar arasındadır. Bu aralıklara karşı eşleştirme daha hızlıdır ve resmi doğrulama rehberi iki yöntemi de Google'ın Googlebot doğrulama rehberinde anlatır.
Uyarı
Google'ın tarayıcı dokümantasyonu, HTTP user agent dizesinin sahtelenebileceğini belirtir. Birçok scraper, kuralları atlatmak için Googlebot dizesini kopyalar. IP kontrolü yapmadan "Googlebot isabetleri" raporlayan bir araç, Google'ın taramasını büyük ölçüde abartabilir; bu yüzden rapora bir sayı yazmadan önce IP'leri kontrol edin.
URL başına ham sayılarla harekete geçmek zordur. Önce URL'leri şablona göre gruplayın, çünkü bir düzeltme genellikle tek bir sayfaya değil bir şablona uygulanır. Sonra her grup için dört şeyi ölçün. Önemine kıyasla kaç Googlebot isteği aldığını ölçün. Durum kodu karışımını ölçün. Yeni sayfaların yayından sonra ilk isabeti ne kadar hızlı aldığını ölçün. İsabetlerin sıralanmasını istediğiniz sayfalarda yoğunlaşıp yoğunlaşmadığını ölçün.
Sonuçları tek bir sayı olarak değil, bir örüntü olarak okuyun. Googlebot isabetlerinin çoğu filtre URL'lerine, yalnızca birkaçı ürün sayfalarına düşüyorsa tarama bütçesi sızıyor demektir ve sorun büyük olasılıkla ürün sayfaları değil, iç bağlantılar ya da parametre yönetimidir. Sonraki bölüm, aranacak sinyalleri listeler.
Googlebot satırları doğrulanıp gruplandığında yedi sinyal tarama sorunlarının çoğunu açıklar. Tablo, aranacak örüntüyü ve olağan düzeltmeyi verir. Her düzeltme siteye yapılan bir değişikliktir, bu yüzden bir sonraki dışa aktarımda doğrulayın.
| Sinyal | Günlüklerin gösterdiği | Yapılacaklar |
|---|---|---|
| Tarama israfı | Filtrelerde, sıralama düzenlerinde, dahili aramada ve oturum URL'lerinde Googlebot isabetleri | Canonical'larla birleştirin, bu URL'lere giden iç bağlantıları kaldırın ve birleştirilemeyen gereksiz varyantları robots.txt'de engelleyin |
| Yönlendirmeler | 301 veya 302 yanıtlarındaki isabetler ve iki veya daha fazla atlamalı zincirler | Doğrudan son URL'ye bağlanın. 301 ve 302 rehberi doğru yönlendirme türünü seçmenize yardımcı olur |
| Hatalar | Tekrarlayan 404 veya 410 isabetleri ve 5xx yanıt artışları | Hâlâ önemli olan sayfaları geri yükleyin veya yönlendirin, sunucu hatalarını düzeltin; çünkü 5xx yanıtları Google'ın taradığı miktarı azaltır |
| Eksik taramalar | Pencere içinde hiç Googlebot isabeti almayan önemli URL'ler | İç bağlantıları, site haritası girdilerini ve tarayıcıları uzak tutabilecek robots.txt kurallarını kontrol edin |
| Kopyalar | Sondaki eğik çizgiler, büyük harfler veya parametreler yüzünden aynı içeriğe birden fazla URL'de isabet | Tek bir kanonik URL seçin ve her yerde ona bağlanın |
| İlk taramaya kadar geçen süre | Yayın ile yeni bir sayfadaki ilk Googlebot isabeti arasındaki süre | Yeni sayfaları zaten sık taranan sayfalardan bağlayın ve site haritanızı temiz tutun |
| Yanıt süresi | Googlebot'un en çok isabet ettiği şablonlarda yavaş yanıtlar | Önce bu şablonları hızlandırın, çünkü Google yavaş yanıtların onu daha az taramaya yönelttiğini söyler |
"Eksik taramalar" satırını insanlar atlar, oysa genellikle en pahalı olanıdır. Günlükte hiç görmediğiniz bir sayfa, içeriği mükemmel olsa bile hiçbir şey için sıralanmayabilir. Bir URL site haritanızda olup günlüklerde hiç görünmüyorsa, sayfa büyük olasılıkla tarayıcıların takip etmediği bir yoldan ulaşılabilir durumdadır. Taranmış, şu anda dizine eklenmedi rehberi, Googlebot'un ziyaret edip yine de dizine eklemediği durumun diğer tarafını anlatır.
Günlük analizini betiklerle, bir masaüstü uygulamasıyla ya da bir platformla yapabilirsiniz. Her biri farklı bir hacme ve farklı bir ekibe uygundur. Doğru seçim, sitenizin büyüklüğünden çok cevaba ne sıklıkla ihtiyacınız olduğuna ve onu kimin okuyacağına bağlıdır.
İlke: ham dosyaları betiklerle ayrıştırır, sonuçları bir dosyaya veya tabloya yazarsınız. Ne zaman kullanılır: tek seferlik kontroller, küçük siteler ya da tam kontrol isteyen bir geliştirici. Avantajları: ücretsizdir, her satırı görürsünüz ve bir zamanlanmış işle otomatikleştirebilirsiniz. Sınırlamaları: yazmak ve bakımını yapmak zaman alır, yalnızca makinenizin hızında çalışır, grafiği yoktur ve botları kendiniz doğrulamanız gerekir.
Örnek: yöntem bölümündeki komutlar, aynı dışa aktarım üzerinde ayda bir çalıştırıldığında Googlebot için durum kodu dağılımını ve en çok istenen yolları verir. Kısa bir Python betiği aynı işi yapıp DNS kontrolünü ekleyebilir; bu daha yavaştır ama daha kesindir.
İlke: ham günlükleri bir masaüstü projesine aktarırsınız, araç botları gruplar, kimliklerini kontrol eder ve grafikleri çizer. Ne zaman kullanılır: on binlerce URL'si olan bir site üzerinde çalışan bir danışman veya şirket içi analist. Avantajları: Apache, IIS ve Nginx günlüklerini W3C Extended biçiminde okur, arama motoru botlarını doğrular ve büyük ya da yavaş sayfaları işaretler. Sınırlamaları: ücretsiz sürüm sınırlıdır ve yükleyebileceğiniz veri miktarı sabit diskinize bağlıdır.
Not
Bazı rehberler ücretsiz sürümün 500 URL kapsadığını söyler. Screaming Frog'un kendi ürün sayfası ise ücretsiz sürümün 1000 günlük olayıyla sınırlı olduğunu ve ücretli lisansın yılda 99 sterline mal olup bu sınırı kaldırdığını belirtir. Planınızı resmi rakamlara göre yapın.

Satın almadan önce Screaming Frog'un Log File Analyser sayfasını okuyun. Onunla birlikte kullanılan tarayıcının tam anlatımı için Screaming Frog SEO Spider rehberimize bakın. Günlük analizcisi, tarayıcının yapamayacağı bir işi yapar: botların gerçek dünyada ne istediğini gösterir, bağlantılarınızın ima ettiğini değil.
İlke: platform, günlüklerinizi genellikle CDN'den ya da sunucudan bir zamanlamayla alır ve bunları sitenizin taramasıyla ve indeksleme verileriyle birleştirir. Ne zaman kullanılır: büyük e-ticaret siteleri veya birden fazla pazarda taramayı her hafta izleyen kurumsal ekipler. Avantajları: çok büyük günlüklere ölçeklenir, geçmişi saklar ve birden fazla ekibin panoları paylaşmasını sağlar. Sınırlamaları: daha pahalıdır, kurulumu zaman alır ve bağımlılık gerçektir; bu yüzden taahhüt etmeden önce verilerinizi nasıl dışa aktaracağınızı kontrol edin. Bu kategorideki satıcılar arasında Oncrawl ve Botify bulunur; her birine botları nasıl doğruladığını sormaya değer.
| Ölçüt | Komut satırı | Masaüstü araç | Platform |
|---|---|---|---|
| Maliyet | Ücretsiz | 1000 günlük olayına kadar ücretsiz, tam lisans için yılda 99 sterlin | Abonelik, fiyat hacme bağlıdır |
| Kurulum | Betikleri siz yazar ve bakımını yaparsınız | Kur, içe aktar, başlat | Bağlayıcılar ve kurulum süreci |
| Hacim | Makinenizle sınırlıdır | Sabit diskinizle ve lisansınızla sınırlıdır | Çok büyük günlükler için tasarlanmıştır |
| Bot doğrulama | Elle, DNS veya IP aralığı kontrolleriyle | Yerleşik | Satıcıya sorun |
| En uygun olduğu durum | Tek seferlik kontroller ve küçük siteler | Danışmanlar ve orta ölçekli siteler | Haftalık izleme yapan kurumsal ve e-ticaret ekipleri |
Tek bir günlük dışa aktarmadan önce Search Console'daki Tarama İstatistikleri raporunu açın. Toplam tarama isteklerini, toplam indirme boyutunu, ortalama yanıt süresini, türe göre gruplanmış yanıtları, dosya türlerini, tarama amacını ve her isteği yapan Googlebot türünü gösterir. Bir trend kontrolü için elinizdeki en hızlı görünümdür; Google Search Console eğitimi onu nerede bulacağınızı açıklar.
Sınırları, günlüklerin neden hâlâ önemli olduğunu açıklar. Rapor yalnızca alan adı özellikleri ve kök düzeyindeki URL öneki özellikleri için kullanılabilir. Yalnızca Google'ın tarayıcılarını kapsar, bu nedenle GPTBot, ClaudeBot ve diğer botlar eksiktir. Her URL'yi listelemek yerine verileri gruplar; bu nedenle tarama isteklerinin düştüğünü söyleyebilir ama hangi şablonların bunları kaybettiğini söyleyemez. Bir şeyin değiştiğini fark etmek için kullanın, ne olduğunu öğrenmek için ise günlükleri.

Google'ın Tarama İstatistikleri yardım sayfası her gruplamayı açıklar. Grafik ile günlük dışa aktarımınız çelişiyorsa, zaman penceresini ve doğrulama adımını kontrol edene kadar ikisine de güvenmeyin. Bu tür uyuşmazlıkların çoğu farklı bir zaman penceresinden, önbellekten yanıt veren bir CDN'den ya da doğrulanmamış istekleri de içeren bir bot sayımından kaynaklanır.
Düzeltmeler sinyallerden çıkar. Çoğu üç hamleye iner: taramacıları önemli olmayan sayfalara göndermeyi bırakın, bir sayfa taşındığında onları doğrudan son URL'ye gönderin ve önemli sayfaları daha hızlı yükleyin.
Günlük incelemesinden önce ve sonra tarama etkinliği
Fasetli gezinme. Filtreler ve sıralama düzenleri, neredeyse aynı içeriğe sahip birçok URL üretir. Mümkün olduğunda canonical'larla birleştirin ve arama değeri olmayan varyantlara giden iç bağlantıları kaldırın. Bir varyant birleştirilemiyor ve taramanın dışında kalmak zorundaysa, onu robots.txt'de engelleyin. Google'ın yönergeleri burada nettir: bunun için noindex kullanmayın, çünkü Google etiketi görebilmek için sayfayı yine de istemek zorundadır. Test etmeniz gereken kuralın türü şudur:
User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=
İpucu
Her robots.txt kuralını yayınlamadan önce test edin. Ücretsiz robots.txt denetleyicimiz sözdizimini doğrular, böylece bir yazım hatası taranmasını istediğiniz sayfaları engellemez.
Robots.txt değişikliğini ölçülü tutun. Google, URL'leri engellemenin, site zaten kapasite limitine ulaşmadıkça diğer sayfalarınız için tarama bütçesi açmadığını söyler. Engelleme, değeri olmayan URL'ler içindir; bütçeyi en iyi sayfalarınıza kaydırmanın bir yolu değildir. robots.txt sözlük maddemiz dosyanın nasıl okunduğunu açıklar.
Yönlendirme zincirleri. Bir sayfa iki kez taşındığında, tarayıcı her seferinde her iki yönlendirmeden geçer. İç bağlantıları son URL'yi gösterecek şekilde güncelleyin, eski yönlendirmeleri ise dış bağlantılar için bırakın. Kalıcı ile geçici yönlendirme arasındaki seçim de aynı nedenle önemlidir ve 301 ve 302 rehberi bunu ayrıntılı anlatır.
Kaldırılmış sayfalar. Kalıcı olarak silinen sayfalar için 404 veya 410 döndürün. Google, yumuşak 404'lerin taranmaya devam ettiğini ve tarama bütçesini boşa harcadığını söyler; bu nedenle 200 durum koduyla gönderilen bir "sayfa bulunamadı" mesajı, gerçek bir 404'ten daha kötüdür.
Yanıt süresi ve önbellekleme. Google, yavaş veya başarısız yanıtların onu daha az taramaya yönelttiğini söyler. Değişmemiş sayfaların önbellekten sunulabilmesi için 304 (Not Modified) yanıtlarını destekleyin. Ardından Googlebot'un en çok isabet ettiği şablonlara bakın ve bu yanıtları önce hızlandırın.
Ters giden günlük analizlerinin çoğu küçük bir hata kümesinden birini yapar. Aşağıdaki her hatanın verilerde görebileceğiniz bir belirtisi ve aynı hafta uygulayabileceğiniz bir düzeltmesi vardır.
Nedir: "Googlebot" diyen her isteği Google'ın taraması olarak saymak. Nasıl fark edilir: Google ana bilgisayarlarına ters çözümlenmeyen IP adreslerinden gelen Googlebot isabetleri ya da tek bir adresten ani bir sıçrama. Nasıl düzeltilir: Bir şey saymadan önce yöntem bölümündeki doğrulamayı çalıştırın ve doğrulanmamış isabetleri ayrı bir kovada tutun ki scraper etkinliğini hâlâ görebilesin.
Nedir: 200 döndüren sayfalara odaklanıp geri kalanı yok saymak. Nasıl fark edilir: raporunuzda 3xx, 4xx veya 5xx bölümü yoktur ya da durum kodu dağılımı hiç tartışılmaz. Nasıl düzeltilir: her zaman durum kodu dağılımıyla başlayın. 404 isabetlerindeki bir artış, bozuk bir iç bağlantıyı; 5xx isabetlerindeki bir artış ise tüm taramayı yavaşlatan bir sunucu sorununu ortaya çıkarabilir.
Nedir: noindex etiketi taşıyan bir sayfaya robots.txt kuralı eklemek. Nasıl fark edilir: sayfa dizinde kalır ve günlük hiç Googlebot isabeti göstermez, çünkü tarayıcı sayfayı istemesi engellenmiştir. Nasıl düzeltilir: Google'ın noindex etiketini okuyabilmesi için engeli kaldırın, sayfanın dizinden düşmesini bekleyin, sonra hâlâ gerekiyorsa engeli geri koyun. robots.txt tarafından engellendi rehberi bu durumda görünen Search Console durumunu açıklar.
Nedir: düzeltmeden önceki 3 günlük dışa aktarımı, sonraki 30 günlük dışa aktarımla karşılaştırmak. Nasıl fark edilir: toplamlar çok değişir ama şablon başına pay değişmez. Nasıl düzeltilir: aynı gün sayısını karşılaştırın, mümkünse yılın aynı dönemini seçin ve hacim değiştiğinde ham toplamlar yerine payları karşılaştırın.
Nedir: isabetlerin dizine eklenen sayfalara ulaşıp ulaşmadığını kontrol etmeden Googlebot isabetlerindeki artışı kutlamak. Nasıl fark edilir: isabetler dizine eklenmeyen ya da hiç trafik getirmeyen URL'lerde yoğunlaşır. Nasıl düzeltilir: günlük gruplarınızı Search Console'daki URL Denetleme aracından gelen indeksleme durumuyla birleştirin ve bir düzeltmeyi yalnızca tarama önemli sayfalara doğru kaydığında kazanç sayın.
Herhangi bir sonuca varmadan önce
Aynı günlükler, yapay zekâ tarayıcılarının sitenizde ne yaptığını gösterir ve yöntem aynıdır: gruplayın, satıcının bir yol sunduğu yerde doğrulayın ve durum kodlarını okuyun. Yapay zekâ tarayıcı günlükleri rehberimiz, hangi botlara bakılacağını ve Googlebot'tan nasıl ayrıştıklarını anlatır. Bu makale Googlebot yöntemini derinlemesine ele alır, aşağıdaki yapay zekâ bölümü ise ikisini tek bir raporda nasıl birleştireceğinizi gösterir.
| Bot türü | Örnekler | Günlüklerde neye bakılmalı | Nerede daha fazla okunur |
|---|---|---|---|
| Arama tarayıcısı | Googlebot | Şablon başına isabetler, durum kodu dağılımı, yeni sayfalara ilk taramaya kadar geçen süre | Bu makalenin yukarıdaki bölümleri |
| Eğitim tarayıcısı | GPTBot, ClaudeBot, CCBot | İçeriğinizi hiç isteyip istemedikleri ve robots.txt'nize uyup uymadıkları | Yapay zekâ tarayıcıları için Robots.txt |
| Getirme tarayıcısı | ChatGPT-User, PerplexityBot | Kullanıcı sorularına bağlı kısa ziyaret patlamaları ve bu patlamaların ulaştığı sayfalar | Yapay zekâ tarayıcı günlükleri |
Eğitim ve getirme ayrımı, yapay zekâ tarayıcılarının belgelenme biçiminden gelir. Eğitim tarayıcıları modeller için içerik toplar, getirme tarayıcıları ise bir kullanıcı soru sorduğunda sayfaları çeker. Raporunuz ikisini ayrı tutmalıdır, çünkü birine yönelik bir politika kararı diğerine otomatik olarak uygulanmaz.
Bu düzeltmeleri uygularken Google trafiğini ve yapay zekâ trafiğini yan yana görmek isterseniz, Sorank'ın GEO / SEO panosu ikisini tek bir görünümde gösterir. Günlüklerden yaptığınız değişikliklerin yalnızca tarama sayılarını değil, trafiği de hareket ettirip ettirmediğini kontrol etmek için kullanın.
Sunucunun erişim günlüklerini okuyarak Googlebot ve diğer botların hangi URL'leri istediğini, bunu ne sıklıkla yaptıklarını ve hangi durum kodlarını aldıklarını görmektir. Günlükler, bir aracın tahminini değil, tarayıcıların sitenizde gerçekte ne yaptığını gösterir.
Kaynak sunucunuzdan ve önünüzdeki herhangi bir CDN'den 30 günle başlayın, elinizde yalnızca bu varsa en az 7 gün. Her değişiklikten önce ve sonra aynı zaman penceresini karşılaştırın, çünkü 3 günlük bir dışa aktarım ile 30 günlük bir dışa aktarım doğrudan kıyaslanamaz.
Tek başına hayır, çünkü Google user agent dizesinin sahtelenebileceğini söyler. IP'yi googlebot.com, google.com veya googleusercontent.com ile biten bir ters DNS sorgusuyla, ardından aynı IP'yi döndüren bir ileri sorguyla doğrulayın.
