GPTBot ve OAI-SearchBot gibi OpenAI tarayıcıları, sitenizi model eğitimi ve ChatGPT araması için okur. Her birinin ne yaptığını ve nasıl kontrol edeceğinizi öğrenin.

Özet
OpenAI tarayıcıları, OpenAI'ın web sayfalarını okumak için kullandığı otomatik botlardır. Başlıcaları model eğitimi için GPTBot, ChatGPT arama sonuçları için OAI-SearchBot ve kullanıcı tarafından tetiklenen istekler için ChatGPT-User'dır. Her biri robots.txt dosyasında ayrı ayrı kontrol edilebilir.
Daha fazlasını mı istiyorsunuz? Sorun:
OpenAI tarayıcıları, OpenAI'ın açık webdeki içeriği okumak ve çekmek için gönderdiği kullanıcı aracılarıdır (user agent). Tek bir bot değil, birkaç bottan oluşurlar ve her birinin ayrı bir görevi vardır. Hangisinin ne yaptığını bilmek önemlidir, çünkü belirlediğiniz kurallar içeriğinizin modelleri eğitmek için kullanılıp kullanılamayacağını, ChatGPT aramasında görünüp görünmeyeceğini ya da her ikisini birden belirler. Yanlış botu engellemek, sizi yapay zeka yanıtlarından sessizce çıkarabilir.
Bu, üretken motor optimizasyonunun (GEO) merkezindeki pratik ve teknik bir konudur. ChatGPT içinde kaynak gösterilmek istiyorsanız ilgili yapay zeka tarayıcılarının size erişebilmesi gerekir ve eğitim erişimi ile arama erişimi arasındaki farkı anlamanız gerekir. Bu makale doğrudan OpenAI'ın kendi botlarını nasıl belgelediğine dayanmaktadır.
OpenAI tarayıcıları, OpenAI adına web sitelerinden sayfa talep eden otomatik programlardır ve bir tarayıcı botu türüdür. Diğer web tarayıcıları gibi bir kullanıcı aracısı dizesiyle kendilerini tanıtırlar ve çoğu durumda robots.txt dosyanızdaki talimatlara uyarlar. OpenAI, her tarayıcının IP aralıklarını yayımlar; böylece kendilerine ait olduğunu iddia eden trafiğin gerçekten onlara ait olup olmadığını doğrulayabilirsiniz.
Temel kavram ayrıştırmadır. OpenAI farklı amaçlar için farklı tarayıcılar çalıştırır ve her biri bağımsız olarak izin verilebilir ya da engellenebilir. Yani ya hep ya hiç yerine ayrıntılı tercihler yapabilirsiniz; örneğin eğitime izin vermeyip arama indekslemesine izin verebilirsiniz.
GPTBot, OpenAI'ın üretken yapay zeka temel modellerini eğitmek için kullanılabilecek içeriği toplayan tarayıcıdır. Kullanıcı aracısı, kendisini OpenAI'ın belgelerine bağlantı vererek GPTBot olarak tanıtır ve IP aralıkları OpenAI'ın tuttuğu bir JSON dosyasında yayımlanır. robots.txt dosyasında GPTBot'a izin vermemek, içeriğinizin model eğitiminde kullanılmaması gerektiğini bildirir.
Önemli olan şu: GPTBot'u engellemek yalnızca eğitimle ilgilidir. Sizi ChatGPT aramasından çıkarmaz, çünkü arama farklı bir tarayıcı kullanır. Eğitimi sınırlamak ama yapay zeka yanıtlarında görünür kalmak isteyen birçok yayıncı, özellikle GPTBot'u engellemeyi ve arama botuna izin vermeyi seçer.
OAI-SearchBot, web sitelerini ChatGPT'nin arama özelliklerinde gösteren tarayıcıdır. Sayfaları indeksler; böylece ChatGPT bir soruyu yanıtlarken bu sayfalar getirilebilir ve kaynak olarak gösterilebilir. Bu, eğitim verisi toplamadan tamamen ayrı bir sistemdir. Kullanıcı aracısı OAI-SearchBot olarak tanımlanır ve IP aralıkları da OpenAI tarafından yayımlanır.
Görünürlük açısından en önemli tarayıcı budur. OAI-SearchBot'a izin vermezseniz sayfalarınız ChatGPT arama sonuçlarında görünmez; yine de bazı gezinme bağlantıları kalabilir. Bu bot için robots.txt değişikliklerinin geçerli olması yaklaşık 24 saat sürer, dolayısıyla ayarlar anında etkili olmaz. Ona izin vermek, fiilen yapay zeka aramasında alıntılanabilir olmanın bedelidir.
ChatGPT-User, yalnızca bir kişi ChatGPT'den ya da özel bir GPT'den belirli bir URL'yi okumasını veya bir sayfanın çekilmesini gerektiren bir işlem yapmasını açıkça istediğinde devreye girer. Hiçbir zaman otomatik, büyük ölçekli tarama yapmaz. Kullanıcı aracısı, OpenAI'ın bot belgelerine bağlantı vererek kendisini ChatGPT-User olarak tanıtır.
Bu istekleri otomatik tarama değil kullanıcı başlattığı için, robots.txt kuralları ChatGPT-User için aynı şekilde geçerli olmayabilir. Ayrıca, modelleri eğitmek yerine reklam açılış sayfalarını doğrulamak için kullanılan ilgili bir reklam aracısı da vardır: OAI-AdsBot. Bu da ayrı olarak yönetilebilir.
Bu tarayıcılar ChatGPT görünürlüğünüzün kapı bekçileridir. ChatGPT, okumasına hiç izin verilmemiş bir sayfayı kaynak gösteremez; bu yüzden yanlış yapılandırılmış bir robots.txt, bir markanın yapay zeka yanıtlarında yer almamasının en yaygın ve en kolay önlenebilir nedenlerinden biridir. Tarayıcı erişimini doğru ayarlamak, üretken motor optimizasyonundaki diğer her şeyin ön koşuludur.
Karar stratejik bir boyut da taşır. Bazı yayıncılar aramada kaynak gösterilmekten memnundur ama eğitimde kullanılmak istemez; ayrı tarayıcılar bu tutumu mümkün kılar. Botların içeriğinize ulaşmasına ve onu okumasına izin vermenin genel uygulaması, yapay zekaya uyarlanmış taramadan başka bir şey değildir; arama motorlarına yardımcı olan aynı düzen burada da işe yarar.
Önce politikanızı belirleyin. ChatGPT aramasında görünür kalıp eğitimden çıkmak için robots.txt dosyasında OAI-SearchBot'a izin verin ve GPTBot'a izin vermeyin. Tüm yapay zeka görünürlüğünü en üst düzeye çıkarmak için hepsine izin verin. Tamamen çıkmak için her birini engelleyin; ancak ChatGPT arama görünürlüğünü kaybedeceğinizi kabul etmeniz gerekir. Her tarayıcı bağımsız olduğundan kuralları kullanıcı aracısı başına belirleyin.
robots.txt dosyasını güncelledikten sonra arama botu değişikliklerinin etkili olmasının yaklaşık bir gün sürebileceğini unutmayın ve gerçek tarayıcı trafiğini OpenAI'ın yayımladığı IP aralıklarıyla karşılaştırarak doğrulayın. Erişimin ötesinde, içeriğin kendisinin ayrıştırılabilir olduğundan emin olun: önemli bilgileri istemci tarafı JavaScript'in arkasına ya da görsellerin içine gizlemeyin, çünkü bir tarayıcı yalnızca gerçekten okuyabildiği şeyi kaynak gösterir. Temiz erişimi güçlü bir anahtar kelime araştırması ve içerik planlamasıyla birleştirin; böylece ulaştıkları sayfalar kaynak gösterilmeye değer olsun.
İlk zorluk, işin takibini yapmaktır. OpenAI zaman içinde kullanıcı aracılarını günceller ve yeni botlar ekler; bu yüzden bir yıl önce yazılmış bir robots.txt güncel tarayıcıları yansıtmayabilir. Düzenli gözden geçirme şarttır; eski bir listeye güvenmek, korumak istediğiniz içeriği açıkta bırakabilir ya da paylaşmak istediğiniz içeriği engelleyebilir.
Ayrıca herkes için geçerli bir doğru cevabı olmayan gerçek bir denge vardır. Tarayıcılara izin vermek görünürlüğü artırır, ancak içeriğinizi size trafik göndermeden soruları yanıtlayabilecek sistemlere katkı olarak sunar. Onları engellemek içeriği korur, ancak hızla büyüyen bir kanalda görünmez kalma riski taşır. Karar, işletmeniz için yapay zeka kaynaklı keşfin mi yoksa içerik denetiminin mi daha önemli olduğuna bağlıdır.
OpenAI tarayıcıları, OpenAI için web'i okuyan botlardır: eğitim için GPTBot, ChatGPT araması için OAI-SearchBot ve kullanıcı tarafından tetiklenen istekler için ChatGPT-User olarak ayrılırlar ve her biri kendi başına kontrol edilebilir. Yapay zeka görünürlüğünü hedefleyenler için pratik çıkarım açıktır: ChatGPT sizi kaynak gösterebilsin diye arama tarayıcısına izin verin ve eğitim konusunda bilinçli bir tercih yapın.
Daha fazlası için bunu OpenAI ile ve daha geniş yapay zeka tarayıcıları kategorisiyle ilişkilendirin; ulaştıkları sayfaları kaynak gösterilmeye değer kılmak için Sorank'ın araştırma ve planlama araçlarını kullanın. Kaynaklar: OpenAI bot belgeleri, xSeek ve Wikipedia.
Kaynaklar
Üç ana tarayıcı vardır. GPTBot, OpenAI'ın temel modellerini eğitmek için kullanılabilecek içeriği toplar. OAI-SearchBot, sayfaların ChatGPT aramasında görünmesi ve kaynak gösterilmesi için onları indeksler. ChatGPT-User ise yalnızca bir kullanıcı ChatGPT'den belirli bir sayfayı okumasını açıkça istediğinde o sayfayı çeker. Reklam açılış sayfalarını doğrulayan OAI-AdsBot da vardır.
Hayır. GPTBot yalnızca eğitim verisi toplamayı kontrol eder; ChatGPT araması ise OAI-SearchBot adlı ayrı bir tarayıcı kullanır. Eğitimden çıkmak için GPTBot'u engelleyip ChatGPT aramasında görünür ve alıntılanabilir kalmak için OAI-SearchBot'a izin verebilirsiniz. GPTBot'u engellemenin arama alıntılarınız üzerinde hiçbir etkisi yoktur.
robots.txt dosyanızda OAI-SearchBot'a izin verin, çünkü ona izin vermemek sizi ChatGPT arama sonuçlarından çıkarır. Değişikliklerin etkili olmasının yaklaşık 24 saat sürebileceğini unutmayın. Ayrıca içeriğinizin okunabilir olduğundan emin olun: önemli bilgileri JavaScript'in arkasına ya da görsellerin içine gizlemeyin, çünkü tarayıcı yalnızca erişip ayrıştırabildiği metni kaynak gösterebilir.
SORANK'I SİZDEN ÖNCE DENEDİLER
