llms.txt: Yapay Zeka Dostu Siteler İçin Önerilen Bir Rehber Dosyası

20 yıl boyunca robots.txt, arama motoru tarayıcılarıyla iletişim kurmanın yoluydu. Google'a ve Bing'e hangi sayfaları taramaları, hangilerini atlamaları gerektiğini söylemek için onu site kök dizininize yerleştirirdiniz. Şimdi OpenAI, Anthropic, Google ve diğerlerinin yapay zeka asistanları da web'i okuyor ve farklı ihtiyaçları var. llms.txt, onlarla iletişim kurmak için yapılmış bir öneridir.

Answer.AI'ın kurucu ortağı Jeremy Howard tarafından 2024'te yayımlanan llms.txt önerisi, dil modellerinin sitenizin ne hakkında olduğunu anlamasına ve en yararlı sayfalarını bulmasına yardımcı olmak için tasarlanmıştır. Bir yapay zeka sistemini sitenizin bir e-ticaret mağazası mı, bir haber yayını mı yoksa bir teknik dokümantasyon sitesi mi olduğunu tahmin etmeye zorlamak yerine, llms.txt bunu açıkça söyler. İlke olarak bu netlik, yapay zeka sistemlerinin içeriğinizi daha doğru getirmesine ve kaynak göstermesine yardımcı olabilir. Hâlâ bir öneridir, benimsenmiş bir standart değildir ve hiçbir yapay zeka sağlayıcısı onu kullanmayı taahhüt etmemiştir.

llms.txt'nin Çözdüğü Sorun

Yapay zeka sistemleri pratik bir sorunla karşılaşır. Bir dil modeli aynı anda yalnızca sınırlı miktarda metin okuyabilir ve menüleri, betikleri ve reklamlarıyla bir web sitesinin tamamını temiz ve kullanılabilir metne dönüştürmek zordur. ChatGPT veya Gemini sitenizle ya da ürününüzle ilgili bir soruyu yanıtlamak istediğinde, neye öncelik vereceğini bilmez. Ürün sayfalarını mı yoksa blog yazılarını mı okumalı? Hangi dokümantasyon sayfası referanstır? Hangi sayfalar kalıcı, hangileri güncelliğini yitirmiş? Rehberlik olmadan bir yapay zeka sistemi sınırlı bağlamını düşük değerli sayfalarda harcayabilir veya önemli içeriği kaçırabilir.

robots.txt, arama motorları için farklı bir soruna yardımcı oldu. URL'leri engellemenize, tarayıcıları site haritanıza yönlendirmenize ve tarama bütçenizi korumanıza olanak tanıdı. Ancak robots.txt yalnızca erişimi denetler, içeriğinizi açıklamaz. Yapay zeka sistemlerinin ihtiyaçları farklıdır. Sıralama konumunu daha az, hangi alanda otorite olduğunuzu anlamayı daha çok önemserler.

llms.txt bu boşluğu doldurmayı hedefler. Dil modellerine sitenizin kısa bir özetini ve önemli sayfalarınızın derlenmiş bir listesini sunar. Bir yapay zeka sisteminin sitenizin "SaaS faturalama çözümleri" hakkında olduğunu çıkarsaması yerine, bunu ona doğrudan söyleyebilirsiniz. Amaç, en iyi içeriğinizi bulmayı ve kullanmayı kolaylaştırmaktır. Dizinlemeyi veya yapay zeka yanıtlarında kaynak gösterilme olasılığını iyileştirdiğine dair henüz bir kanıt yoktur.

llms.txt'nin Temel Yapısı ve Sözdizimi

llms.txt biçimi düz Markdown'dır ve hem insanlar hem de dil modelleri tarafından okunabilir. Dosya alan adınızın kök dizininde (www.example.com/llms.txt) bulunur ve sabit bir sırayı izler: bir başlık, kısa bir özet, isteğe bağlı ayrıntılar ve önemli sayfalarınıza bağlantı bölümleri. İşte temel bir örnek:

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

Sözdizimi, hem insanların hem de dil modellerinin okuyabilmesi için bilinçli olarak basit tutulmuştur. Kim olduğunuzu belirtir, sitenizin neleri kapsadığını özetler ve en önemli sayfalara işaret edersiniz. robots.txt'nin aksine llms.txt izin verme veya engelleme yönergeleri içermez: bir erişim kuralı değil, bir rehberdir ve hiçbir büyük yapay zeka sağlayıcısı ona uymayı taahhüt etmemiştir.

llms.txt Dosyasının Yapı Taşları

H1 başlığı (tek zorunlu öğe), sitenizin veya projenizin adıdır. Kısa ve açıklayıcı tutun. "Example SaaS Company", "Sitemize hoş geldiniz" ifadesinden daha iyidir.

Alıntı bloğu özeti, sitenin neleri kapsadığına dair asansör konuşmanızdır. Konusal uzmanlığınız konusunda net olun. "Teknoloji hakkında yazıyoruz" yerine "Python geliştiricileri için asenkron programlama, test ve üretim ortamına dağıtıma odaklanan teknik rehberler yayımlıyoruz" yazın. Bu netlik, yapay zeka sistemlerinin otoritenizi anlamasına yardımcı olur.

İsteğe bağlı ayrıntılar, başlıksız paragraflar veya listelerdir ve bir modelin dosyanın geri kalanını okumak için ihtiyaç duyduğu bağlamı ekler; örneğin sitenin kimin için olduğu veya bağlantılı sayfaların nasıl yorumlanacağı gibi.

H2 bölümleri bağlantılarınızı Dokümanlar, Ürünler veya Rehberler gibi temalara göre gruplandırır. Her bölüm, önemli sayfalarınıza giden bağlantılardan oluşan bir Markdown listesidir. Bir modelin ilk okumasını istediğiniz sayfaları seçin.

Bağlantı öğeleri [Sayfa adı](URL) biçimini kullanır; isteğe bağlı olarak ardından iki nokta ve sayfanın kısa bir açıklaması gelir. Her sayfanın kanonik URL'sini, tercih ettiğiniz sürümde (www ile veya www olmadan) kullanın.

Optional bölümü, "Optional" başlıklı özel bir H2'dir. Altındaki bağlantılar, daha kısa bir bağlam gerektiğinde atlanabilir; bu nedenle ikincil sayfaların yeri burasıdır.

Dosyada olmayanlar: llms.txt'de Allow, Disallow, Crawl-Delay veya tarih alanları yoktur. Erişimi ya da taramayı denetlemez; bu kurallar robots.txt'de kalır.

Daha İleri Gitmek: Sayfalarınızın Markdown Sürümleri

Temel dosyanın ötesinde öneri, dil modelleri için yararlı olan her sayfanın temiz bir Markdown sürümünü, aynı URL'ye .md eklenerek sunmayı da önerir (örneğin www.example.com/docs/getting-started.md). llms.txt'nizdeki bağlantılar bu sürümlere doğrudan işaret edebilir:

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

Bazı siteler ayrıca, her şeyi tek bir istekte isteyen araçlar için önemli sayfalarının tam metnini tek bir dosyada toplayan bir llms-full.txt dosyası da yayımlar. Bu, bazı dokümantasyon sitelerinin kullandığı bir gelenektir, önerinin zorunlu bir parçası değildir. Her iki durumda da amaç aynıdır: bir modelin okuyacağı gürültüyü azaltmak.

llms.txt ve robots.txt: Temel Farklar

robots.txt öncelikle kısıtlayıcıdır. Tarayıcılara nerelere GİRMEMELERİ gerektiğini söylersiniz. llms.txt ise öncelikle bilgilendiricidir. Dil modellerine ne hakkında olduğunuzu ve hangi sayfaların önemli olduğunu söylersiniz. robots.txt, belirli tarayıcıları hedeflemek için bir User-agent alanı kullanır ve büyük tarayıcılar ona uyar; llms.txt'de böyle bir alan yoktur ve büyük yapay zeka sağlayıcıları onu okuduklarını doğrulamamıştır.

robots.txt arama görünürlüğünü doğrudan etkiler. Tarayıcıların bir sayfaya girmesine izin vermezseniz, o sayfa genellikle taranmaz. llms.txt'nin geleneksel sıralamalar üzerinde etkisi yoktur ve yapay zeka görünürlüğü üzerindeki etkisi kanıtlanmamıştır. Kullanırsanız, her biri kendi rolüyle iki dosyayı da sitenizde tutun.

Pratikte, GPTBot veya ClaudeBot gibi yapay zeka tarayıcıları dahil hangi tarayıcıların sitenizin hangi bölümlerine erişebileceğine karar vermek için robots.txt'yi kullanın. llms.txt'yi yalnızca modelleri en iyi içeriğinize yönlendirmek için kullanın; hiçbir şeyi kısıtlayamaz. Örneğin:

robots.txt: seçtiğiniz tarayıcılar için /checkout ve /admin'i engeller (örneğin GPTBot)
llms.txt: yalnızca modellerin okumasını istediğiniz dokümanlara, rehberlere ve ürün sayfalarına bağlantı verir

Uygulama İçin En İyi Uygulamalar

llms.txt dosyanızı oluşturun ve www.example.com/llms.txt adresine yerleştirin. Markdown biçimlendirmeli düz UTF-8 metin kullanın. Web sunucunuzun onu text/plain veya text/markdown Content-Type başlığıyla sunduğundan emin olun. URL'yi doğrudan tarayıcınızda ziyaret ederek test edin; ham metni görmelisiniz. Yapının llms.txt spesifikasyonunu izlediğini kontrol edin: bir H1 başlığı, bir alıntı bloğu özeti ve bağlantılardan oluşan H2 bölümleri.

Net ve belirli açıklamalar yazın. Ana sayfanızın sloganını olduğu gibi kopyalamayın. Sitenizin neleri kapsadığı konusunda dürüst olun. 15 farklı konuda içerik yayımlıyorsanız, hepsini listeleyin. Dar bir odağınız varsa, bunu belirtin. Dürüst ve belirli açıklamalar bir model için belirsiz olanlardan daha yararlıdır. Sektörünüzü veya alanınızı tanımlayan anahtar kelimeleri ekleyin. Bir e-ticaret siteyseniz "e-ticaret, ürünler, fiyatlandırma" ifadelerini belirtin. Bir SaaS şirketiyseniz "yazılım, faturalama, entegrasyonlar" ifadelerini belirtin.

Önemli sayfalarınızda değişiklik yaptığınız her seferinde dosyayı güncelleyin. Biçimde tarih alanı yoktur, bu nedenle dosyayı güncel tutmak size kalmıştır. Sitenizin konusal odağı önemli ölçüde değişirse, özeti ve bölümleri güncelleyin. Özellikle yeni içerik kategorileri oluşturuyorsanız veya konumlandırmanızı inceltiyorsanız, llms.txt dosyanızı gözden geçirip yenilemek için üç aylık bir hatırlatıcı kurun.

llms.txt'nin benimsenmesini izleyin. Bazı dokümantasyon platformları ve geliştirici araçları llms.txt dosyaları yayımlıyor, ancak OpenAI, Anthropic ve Google DeepMind web'i tararken onu okumayı taahhüt etmedi. Bir tane eklemek düşük maliyetli bir deneydir, hiçbir şeyin garantisi değildir.

llms.txt ve Gizlilik Kaygıları

Bazı kişiler llms.txt'nin yapay zeka şirketlerinin içeriklerini nasıl kullandığını denetleyip denetleyemeyeceğini merak ediyor. Denetleyemez. Yapay zeka şirketleri ve gizlilik savunucuları web taramasının ve model eğitiminin etiğini tartışıyor. Arama ve tarama standartları erişim ile içerik üreticilerine saygı arasında denge kurmak için yirmi yılı aşkın sürede evrildi. llms.txt bu tartışmanın bir parçasıdır, ancak modellerin içeriğinizi bulmasına yardımcı olmak için tasarlanmıştır, nasıl kullandıklarını kısıtlamak için değil.

İçeriğinizin yapay zeka eğitiminde kullanılmasını engellemek istiyorsanız llms.txt yanlış araçtır: bunun için bir yönergesi yoktur. Bunun yerine ilgili yapay zeka kullanıcı aracıları için robots.txt kurallarını kullanın, örneğin:

User-agent: GPTBot
Disallow: /

robots.txt'ye uyum da isteğe bağlıdır, ancak saygın yapay zeka sağlayıcıları tarayıcılarının adlarını yayımlar ve ona uyduklarını belirtir. Daha güçlü bir koruma istiyorsanız, botları sunucu veya güvenlik duvarı yapılandırmanızda engelleyin. Şimdilik hiçbir dosya yasal bir mekanizma değildir. Düzenlemeler geliştikçe ve sektör standartları sertleştikçe daha sağlam mekanizmalar ortaya çıkabilir.

llms.txt Etkisini Ölçmek

Hiçbir yapay zeka sağlayıcısı dosyayı kullandığını söylemediği için llms.txt'den yatırım getirisini ölçmek zordur. Ancak göstergeleri takip edebilirsiniz. Dosyayı eklemeden önce ve sonra ChatGPT, Gemini, Claude ve Perplexity genelindeki yapay zeka bahsedilmelerinizi ve atıflarınızı izleyin. Atıflarda bir artış görürseniz, bu bir korelasyondur; atıfları pek çok başka etken etkilediği için dosyanın buna neden olduğunun kanıtı değildir. Atıf artışınızı llms.txt uygulamamış rakiplerle karşılaştırın.

Yapay zeka arama görünürlüğünüzü ölçmek için yapay zeka anma takip araçlarını kullanın. İçeriğinizin büyük yapay zeka asistanları tarafından kaç kez kaynak gösterildiğini takip edin. Bu, llms.txt eklemenin siteniz için bir şeyi değiştirip değiştirmediğine kendiniz karar vermenizi sağlar.

llms.txt'nin Geleceği

robots.txt, onlarca yıllık kullanımın ardından ancak 2022'de bir internet standardı (RFC 9309) olarak resmileştirildi. llms.txt hâlâ öneri aşamasındadır ve aynı yolu izleyebilir de izlemeyebilir de. Dosyaya sahip olmayan siteler bugün cezalandırılmaz ve hiçbir büyük yapay zeka arama platformu dosyayı kontrol ettiğini söylemedi.

Dosyayı oluşturmak dakikalar sürdüğü ve hiçbir maliyeti olmadığı için llms.txt eklemek, özellikle dokümantasyon ağırlıklı siteler için makul ve düşük riskli bir deneydir. Yalnızca beklentilerinizi gerçekçi tutun: bu bir öneridir, faydaları kanıtlanmamıştır ve zamanınız genellikle içerik kalitesine, yapıya ve yapay zeka sistemlerinin gerçekten dayandığı sinyallere harcanırsa daha iyi değerlendirilir.

WordPress, Shopify, Webflow ve diğer CMS'lerde llms.txt dosyası nasıl eklenir?

llms.txt dosyası, alan adınızın kök dizininde, yourdomain.com/llms.txt adresinde düz metin olarak yanıt vermelidir. Oraya nasıl koyacağınız, CMS'nizin kök dosyalar üzerinde ne kadar denetim sunduğuna bağlıdır:

• Kendi barındırdığınız siteler ve WordPress: dosyayı barındırma sağlayıcınızın dosya yöneticisi veya FTP aracılığıyla kök klasöre yükleyin. Bazı WordPress SEO eklentileri de onu sizin için oluşturup sunabilir.
• Kök dizine yüklemeyi engelleyen barındırılan platformlar (birçok site oluşturucu ve e-ticaret platformu): platformun kendi llms.txt ayarı veya uygulaması varsa onu kullanın; yoksa dosyayı başka bir yerde barındırıp /llms.txt adresinden bir yönlendirme ekleyin, ardından son URL'nin hâlâ düz metin döndürdüğünü kontrol edin.
• Statik ve headless siteler: llms.txt dosyasını public klasörüne koyun ki her dağıtımla birlikte yayına çıksın ve önemli sayfalar değiştiğinde yeniden oluşturun.

İçeriği ücretsiz llms.txt oluşturucuyla yazın, ardından URL'yi, içerik türünü ve Markdown yapısını llms.txt doğrulayıcısıyla doğrulayın. Adım adım kurulum rehberimiz her durumu ayrıntılı olarak anlatır.

Sonuç

llms.txt, dil modellerinin en iyi içeriklerini bulmasına yardımcı olmak isteyen siteler için önerilen, düşük maliyetli bir rehber dosyasıdır. Bu basit Markdown dosyasını alan adınızın köküne yerleştirerek sitenizin neleri kapsadığını anlatır ve önemli sayfalarınıza bağlantı verirsiniz. Biçim basittir ve uygulama dakikalar sürer, ancak hiçbir yapay zeka sağlayıcısı onu kullanmayı taahhüt etmediği için bir gereklilik olarak değil, bir deney olarak görün. ChatGPT, Claude, Gemini ve Perplexity tarafından kaynak gösterilmeyi ciddiye alıyorsanız, önce net, iyi yapılandırılmış içeriğe ve web genelindeki güçlü sinyallere odaklanın. llms.txt dosyanızda hangi konuları öne çıkaracağınızı belirlemek için Sorank'ın anahtar kelime araştırması ve keşif araçlarını kullanın.