llms.txt: AI-अनुकूल साइटों के लिए एक प्रस्तावित गाइड फ़ाइल

20 वर्षों तक, robots.txt ही सर्च इंजन क्रॉलर से बात करने का तरीका था। आप इसे अपनी साइट के रूट पर रखते थे ताकि Google और Bing को बताया जा सके कि कौन से पेज क्रॉल करने हैं और कौन से छोड़ने हैं। अब OpenAI, Anthropic, Google और अन्य कंपनियों के AI असिस्टेंट भी वेब पढ़ते हैं, और उनकी ज़रूरतें अलग हैं। llms.txt उनसे संवाद करने का एक प्रस्ताव है।

llms.txt प्रस्ताव, जिसे 2024 में Answer.AI के सह-संस्थापक Jeremy Howard ने प्रकाशित किया, इस उद्देश्य से बनाया गया है कि भाषा मॉडल समझ सकें कि आपकी साइट किस बारे में है और उसके सबसे उपयोगी पेज कौन से हैं। AI सिस्टम को यह अनुमान लगाना न पड़े कि आपकी साइट ई-कॉमर्स स्टोर है, समाचार प्रकाशन है या तकनीकी दस्तावेज़ीकरण साइट, llms.txt यह सीधे बता देती है। सिद्धांत रूप में, यह स्पष्टता AI सिस्टम को आपकी सामग्री अधिक सटीकता से खोजने और उद्धृत करने में मदद कर सकती है। यह अभी भी एक प्रस्ताव है, अपनाया गया मानक नहीं, और किसी भी AI प्रदाता ने इसे उपयोग करने की प्रतिबद्धता नहीं जताई है।

वह समस्या जिसे llms.txt हल करता है

AI सिस्टम के सामने एक व्यावहारिक समस्या है। भाषा मॉडल एक बार में सीमित मात्रा में ही पाठ पढ़ सकता है, और पूरी वेबसाइट, उसके मेनू, स्क्रिप्ट और विज्ञापनों समेत, को साफ़ उपयोगी पाठ में बदलना कठिन है। जब ChatGPT या Gemini आपकी साइट या उत्पाद के बारे में सवाल का जवाब देना चाहता है, तो उसे पता नहीं होता कि किसे प्राथमिकता दे। क्या उसे उत्पाद पेज पढ़ने चाहिए या ब्लॉग पोस्ट? कौन सा दस्तावेज़ीकरण पेज संदर्भ है? कौन से पेज हमेशा प्रासंगिक रहते हैं, और कौन से पुराने हो चुके हैं? मार्गदर्शन के बिना, AI सिस्टम अपनी सीमित क्षमता कम मूल्य वाले पेजों पर खर्च कर सकता है या महत्वपूर्ण सामग्री छोड़ सकता है।

robots.txt सर्च इंजन के लिए एक अलग समस्या हल करता था। इससे आप URL ब्लॉक कर सकते थे, क्रॉलर को अपना sitemap दिखा सकते थे और अपना crawl budget बचा सकते थे। लेकिन robots.txt केवल पहुँच नियंत्रित करता है; वह आपकी सामग्री की व्याख्या नहीं करता। AI सिस्टम की ज़रूरतें अलग हैं। उन्हें रैंकिंग की स्थिति से कम और इस बात से ज़्यादा मतलब है कि आप किस विषय में विश्वसनीय हैं।

llms.txt इस अंतर को भरने की कोशिश करता है। यह भाषा मॉडल को आपकी साइट का एक संक्षिप्त सारांश और आपके मुख्य पेजों की चुनी हुई सूची देता है। AI सिस्टम को यह अनुमान लगाना नहीं पड़ता कि आपकी साइट "SaaS बिलिंग समाधान" के बारे में है, आप यह सीधे बता सकते हैं। लक्ष्य है आपकी सबसे अच्छी सामग्री को खोजना और उपयोग करना आसान बनाना। अभी तक इस बात का कोई प्रमाण नहीं है कि यह इंडेक्सिंग या AI उत्तरों में उद्धृत होने की संभावना को बेहतर बनाता है।

llms.txt की मूल संरचना और सिंटैक्स

llms.txt फ़ॉर्मेट सादा Markdown है, जिसे लोग और भाषा मॉडल दोनों पढ़ सकते हैं। फ़ाइल आपके डोमेन के रूट पर रहती है (www.example.com/llms.txt) और एक तय क्रम का पालन करती है: एक शीर्षक, एक छोटा सारांश, वैकल्पिक विवरण, और आपके मुख्य पेजों के लिंक वाले खंड। यहाँ एक बुनियादी उदाहरण है:

# Example SaaS Company

> B2B SaaS कंपनियों के लिए बिलिंग ऑटोमेशन सॉफ़्टवेयर, जो प्राइसिंग रणनीति, मीटरिंग, पेमेंट प्रोसेसिंग और अनुपालन को कवर करता है।

Example SaaS Company वित्त टीमों को इनवॉइसिंग स्वचालित करने में मदद करती है। नीचे दिए गए लिंक हमारे सबसे उपयोगी पेजों की ओर ले जाते हैं।

## Docs

- [शुरुआत करें](https://www.example.com/docs/getting-started): अपना पहला बिलिंग प्लान सेट करें
- [API संदर्भ](https://www.example.com/docs/api): एंडपॉइंट और प्रमाणीकरण

## Guides

- [SaaS प्राइसिंग रणनीतियाँ](https://www.example.com/blog/saas-pricing): प्राइसिंग मॉडल चुनने और परखने का तरीका

## Optional

- [हमारे बारे में](https://www.example.com/about)

इस सिंटैक्स को जानबूझकर सरल रखा गया है ताकि लोग और भाषा मॉडल दोनों इसे पढ़ सकें। आप बताते हैं कि आप कौन हैं, अपनी साइट क्या कवर करती है, और कौन से पेज सबसे अहम हैं। robots.txt के विपरीत, llms.txt में Allow या Disallow निर्देश नहीं होते: यह एक मार्गदर्शिका है, पहुँच का नियम नहीं, और कोई भी प्रमुख AI प्रदाता इसे मानने की प्रतिबद्धता नहीं जताता।

llms.txt फ़ाइल के मुख्य हिस्से

H1 शीर्षक (केवल यही अनिवार्य तत्व है) आपकी साइट या प्रोजेक्ट का नाम है। इसे संक्षिप्त और वर्णनात्मक रखें। "Example SaaS Company" "हमारी साइट पर स्वागत है" से बेहतर है।

Blockquote सारांश आपकी साइट किस विषय को कवर करती है, इसका संक्षिप्त परिचय है। अपनी विशेषज्ञता के बारे में ठोस रहें। "हम तकनीक पर लिखते हैं" के बजाय लिखें "हम Python डेवलपर्स के लिए तकनीकी गाइड प्रकाशित करते हैं, जिनका फ़ोकस async प्रोग्रामिंग, टेस्टिंग और प्रोडक्शन डिप्लॉयमेंट पर है।" यही विशिष्टता AI सिस्टम को आपका अधिकार समझने में मदद करती है।

वैकल्पिक विवरण ऐसे अनुच्छेद या सूचियाँ हैं, बिना शीर्षक के, जो वह संदर्भ जोड़ते हैं जो मॉडल को बाकी फ़ाइल पढ़ने के लिए चाहिए, जैसे साइट किसके लिए है या जुड़े पेज कैसे समझें।

H2 खंड आपके लिंक को विषय के अनुसार समूहित करते हैं, जैसे Docs, Products या Guides। हर खंड आपके मुख्य पेजों के लिंक की Markdown सूची है। वे पेज चुनें जिन्हें आप चाहते हैं कि मॉडल सबसे पहले पढ़े।

लिंक आइटम [पेज का नाम](URL) फ़ॉर्मेट में लिखे जाते हैं, जिनके बाद वैकल्पिक रूप से कोलन और पेज का छोटा विवरण आता है। हर पेज का कैनोनिकल URL उसी संस्करण में उपयोग करें जो आप पसंद करते हैं (www के साथ या बिना)।

Optional खंड "Optional" शीर्षक वाला एक विशेष H2 है। जब छोटा संदर्भ चाहिए हो तो इसके नीचे के लिंक छोड़े जा सकते हैं, इसलिए दूसरी श्रेणी के पेज यहीं जाते हैं।

फ़ाइल में क्या नहीं होता: llms.txt में Allow, Disallow, Crawl-Delay या तारीख के फ़ील्ड नहीं होते। यह पहुँच या क्रॉलिंग को नियंत्रित नहीं करता; वे नियम robots.txt में ही रहते हैं।

आगे बढ़ना: आपके पेजों के Markdown संस्करण

बुनियादी फ़ाइल के अलावा, प्रस्ताव यह भी सुझाता है कि हर पेज का एक साफ़ Markdown संस्करण दिया जाए, जो भाषा मॉडल के लिए उपयोगी हो और उसी URL पर .md जोड़कर उपलब्ध हो (उदाहरण के लिए, www.example.com/docs/getting-started.md)। तब आपकी llms.txt के लिंक सीधे इन संस्करणों की ओर जा सकते हैं:

- [शुरुआत करें](https://www.example.com/docs/getting-started.md): अपना पहला बिलिंग प्लान सेट करें

कुछ साइटें llms-full.txt फ़ाइल भी प्रकाशित करती हैं, जो उनके मुख्य पेजों का पूरा पाठ एक ही फ़ाइल में इकट्ठा करती है, उन टूल्स के लिए जो एक ही अनुरोध में सब कुछ चाहते हैं। यह कुछ दस्तावेज़ीकरण साइटों की परंपरा है, प्रस्ताव का अनिवार्य हिस्सा नहीं। दोनों मामलों में लक्ष्य एक ही है: मॉडल के लिए कम शोर।

llms.txt बनाम robots.txt: मुख्य अंतर

robots.txt मुख्य रूप से प्रतिबंधात्मक है। आप बताते हैं कि क्रॉलर कहाँ जाने की अनुमति नहीं है। llms.txt मुख्य रूप से सूचनात्मक है। आप बताते हैं कि आप किस बारे में हैं और कौन से पेज मायने रखते हैं। robots.txt विशिष्ट क्रॉलर को निशाना बनाने के लिए User-agent फ़ील्ड का उपयोग करता है, और प्रमुख क्रॉलर उसे मानते हैं; llms.txt में ऐसा कोई फ़ील्ड नहीं है, और प्रमुख AI प्रदाताओं ने पुष्टि नहीं की है कि वे इसे पढ़ते हैं।

robots.txt सीधे खोज दृश्यता को प्रभावित करता है। अगर आप किसी पेज के लिए क्रॉलर को रोकते हैं, तो वह आम तौर पर क्रॉल नहीं होगा। llms.txt का पारंपरिक रैंकिंग पर कोई असर नहीं है, और AI दृश्यता पर इसका असर अप्रमाणित है। अगर आप इसका उपयोग करते हैं, तो दोनों फ़ाइलें अपनी साइट पर रखें, हर एक की अपनी भूमिका के साथ।

व्यवहार में, robots.txt से तय करें कि कौन से क्रॉलर, GPTBot या ClaudeBot जैसे AI क्रॉलर सहित, आपकी साइट के किन हिस्सों तक पहुँच सकते हैं। llms.txt का उपयोग केवल मॉडल को आपकी सबसे अच्छी सामग्री की ओर इशारा करने के लिए करें; यह कुछ भी प्रतिबंधित नहीं कर सकता। उदाहरण के लिए:

robots.txt: चुने हुए क्रॉलर (जैसे GPTBot) के लिए /checkout और /admin को ब्लॉक करता है
llms.txt: केवल वे docs, गाइड और उत्पाद पेज जोड़ता है जिन्हें आप मॉडल से पढ़वाना चाहते हैं

कार्यान्वयन की सर्वोत्तम प्रथाएँ

अपनी llms.txt फ़ाइल बनाएं और उसे www.example.com/llms.txt पर रखें। Markdown फ़ॉर्मेटिंग के साथ सादा UTF-8 टेक्स्ट उपयोग करें। सुनिश्चित करें कि आपका वेब सर्वर इसे text/plain या text/markdown Content-Type हेडर के साथ दे। ब्राउज़र में URL सीधे खोलकर जाँचें; आपको कच्चा पाठ दिखना चाहिए। जाँचें कि संरचना llms.txt विनिर्देश के अनुसार है: एक H1 शीर्षक, एक blockquote सारांश, और लिंक वाले H2 खंड।

स्पष्ट और विशिष्ट विवरण लिखें। अपने होमपेज की टैगलाइन ही कॉपी न करें। ईमानदार रहें कि आपकी साइट क्या कवर करती है। अगर आप 15 अलग-अलग विषयों पर सामग्री प्रकाशित करते हैं, तो उन्हें सूचीबद्ध करें। अगर आप संकीर्ण रूप से केंद्रित हैं, तो वह भी बताएं। ईमानदार, विशिष्ट विवरण किसी मॉडल के लिए धुंधले विवरणों से ज़्यादा उपयोगी हैं। अपने वर्टिकल या इंडस्ट्री का वर्णन करने वाले कीवर्ड शामिल करें। अगर आप ई-कॉमर्स साइट हैं, तो "ई-कॉमर्स, उत्पाद, प्राइसिंग" लिखें। अगर आप SaaS कंपनी हैं, तो "सॉफ़्टवेयर, बिलिंग, इंटीग्रेशन" लिखें।

जब भी आप अपने मुख्य पेजों में बदलाव करें, फ़ाइल अपडेट करें। फ़ॉर्मेट में तारीख का फ़ील्ड नहीं है, इसलिए फ़ाइल को अद्यतन रखना आपकी ज़िम्मेदारी है। अगर आपकी साइट का विषयगत फ़ोकस काफ़ी बदलता है, तो सारांश और खंड अपडेट करें। हर तिमाही llms.txt की समीक्षा और ताज़ा करने की याद सेट करें, खासकर जब आप नई सामग्री श्रेणियाँ बना रहे हों या अपनी पोज़िशनिंग सुधार रहे हों।

llms.txt को अपनाने पर नज़र रखें। कुछ दस्तावेज़ीकरण प्लेटफ़ॉर्म और डेवलपर टूल्स पहले से llms.txt फ़ाइलें प्रकाशित करते हैं, लेकिन OpenAI, Anthropic और Google DeepMind ने वेब क्रॉल करते समय इसे पढ़ने की प्रतिबद्धता नहीं जताई है। इसे जोड़ना एक कम-लागत प्रयोग है, कोई गारंटी नहीं।

llms.txt और गोपनीयता की चिंताएँ

कुछ लोग पूछते हैं कि क्या llms.txt यह नियंत्रित कर सकता है कि AI कंपनियाँ उनकी सामग्री का उपयोग कैसे करती हैं। नहीं कर सकता। AI कंपनियाँ और गोपनीयता के समर्थक वेब क्रॉलिंग और मॉडल ट्रेनिंग की नैतिकता पर बहस कर रहे हैं। खोज और क्रॉलिंग मानक दो दशकों में विकसित हुए हैं, ताकि पहुँच और सामग्री निर्माताओं के सम्मान के बीच संतुलन बना रहे। llms.txt इस चर्चा का हिस्सा है, लेकिन इसे मॉडल को आपकी सामग्री ढूँढने में मदद के लिए बनाया गया था, न कि उसके उपयोग को प्रतिबंधित करने के लिए।

अगर आप चाहते हैं कि आपकी सामग्री AI ट्रेनिंग में उपयोग न हो, तो llms.txt सही उपकरण नहीं है: इसमें इसके लिए कोई निर्देश नहीं है। इसके बजाय संबंधित AI user agents के लिए robots.txt नियम उपयोग करें, उदाहरण के लिए:

User-agent: GPTBot
Disallow: /

robots.txt का पालन भी स्वैच्छिक है, लेकिन विश्वसनीय AI प्रदाता अपने क्रॉलर के नाम प्रकाशित करते हैं और कहते हैं कि वे इसका सम्मान करते हैं। अगर आप मज़बूत सुरक्षा चाहते हैं, तो अपने सर्वर या फ़ायरवॉल कॉन्फ़िगरेशन में बॉट ब्लॉक करें। फ़िलहाल, इनमें से कोई भी फ़ाइल कानूनी तंत्र नहीं है। जैसे-जैसे नियम विकसित होते हैं और उद्योग मानक मज़बूत होते हैं, अधिक ठोस तंत्र सामने आ सकते हैं।

llms.txt के प्रभाव को मापना

llms.txt से ROI मापना कठिन है, क्योंकि किसी AI प्रदाता ने नहीं कहा कि वह इस फ़ाइल का उपयोग करता है। लेकिन आप संकेतकों पर नज़र रख सकते हैं। फ़ाइल जोड़ने से पहले और बाद में ChatGPT, Gemini, Claude और Perplexity पर अपने AI उल्लेख और उद्धरण देखें। अगर उद्धरण बढ़ते हैं, तो यह सह-संबंध है, प्रमाण नहीं कि फ़ाइल ने ही यह किया, क्योंकि उद्धरणों को कई दूसरे कारक भी प्रभावित करते हैं। अपने उद्धरणों की वृद्धि की तुलना उन प्रतियोगियों से करें जिन्होंने llms.txt नहीं जोड़ा।

AI उल्लेख ट्रैकिंग टूल्स का उपयोग करके अपनी AI खोज दृश्यता को मापें। ट्रैक करें कि प्रमुख AI असिस्टेंट आपकी सामग्री को कितनी बार उद्धृत करते हैं। इससे आप खुद देख सकते हैं कि llms.txt जोड़ने से आपकी साइट पर कुछ बदलता है या नहीं।

llms.txt का भविष्य

robots.txt को दशकों के उपयोग के बाद 2022 में ही इंटरनेट मानक (RFC 9309) के रूप में औपचारिक रूप दिया गया। llms.txt अभी प्रस्ताव के चरण में है, और यह उसी रास्ते पर चल भी सकता है और नहीं भी। जिन साइटों पर यह फ़ाइल नहीं है, उन्हें आज दंडित नहीं किया जाता, और कोई प्रमुख AI खोज प्लेटफ़ॉर्म नहीं कहता कि वह इस फ़ाइल को जाँचता है।

फ़ाइल बनाने में कुछ मिनट लगते हैं और कोई लागत नहीं आती, इसलिए llms.txt जोड़ना एक उचित, कम-जोखिम वाला प्रयोग है, खासकर दस्तावेज़ीकरण-भारी साइटों के लिए। बस अपेक्षाएँ यथार्थवादी रखें: यह एक प्रस्ताव है, इसके लाभ अप्रमाणित हैं, और आपका समय आम तौर पर सामग्री की गुणवत्ता, संरचना और उन संकेतों पर बेहतर खर्च होता है जिन पर AI सिस्टम वास्तव में भरोसा करते हैं।

WordPress, Shopify, Webflow और अन्य CMS पर llms.txt फ़ाइल कैसे जोड़ें

llms.txt फ़ाइल आपके डोमेन के रूट पर, yourdomain.com/llms.txt पर, सादे टेक्स्ट के रूप में उपलब्ध होनी चाहिए। वहाँ तक कैसे पहुँचाएँ, यह इस पर निर्भर करता है कि आपका CMS रूट फ़ाइलों पर कितना नियंत्रण देता है:

• सेल्फ़-होस्टेड साइट और WordPress: फ़ाइल को अपने होस्ट के फ़ाइल मैनेजर या FTP के ज़रिए रूट फ़ोल्डर में अपलोड करें। कुछ WordPress SEO प्लगइन भी इसे बना और सर्व कर सकते हैं।
• होस्टेड प्लेटफ़ॉर्म जो रूट अपलोड रोकते हैं (कई साइट बिल्डर और ई-कॉमर्स प्लेटफ़ॉर्म): अगर प्लेटफ़ॉर्म अपनी llms.txt सेटिंग या ऐप देता है, तो उसका उपयोग करें; नहीं तो फ़ाइल कहीं और होस्ट करें और /llms.txt से रीडायरेक्ट जोड़ें, फिर जाँचें कि अंतिम URL अब भी सादा टेक्स्ट लौटाता है।
• स्टैटिक और हेडलेस साइट: llms.txt को public फ़ोल्डर में रखें ताकि वह हर डिप्लॉयमेंट के साथ जाए, और जब मुख्य पेज बदलें तो उसे फिर से बनाएं।

सामग्री लिखने के लिए मुफ़्त llms.txt जनरेटर उपयोग करें, फिर llms.txt वैलिडेटर से URL, कंटेंट टाइप और Markdown संरचना की पुष्टि करें। हर मामले का चरण-दर-चरण विवरण हमारी इंस्टॉलेशन गाइड में है।

निष्कर्ष

llms.txt एक प्रस्तावित, कम-लागत गाइड फ़ाइल है उन साइटों के लिए जो भाषा मॉडल को अपनी सबसे अच्छी सामग्री खोजने में मदद करना चाहती हैं। इस सरल Markdown फ़ाइल को अपने डोमेन के रूट पर रखकर आप बताते हैं कि आपकी साइट किस बारे में है और अपने मुख्य पेजों के लिंक देते हैं। फ़ॉर्मेट सीधा है और लागू करने में मिनट लगते हैं, लेकिन किसी AI प्रदाता ने इसे उपयोग करने की प्रतिबद्धता नहीं जताई है, इसलिए इसे अनिवार्य नहीं, प्रयोग मानें। अगर आप ChatGPT, Claude, Gemini और Perplexity में उद्धृत होने को गंभीरता से लेते हैं, तो पहले स्पष्ट, अच्छी तरह संरचित सामग्री और पूरे वेब पर मज़बूत संकेतों पर ध्यान दें। अपने llms.txt में कौन से विषय उजागर करने हैं, यह पहचानने के लिए Sorank के कीवर्ड रिसर्च और खोज टूल्स उपयोग करें।