सारांश: llms.txt सत्यापक आपके डोमेन की root पर मौजूद फ़ाइल (yourdomain.com/llms.txt) लाता है और llms.txt प्रस्ताव द्वारा तय संरचना जाँचता है: H1 शीर्षक, blockquote में सारांश, H2 भाग और [नाम](url) रूप में लिखे लिंक। यह त्रुटियाँ और चेतावनियाँ दिखाता है, बताता है कि फ़ाइल कैसे पार्स हुई, और 100 में से स्कोर देता है। वैध फ़ाइल AI एजेंटों को आपके मुख्य पेज खोजने में मदद करती है, लेकिन Google की AI सुविधाओं में दिखने के लिए इसकी ज़रूरत नहीं है।
एक llms.txt सत्यापक आपको बताता है कि AI सहायकों के लिए लिखी गई फ़ाइल उसी तरह पढ़ी जा सकती है या नहीं जैसी वह बनी थी। यह प्रारूप सितंबर 2024 में Jeremy Howard ने एक Markdown फ़ाइल के रूप में प्रस्तावित किया था, जो एजेंटों को किसी साइट की सबसे उपयोगी सामग्री के लिए “संक्षिप्त पृष्ठभूमि जानकारी, मार्गदर्शन और लिंक” देती है, और अगस्त 2026 में इसका संशोधित संस्करण v2 आया (llmstxt.org, /llms.txt फ़ाइल)। Markdown इंसानों के लिए लचीला है और पार्सर के लिए सख़्त: एक “#” भी छूट जाए तो फ़ाइल अपना शीर्षक खो देती है।
llms.txt सत्यापक कैसे काम करता है?
अपना डोमेन डालें और जाँच चलाएँ। उपकरण साइट की root पर /llms.txt का अनुरोध करता है, ठीक वैसे जैसे कोई AI एजेंट करेगा, फिर उसे एक-एक पंक्ति करके पढ़ता है।
- डोमेन लिखें, उदाहरण के लिए “yourdomain.com”। /llms.txt जोड़ने की ज़रूरत नहीं है।
- विश्लेषण चलाएँ। अगर पता त्रुटि लौटाता है, खाली फ़ाइल या HTML पेज (आम स्थिति, जब सर्वर हर अज्ञात URL पर होम पेज भेजता है), तो रिपोर्ट बताती है कि कोई llms.txt नहीं मिली।
- निर्णय पढ़ें: कोई त्रुटि न मिले तो “वैध llms.txt”, वरना “समस्याएँ मिलीं”, साथ में त्रुटियों और चेतावनियों की सूची।
- पार्स की गई सामग्री जाँचें: शीर्षक और सारांश जैसा पार्सर ने समझा, भागों और लिंक की संख्या, और हर भाग के लिंक।
- कच्ची फ़ाइल खोलें ताकि उसकी तुलना उससे करें जो आप प्रकाशित करना चाहते थे।
सत्यापक मुफ़्त है, रोज़ तीन जाँच और एक बॉट-रोधी चरण के साथ। फ़ाइल शून्य से बनाने के लिए llms.txt जेनरेटर इस्तेमाल करें, फिर परिणाम यहाँ सत्यापित करें।
सत्यापक क्या जाँचता है?
प्रस्ताव में वर्णित प्रारूप पर आधारित पाँच जाँचें। दो समस्याएँ त्रुटियाँ हैं, क्योंकि वे फ़ाइल को पार्सर के लिए बेकार बना देती हैं; तीन चेतावनियाँ हैं।
| जाँच | नियम | विफल होने पर |
|---|---|---|
| शीर्षक | “# ” से शुरू होने वाली एक पंक्ति, उसके बाद साइट का नाम | त्रुटि |
| लिंक | कम से कम एक Markdown लिंक जो [नाम](url) लिखा हो | त्रुटि |
| सारांश | एक blockquote पंक्ति जो “> ” से शुरू हो और साइट का सार दे | चेतावनी |
| भाग | कम से कम एक “## ” हेडर जो लिंक समूह बनाए (Docs, Products, Blog...) | चेतावनी |
| लिंक का प्रारूप | हर URL पूरा (https://...) हो या “/” से शुरू हो | चेतावनी, प्रभावित लिंक की संख्या के साथ |
llms.txt स्कोर कैसे निकाला जाता है?
पाँचों जाँचों में से हर एक बराबर गिनी जाती है। पास होने पर 1 अंक, चेतावनी पर आधा अंक, त्रुटि पर कोई अंक नहीं; कुल योग को 100 में से स्कोर में बदला जाता है।
| स्थिति | स्कोर | निर्णय |
|---|---|---|
| पाँचों जाँच पास | 100 | मज़बूत |
| सारांश blockquote नहीं है | 90 | मज़बूत |
| न सारांश, न भाग | 80 | मज़बूत |
| शीर्षक नहीं है | 80 | मज़बूत स्कोर, पर फ़ाइल पर समस्याएँ चिह्नित होती हैं |
| सिर्फ़ शीर्षक, न सारांश, न भाग, न लिंक | 60 | अच्छा, सुधार की गुंजाइश है, पर वैध नहीं (कोई लिंक नहीं) |
| कोई llms.txt नहीं मिली | 0 | फ़ाइल गायब है |
निर्णय के स्तर ये हैं: 75 और ऊपर (मज़बूत), 60 से 74 (अच्छा, सुधार की गुंजाइश है), 40 से 59 (काम की ज़रूरत है) और 40 से नीचे (गंभीर कमियाँ)। पहले त्रुटियों की सूची देखें: एक त्रुटि वाली फ़ाइल वैध नहीं है, उसका स्कोर चाहे जो भी हो। चूँकि मौजूद फ़ाइल, जो अजीब लिंक से बचती है, हमेशा कुछ अंक रखती है, इसलिए सत्यापक जो भी llms.txt पढ़ सकता है, उसका स्कोर कम से कम 40 होता है।
वैध llms.txt फ़ाइल कैसी दिखती है?
एक छोटी Markdown फ़ाइल, तय क्रम में: H1 शीर्षक, blockquote सारांश, संदर्भ के वैकल्पिक अनुच्छेद, फिर लिंकों वाले भाग, हर लिंक के बाद एक छोटी टिप्पणी के साथ। प्रस्ताव “Optional” नाम का एक भाग भी जोड़ता है, उन लिंकों के लिए जिन्हें एजेंट छोड़ सकता है जब उसे छोटा संदर्भ चाहिए।
# Example Bakery
> Example Bakery is an organic bakery in Lyon, France, selling sourdough bread and pastries in two shops and online.
Orders placed before noon are delivered the same day in Lyon.
## Products
- [Bread](https://example.com/bread): sourdough and whole grain loaves, prices
- [Pastries](https://example.com/pastries): seasonal pastries and cakes to order
## Practical information
- [Shops and opening hours](https://example.com/shops): addresses and hours of the two shops
- [Delivery](https://example.com/delivery): areas, fees and times
## Optional
- [Our story](https://example.com/about): history of the bakery since 1998इस उदाहरण को सत्यापक से चलाएँ, तो यह पाँचों जाँच पास करता है। Sorank अपनी फ़ाइल sorank.com/llms.txt पर प्रकाशित करता है, उसी संरचना पर बनी। मुख्य CMS पर अपलोड के लिए हमारी गाइड llms.txt फ़ाइल कैसे इंस्टॉल करें देखें।
सत्यापक सबसे ज़्यादा कौन सी गलतियाँ पकड़ता है?
- फ़ाइल की जगह HTML पेज। कुछ CMS और single-page applications /llms.txt पर 200 स्थिति के साथ होम पेज भेजते हैं। सत्यापक HTML पहचानता है और फ़ाइल को गायब बताता है।
- H1 की जगह बोल्ड शीर्षक। “**Example Bakery**” पार्सर के लिए शीर्षक नहीं है; “# Example Bakery” है।
- खुले URL। [नाम](url) वाले सिंटैक्स के बिना पतों की सूची एजेंटों को न नाम देती है, न संदर्भ।
- बिना स्लैश के सापेक्ष लिंक। “bread.html” अस्पष्ट है; “https://example.com/bread” या “/bread” इस्तेमाल करें।
- एक विशाल फ़ाइल। प्रस्ताव एक चुनी हुई सार-झलक माँगता है जो “संदर्भ में फ़िट होने जितनी छोटी रहे”। आपका sitemap पहले से हर URL सूचीबद्ध करता है; llms.txt सिर्फ़ वे चुनता है जो मायने रखते हैं।
क्या llms.txt आपको AI जवाबों में दिखने में मदद करती है?
यह एजेंटों की मदद करती है, रैंकिंग की नहीं। Google कहता है कि AI Overviews या AI Mode में दिखने के लिए “कोई अतिरिक्त आवश्यकता नहीं” है, और यह कि “इन सुविधाओं में दिखने के लिए आपको नई machine-readable फ़ाइलें, AI text फ़ाइलें या markup बनाने की ज़रूरत नहीं है” (Google Search Central, AI सुविधाएँ और आपकी वेबसाइट)। Search crawlers दोनों ही तरह से आपके पेज लिंक और sitemaps के ज़रिए ढूँढते हैं।
यह फ़ाइल दूसरी स्थितियों में उपयोगी है: जब कोई कोडिंग एजेंट या browsing वाला सहायक किसी सटीक सवाल का जवाब देने के लिए आपकी साइट पढ़ता है, तो साफ़ llms.txt उसे एक अनुरोध में सही पेजों तक ले जाती है। प्रस्ताव बताता है कि इसका सबसे ज़्यादा उपयोग software documentation के लिए होता है, और OpenAI, Anthropic और Gemini अपने developer docs के लिए इसे प्रकाशित करते हैं। इसे एक सस्ता, कम जोखिम वाला जोड़ समझें, दृश्यता बढ़ाने का लीवर नहीं। परिभाषाओं के लिए हमारी glossary की llms.txt और llms-full.txt प्रविष्टियाँ देखें।
llms.txt robots.txt और sitemap से कैसे अलग है?
| फ़ाइल | पाठक | उद्देश्य |
|---|---|---|
| robots.txt | क्रॉलर | बताती है कि बॉट किन क्षेत्रों में जा सकते हैं या नहीं |
| sitemap.xml | सर्च इंजन | क्रॉल और index करने वाले सभी URL सूचीबद्ध करती है |
| llms.txt | AI एजेंट और सहायक | साइट और पेजों का चुना हुआ चयन पेश करती है, जिसे ज़रूरत पड़ने पर पढ़ा जाता है |
robots.txt को Robots Exclusion Protocol के रूप में मानकीकृत किया गया है (IETF, RFC 9309), और एक sitemap फ़ाइल में 50,000 URL तक हो सकते हैं (sitemaps.org प्रोटोकॉल)। llms.txt को अभी ऐसा मानक दर्जा नहीं मिला है: यह एक सार्वजनिक प्रस्ताव है, इसीलिए सत्यापक इसके प्रकाशित प्रारूप का बारीकी से पालन करता है। तीनों साथ काम करते हैं। llms.txt में सूचीबद्ध पेज, पर robots.txt में ब्लॉक हो, तो उसे वह क्रॉलर नहीं पढ़ेगा जो ब्लॉक का सम्मान करता है: पहुँच की जाँच robots.txt जाँचकर्ता और AI crawlability ऑडिट से करें।
सत्यापक की सीमाएँ क्या हैं?
- यह सिर्फ़ root फ़ाइल जाँचता है। प्रस्ताव का संस्करण 2 किसी path के नीचे की फ़ाइलों की भी अनुमति देता है, जैसे /docs/llms.txt; उन्हें हाथ से जाँचें।
- यह लिंक नहीं खोलता। हटाए गए पेज का लिंक प्रारूप जाँच पास कर लेता है। URL को टूटे लिंक जाँचकर्ता से जाँचें।
- लिंक पर यह प्रस्ताव से सख़्त है। प्रस्ताव सिर्फ़ H1 माँगता है; सत्यापक बिना लिंक वाली फ़ाइल को त्रुटि मानता है, क्योंकि बिना लिंक की फ़ाइल एजेंटों को कहीं ले जाती ही नहीं।
- यह सामग्री का मूल्यांकन नहीं करता। सही प्रारूप वाली फ़ाइल भी साइट का गलत वर्णन कर सकती है या कमज़ोर पेजों की ओर इशारा कर सकती है।
वैध फ़ाइल से असली AI दृश्यता तक
वैध llms.txt में शीर्षक, सारांश, भाग और साफ़ लिंक होते हैं, और वह छोटी रहती है। इससे एजेंटों के लिए आपकी साइट पढ़ना आसान होता है; उद्धृत होना लिंक के पीछे के पेजों पर निर्भर करता है। Sorank AI मेंशन ट्रैकिंग हर प्रॉम्प्ट के हिसाब से दिखाता है कि ChatGPT, Claude या Gemini आपका उद्धरण करते हैं या नहीं, और ब्लॉग लेख जेनरेटर वे पेज प्रकाशित करता है जिन्हें वे उद्धृत करते हैं: पहले उत्तर देने वाले पेज। अपनी AI दृश्यता को autopilot पर बढ़ाने के लिए Sorank योजनाएँ देखें।
