सारांश: मुफ़्त llms.txt जनरेटर आपका होम पेज, आपका robots.txt और आपका sitemap.xml पढ़ता है, फिर llmstxt.org प्रस्ताव के ढाँचे में llms.txt फ़ाइल का मसौदा बनाता है: एक शीर्षक, एक पंक्ति का सारांश, मुख्य तथ्य, आपका मुख्य नेविगेशन और खंडों में बँटे आपके पेज। मसौदा देखें, सारांश और लिंक के नाम दोबारा लिखें, फिर फ़ाइल को अपनी साइट के रूट पर अपलोड करें। यह उन AI एजेंटों और सहायकों की मदद करता है जो फ़ाइल पढ़ते हैं; Google खोज इसे अनदेखा करती है।
एक llms.txt फ़ाइल किसी वेबसाइट के रूट पर रखा Markdown पेज है, जो भाषा मॉडलों को बताता है कि साइट क्या है और उसकी सबसे उपयोगी सामग्री कहाँ है। Answer.AI के Jeremy Howard ने सितंबर 2024 में इसका प्रस्ताव रखा, ताकि साइटें मॉडलों को “संक्षिप्त पृष्ठभूमि जानकारी और मार्गदर्शन, लिंक के साथ” एक ही जगह दे सकें (Answer.AI, 2024)। प्रस्ताव का मौजूदा संस्करण llmstxt.org पर रखा जाता है। जनरेटर सेकंडों में पहला मसौदा बना देता है, ताकि आपका समय उस हिस्से पर लगे जो मायने रखता है: शब्दों पर।
llms.txt जनरेटर क्या बनाता है?
कोई डोमेन लिखें, तो टूल आपकी साइट से तीन फ़ाइलें लाता है और मसौदा इस क्रम में जोड़ता है।
| फ़ाइल का हिस्सा | टूल इसे कहाँ से लेता है | क्या जाँचें |
|---|---|---|
| # साइट का नाम (H1) | og:site_name टैग, या पेज शीर्षक का पहला हिस्सा | आपके ब्रांड का नाम, और कुछ नहीं |
| > सारांश (blockquote) | मेटा विवरण, या न होने पर H1 | इसे दोबारा लिखें: आप क्या करते हैं और किसके लिए, एक या दो वाक्यों में |
| मुख्य तथ्य | वेबसाइट URL, कैनोनिकल, भाषा, मिलने पर sitemap और robots.txt | सही भाषा कोड और https पता |
| ## मुख्य नेविगेशन | nav तत्व के भीतर आंतरिक लिंक, अधिकतम 30 | लॉगिन, कार्ट और खाते के लिंक हटाएँ |
| ## खंड | /sitemap.xml से अधिकतम 100 URL, ब्लॉग, प्रोडक्ट और सेवाएँ, दस्तावेज़ीकरण, परिचय, कानूनी, संसाधन, मूल्य निर्धारण और अन्य पेज में छाँटे गए, हर खंड में 10 | हर लिंक का नाम असली शीर्षक से बदलें और एक छोटा नोट जोड़ें |
| ## प्रतिबंधित पथ | robots.txt से अधिकतम 15 Disallow नियम | वैकल्पिक; अगर आप फ़ाइल को केवल सामग्री तक रखना चाहते हैं तो इसे हटा दें |
फ़ाइल के ऊपर टूल उसका आकार अक्षरों और लाइनों में, खंडों की संख्या, मिले sitemap URL, और यह दिखाता है कि आपके robots.txt में पहले से llms.txt का ज़िक्र है या नहीं। प्रति दिन तीन जनरेशन मुफ़्त हैं; Sorank खाता सीमा हटा देता है।
llms.txt फ़ाइल किस फ़ॉर्मेट का पालन करती है?
प्रस्ताव Markdown ब्लॉकों का एक सरल क्रम तय करता है, ताकि लोग और प्रोग्राम दोनों उसे पढ़ सकें। केवल पहला हिस्सा ज़रूरी है।
- एक H1 जिसमें प्रोजेक्ट या साइट का नाम हो: “यही एकमात्र ज़रूरी खंड है।”
- एक blockquote जिसमें छोटा सारांश हो, जिसमें बाकी को समझने के लिए ज़रूरी मुख्य जानकारी हो।
- वैकल्पिक अनुच्छेद या सूचियाँ और विवरण, पर कोई शीर्षक नहीं।
- H2 खंड जिनमें “फ़ाइल सूचियाँ” हों: हर पंक्ति एक Markdown लिंक है, जिसके बाद चाहें तो कोलन और एक नोट हो।
- एक “Optional” खंड, परिपाटी के अनुसार, उन द्वितीयक लिंक के लिए जिन्हें एजेंट छोड़ सकता है जब उसका संदर्भ छोटा हो।
प्रस्ताव के संस्करण 2 में जोड़ा गया है कि फ़ाइल किसी सबफ़ोल्डर में भी हो सकती है, जैसे /docs/llms.txt, और केवल उस पथ के अंतर्गत आने वाले पेजों को कवर कर सकती है (llmstxt.org)। sorank.com/llms.txt पर हमारी अपनी फ़ाइल इसी ढाँचे का पालन करती है, हर लिंक के बाद एक नोट के साथ।
मसौदे को अच्छे llms.txt में कैसे बदलें?
जनरेटर URL देखता है; वह नहीं जान सकता कि आपके ग्राहकों के लिए कौन-से पेज सबसे अहम हैं। प्रकाशित करने से पहले इन बदलावों पर दस मिनट लगाएँ।
- सारांश दोबारा लिखें। बताएँ कि कंपनी क्या करती है, किसके लिए, कहाँ, और एक तथ्य जो उसे अलग करता है। मॉडल यही पंक्ति उद्धृत करते हैं।
- लिंक के नाम बदलें। टूल /pricing-plans को “Pricing Plans” बना देता है; उसकी जगह साफ़ शीर्षक लिखें, फिर कोलन के बाद एक नोट जोड़ें: “हर महीने 49 से योजनाएँ, सालाना बिलिंग”।
- वे पेज रखें जिन्हें आप उद्धृत करवाना चाहते हैं: मुख्य सेवाएँ, सबसे अच्छी गाइड, मूल्य निर्धारण, संपर्क। बाकी को “Optional” खंड में ले जाएँ या हटा दें।
- साफ़ सामग्री से लिंक करें। प्रस्ताव सुझाता है कि जहाँ पेजों के Markdown संस्करण हों, वहाँ उनकी ओर इशारा करें; वेबपेज से Markdown कनवर्टर दिखाता है कि मॉडल को कोई पेज कैसा दिखता है।
- अपलोड से पहले जाँचें llms.txt वैलिडेटर से।
अपनी वेबसाइट पर llms.txt कैसे इंस्टॉल करें?
फ़ाइल डाउनलोड करें, उसका नाम llms.txt ही रखें, और उसे अपने डोमेन के रूट पर अपलोड करें, ताकि वह https://yourdomain.com/llms.txt पर सादे टेक्स्ट के रूप में जवाब दे। WordPress पर फ़ाइल मैनेजर या SFTP काफ़ी है; Webflow, Shopify और दूसरे होस्टेड बिल्डर पर उनके रीडायरेक्ट या फ़ाइल होस्टिंग विकल्प इस्तेमाल करें, या अपने डेवलपर से कहें। मुख्य प्लेटफ़ॉर्म के लिए llms.txt फ़ाइल इंस्टॉल करने का तरीका पर हमारी चरण-दर-चरण गाइड देखें।
फिर ब्राउज़र में URL खोलें। अगर टेक्स्ट की जगह आपका होम पेज दिखे, तो सर्वर पता बदल रहा है और AI एजेंट भी यही देखेंगे। जाँचें कि फ़ाइल बिना लॉगिन, कुकी दीवार या रीडायरेक्ट के लोड होती है, और उच्चारण वाले अक्षर सही दिखते हैं, जिसका मतलब है कि वह UTF-8 टेक्स्ट के रूप में दी जा रही है।
आखिर में, जब आपकी पेशकश बदले तो फ़ाइल अपडेट करें। पिछले साल की सेवाओं का वर्णन करने वाला सारांश, या अब 404 लौटाने वाले लिंक, मॉडलों को गलत जगह भेजते हैं। पुनर्डिज़ाइन या माइग्रेशन के बाद जनरेटर फिर चलाएँ और नए मसौदे की तुलना प्रकाशित फ़ाइल से करें।
क्या llms.txt SEO या Google AI Overviews में मदद करता है?
नहीं, और Google यह सीधे कहता है। उसकी generative AI search गाइड llms.txt को उन चीज़ों में गिनती है जिन्हें Google के लिए अनदेखा किया जा सकता है: फ़ाइल बनाने से “आपकी साइट की Google Search में दृश्यता या रैंकिंग को न नुकसान होगा न फ़ायदा, क्योंकि Google Search उन्हें अनदेखा करता है” (Google, optimizing for generative AI search)। यही बात AI Overviews और AI Mode पर लागू होती है, जिनके लिए सामान्य SEO के अलावा “कोई अतिरिक्त आवश्यकता नहीं” है (Google, AI features and your website)।
फ़ाइल कहीं और उपयोगी है। प्रस्ताव की साइट के अनुसार हज़ारों साइटें इसे प्रकाशित करती हैं, दस्तावेज़ीकरण प्लेटफ़ॉर्म इसे अपने-आप बनाते हैं, और OpenAI, Anthropic और Google अपने डेवलपर दस्तावेज़ीकरण के लिए llms.txt फ़ाइलें प्रकाशित करते हैं। मुख्य पाठक वे कोडिंग एजेंट और सहायक हैं जो माँग पर साइट ब्राउज़ करते हैं। इसे उन विज़िटरों के लिए एक सस्ती मार्गदर्शिका मानें, रैंकिंग का लीवर नहीं।
| फ़ाइल | इसे कौन पढ़ता है | यह क्या करती है | ज़रूरी? |
|---|---|---|---|
| robots.txt | सर्च इंजन और AI क्रॉलर | क्रॉलर से पूछती है कि कौन-से पथ छोड़ें | दृढ़ता से सुझाई गई |
| sitemap.xml | सर्च इंजन | वे हर URL सूचीबद्ध करती है जिसे आप क्रॉल करवाना चाहते हैं | सुझाई गई |
| llms.txt | AI एजेंट और सहायक जो इसे पढ़ना चुनें | चुनी हुई सारांश और सबसे अच्छे लिंक देती है | वैकल्पिक |
क्या llms.txt, robots.txt जैसा ही है?
नहीं। robots.txt क्रॉलिंग को नियंत्रित करता है: यह बॉट से कुछ पथ न लाने को कहता है, और मानक स्वयं बताता है कि “ये नियम एक्सेस की अनुमति का कोई रूप नहीं हैं” (IETF, RFC 9309)। llms.txt कुछ नियंत्रित नहीं करता; वह मार्गदर्शन करता है। अगर आप GPTBot या ClaudeBot जैसे AI क्रॉलर को रोकना या अनुमति देना चाहते हैं, तो यह robots.txt में robots.txt जनरेटर से करें, फिर परिणाम robots.txt जाँचकर्ता से जाँचें। शब्दावली के लिए हमारी शब्दावली प्रविष्टियाँ llms.txt और robots.txt देखें।
AI सहायकों को आपकी साइट का हवाला देने के लिए असल में क्या चाहिए?
क्रॉल योग्य होना, साफ़ होना और ज़िक्र पाना। llms.txt फ़ाइल उस सूची में आखिरी चीज़ है, पहली नहीं।
- क्रॉलरों को आने दें: AI क्रॉल-योग्यता ऑडिट चलाएँ, ताकि देखें कि आपका सर्वर और robots.txt कौन-से बॉट रोक रहे हैं।
- अपने पेजों पर सीधे सवालों के जवाब दें, तथ्यों, आँकड़ों और स्रोतों के साथ।
- नतीजा मापें: AI मेंशन ट्रैकिंग दिखाती है कि ChatGPT, Gemini और Claude आपके ब्रांड का नाम लेते हैं या नहीं, हर प्रॉम्प्ट के हिसाब से।
मसौदा बनाएँ, हाथ से संपादित करें, अपलोड करें, फिर उन पेजों पर ध्यान दें जिनकी ओर वह इशारा करती है। अभी अपनी llms.txt बनाएँ, और हर महीने देखने के लिए कि AI सहायक आपके ब्रांड के बारे में कैसे बात करते हैं, Sorank योजनाएँ देखें।
