सारांश: मुफ़्त robots.txt जनरेटर वह फ़ाइल लिखता है जो क्रॉलर को बताती है कि आपकी साइट के किन हिस्सों में वे जा सकते हैं। एक मोड चुनें (सब कुछ अनुमति दें, सब कुछ ब्लॉक करें या कस्टम), अपने user-agent और पाथ सूचीबद्ध करें, अपना sitemap URL जोड़ें, फिर फ़ाइल कॉपी करें या डाउनलोड करें और अपने डोमेन की रूट पर अपलोड करें। याद रखें कि robots.txt क्रॉलिंग को नियंत्रित करता है, इंडेक्सिंग को नहीं: किसी पेज को Google से बाहर रखने के लिए इसके बजाय noindex इस्तेमाल करें।
एक robots.txt जनरेटर आपको उन छोटे सिंटैक्स एरर से बचाता है जो गलती से पूरी साइट ब्लॉक कर देते हैं। यह फ़ाइल Robots Exclusion Protocol का पालन करती है, जिसे Martijn Koster ने 1994 में बनाया था और IETF ने सितंबर 2022 में इंटरनेट स्टैंडर्ड के रूप में प्रकाशित किया (RFC 9309, Robots Exclusion Protocol). हर गंभीर क्रॉलर इसे सबसे पहले पढ़ता है, Googlebot से लेकर ChatGPT, Claude और Perplexity के बॉट तक।
robots.txt जनरेटर क्या करता है?
यह टाइप करते ही एक वैध robots.txt बनाता है, दाईं ओर लाइव प्रीव्यू के साथ, एक Copy बटन और एक Download बटन जो robots.txt नाम की फ़ाइल सेव करता है। कुछ भी किसी सर्वर पर नहीं भेजा जाता: फ़ाइल आपके ब्राउज़र में बनती है।
| सेटिंग | यह क्या लिखता है | कब इस्तेमाल करें |
|---|---|---|
| Allow everything | User-agent: * और Allow: / | ज़्यादातर सार्वजनिक साइटें जिनमें क्रॉलर से छिपाने को कुछ नहीं है |
| Block everything | User-agent: * और Disallow: / | स्टेजिंग या प्रीव्यू साइटें जिन्हें क्रॉल नहीं होना चाहिए |
| Custom | हर बॉट के लिए एक User-agent लाइन, फिर आपके Disallow और Allow पाथ | एडमिन एरिया, आंतरिक सर्च या किसी खास बॉट को ब्लॉक करना |
| Sitemap URL | Sitemap: https://example.com/sitemap.xml | हमेशा, ताकि हर क्रॉलर आपका sitemap पा सके |
| Crawl-delay | Crawl-delay: 1 से 120 सेकंड तक | सिर्फ़ उन बॉट के लिए जो इसे समर्थित करते हैं और ऐसे सर्वर पर जो संघर्ष करता है |
कस्टम मोड में, आपके सूचीबद्ध सभी user-agent एक ही नियम साझा करते हैं, और मानक एक समूह को इसी तरह परिभाषित करता है। अलग-अलग बॉट को अलग नियम देने के लिए हर बार एक समूह बनाएँ और उन्हें एक ही फ़ाइल में एक के बाद एक चिपकाएँ।
robots.txt फ़ाइल कैसे बनाएँ, चरण-दर-चरण?
- मोड चुनें। “Allow everything” से शुरू करें, जब तक कुछ ब्लॉक करने की कोई वजह न हो।
- अपने user-agent सूचीबद्ध करें कस्टम मोड में, हर लाइन पर एक: सभी क्रॉलर के लिए
*, या Googlebot, Bingbot या GPTBot जैसे नाम। - ब्लॉक करने वाले पाथ (Disallow) जोड़ें और खुले रखने वाले अपवाद (Allow), हर लाइन पर एक, हर एक स्लैश से शुरू होता हुआ।
- अपना sitemap URL पूरा चिपकाएँ, https और डोमेन के साथ।
- फ़ाइल कॉपी या डाउनलोड करें और उसे अपने होस्ट की रूट पर अपलोड करें, ताकि वह
https://example.com/robots.txtपर जवाब दे। - लाइव साइट पर जाँचें मुफ़्त robots.txt चेकर से, जो लाइव फ़ाइल पढ़ता है और हर AI क्रॉलर की स्थिति दिखाता है।
स्थान सख्त है। Google सिर्फ़ होस्ट की रूट पर robots.txt पढ़ता है, एक साइट के पास केवल एक हो सकती है, और फ़ाइल सिर्फ़ उसी प्रोटोकॉल, होस्ट और पोर्ट पर लागू होती है जहाँ वह पोस्ट है: सबडोमेन को अपनी अलग फ़ाइल चाहिए (Google, robots.txt फ़ाइल बनाना और सबमिट करना).
Google कौन-से robots.txt नियम मानता है?
Google चार फ़ील्ड समर्थित करता है: user-agent, allow, disallow और sitemap। crawl-delay जैसे अन्य फ़ील्ड समर्थित नहीं हैं (Google, Google robots.txt विनिर्देश कैसे समझता है). उसी पेज पर ये नियम दिए गए हैं।
| नियम | Google इसे कैसे लागू करता है |
|---|---|
| सबसे विशिष्ट नियम जीतता है | जब Allow और Disallow दोनों किसी URL से मेल खाते हैं, तो सबसे लंबे पाथ वाला नियम लागू होता है |
| नियमों के बीच बराबरी | जब दो मेल खाने वाले नियम बराबर विशिष्ट हों, तो Google कम प्रतिबंधात्मक नियम लेता है |
| वाइल्डकार्ड | * अक्षरों के किसी भी क्रम से मेल खाता है, $ URL के अंत को दर्शाता है |
| अक्षरों का आकार | फ़ील्ड नाम केस-इनसेंसिटिव हैं, लेकिन पाथ केस-सेंसिटिव: /Admin/ वह नहीं है जो /admin/ है |
| फ़ाइल का साइज़ | पहले 500 KiB के बाद की सामग्री अनदेखी की जाती है |
| कैश | फ़ाइल आम तौर पर 24 घंटे तक कैश होती है, इसलिए बदलाव तुरंत नहीं दिखता |
| फ़ाइल गायब (4xx) | ऐसे माना जाता है जैसे कोई पाबंदी नहीं: सब कुछ क्रॉल किया जा सकता है |
| सर्वर एरर (5xx) | Google 12 घंटे के लिए क्रॉलिंग रोकता है, फिर 30 दिन तक आख़िरी सही कॉपी इस्तेमाल करता है |
ऑनलाइन दुकान के लिए एक सामान्य फ़ाइल यहाँ है। यह कार्ट, चेकआउट और आंतरिक सर्च को ब्लॉक करती है, एक सार्वजनिक फ़ोल्डर खुला रखती है और sitemap घोषित करती है।
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
क्या Disallow किसी पेज को Google से हटा देता है?
नहीं। Robots.txt किसी वेब पेज को Google से बाहर रखने की व्यवस्था नहीं है। ब्लॉक किया गया URL फिर भी इंडेक्स हो सकता है, अगर दूसरी साइटें उससे लिंक करती हैं, और तब वह बिना विवरण के दिखता है (Google, robots.txt का परिचय). किसी पेज को छिपाने के लिए Google को उसे क्रॉल करने दें और noindex मेटा टैग या HTTP हेडर जोड़ें। उसी समय robots.txt में पेज ब्लॉक करने से Google कभी noindex देख ही नहीं पाएगा।
हर पेज का नतीजा इंडेक्सेबिलिटी चेकर से जाँचें, जो robots.txt, meta robots, X-Robots-Tag और canonical को एक साथ पढ़ता है। शब्दावली के लिए हमारी शब्दावली की प्रविष्टियाँ देखें: robots.txt और क्रॉलिंग और इंडेक्सिंग।
क्या robots.txt में AI क्रॉलर ब्लॉक करने चाहिए?
मॉडल को ट्रेन करने वाले बॉट ब्लॉक करना चाहें तो कर सकते हैं, लेकिन AI सर्च को चलाने वाले बॉट खुले रखें। बड़े प्रदाता अब दोनों को अलग करते हैं, इसलिए आपको अपनी सामग्री की सुरक्षा और उद्धृत होने के बीच चुनना नहीं पड़ता।
| प्रदाता | ट्रेनिंग बॉट | सर्च या जवाब वाला बॉट | सर्च बॉट ब्लॉक करने की कीमत |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | आपके पेज ChatGPT सर्च जवाबों में नहीं दिखेंगे |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude के सर्च नतीजों में कम दृश्यता |
| Perplexity | सूचीबद्ध नहीं | PerplexityBot | आपके पेज Perplexity नतीजों में शायद न दिखें या न जुड़ें |
| Google-Extended (एक टोकन, अलग बॉट नहीं) | Googlebot | Google-Extended Google Search या रैंकिंग को प्रभावित नहीं करता |
स्रोत: OpenAI क्रॉलर का अवलोकन, Anthropic की क्रॉलर नीति, Perplexity क्रॉलर और Google के सामान्य क्रॉलर। ट्रेनिंग रोकते हुए ChatGPT में उद्धृत होने लायक बने रहने के लिए, केवल ये दो लाइनें काफ़ी हैं, क्योंकि बाकी हर बॉट डिफ़ॉल्ट रूप से अनुमत रहता है:
User-agent: GPTBot Disallow: /
रुझान असली है: सिर्फ़ एक साल में (2023 से 2024), C4 ट्रेनिंग डेटासेट के सबसे सक्रिय रूप से रखरखाव वाले स्रोतों में से 28% या उससे ज़्यादा पूरी तरह AI क्रॉलर के लिए प्रतिबंधित हो गए (Longpre et al., Consent in Crisis, 2024). इसे मानने से पहले जाँचें कि AI जवाबों में ब्लॉक करने से आपका क्या नुकसान होता है: Sorank AI उल्लेख ट्रैकर हर महीने दिखाता है कि ChatGPT, Claude और Gemini आपके ब्रांड का नाम लेते हैं या नहीं।
कौन-सी robots.txt गलतियाँ SEO को सबसे ज़्यादा नुकसान पहुँचाती हैं?
- लॉन्च के बाद Disallow: / छोड़ देना। स्टेजिंग फ़ाइलें अक्सर प्रोडक्शन तक पहुँच जाती हैं। एक लाइन हर क्रॉलर को पूरी साइट से ब्लॉक कर देती है।
- CSS और JavaScript ब्लॉक करना। अगर गायब संसाधन पेज को समझने में कठिन बनाते हैं, तो Google इन्हें ब्लॉक करने के खिलाफ़ सलाह देता है।
- आख़िरी स्लैश भूल जाना।
Disallow: /admin/administrationऔर/admin-guideको भी ब्लॉक करता है। सिर्फ़ फ़ोल्डर ब्लॉक करने के लिए/admin/लिखें। - Google के लिए Crawl-delay पर भरोसा करना। Google इसे नज़रअंदाज़ करता है। Anthropic कहता है कि वह इस एक्सटेंशन को समर्थित करता है, इसलिए इसे सिर्फ़ उन बॉट के लिए रखें जो इसे पढ़ते हैं।
- robots.txt को सुरक्षा उपकरण की तरह इस्तेमाल करना। फ़ाइल सार्वजनिक है और कोई भी इसे पढ़ सकता है। निजी क्षेत्रों को लॉगिन से सुरक्षित करें, न कि सीधे उन्हीं की ओर इशारा करने वाली Disallow लाइन से।
- WordPress के अपवाद को भूल जाना। डिफ़ॉल्ट WordPress फ़ाइल
/wp-admin/ब्लॉक करती है, लेकिन/wp-admin/admin-ajax.phpकी अनुमति देती है, जिसे फ़्रंट-एंड फ़ीचर इस्तेमाल करते हैं (WordPress डेवलपर संदर्भ).
प्रकाशित करने के बाद अपनी robots.txt कैसे जाँचें?
तीन जाँच करें, सबसे तेज़ से सबसे पूरी तक।
- URL खोलें
https://yourdomain.com/robots.txtब्राउज़र में। आपको सादा टेक्स्ट दिखना चाहिए, HTML पेज या 404 नहीं। - robots.txt चेकर चलाएँ नियम समूह, sitemap, समस्याएँ और 14 AI user-agent की स्थिति देखने के लिए।
- Search Console में robots.txt रिपोर्ट खोलें। यह आपकी साइट के शीर्ष 20 होस्ट के लिए Google को मिली फ़ाइलें, आख़िरी क्रॉल और चेतावनियाँ दिखाती है, और ज़रूरी सुधार के बाद दोबारा क्रॉल का अनुरोध करने देती है (Search Console सहायता, robots.txt रिपोर्ट).
फिर सेटअप पूरा करें: XML sitemap जनरेटर से साफ़ sitemap बनाएँ और llms.txt जनरेटर से llms.txt फ़ाइल, जो AI सहायकों को आपके मुख्य पेजों का सार देती है।
जनरेट की गई robots.txt की सीमाएँ क्या हैं?
जनरेटर सही सिंटैक्स लिखता है, लेकिन वह आपकी साइट को नहीं जानता। वह नहीं जाँचता कि ब्लॉक किए गए पाथ में ऐसे पेज हैं जिन्हें आप रैंक कराना चाहते हैं, और वह एक समय में एक समूह लिखता है। बुरे बॉट फ़ाइल को पूरी तरह नज़रअंदाज़ करते हैं: robots.txt एक अनुरोध है, दीवार नहीं, इसलिए दुरुपयोग करने वाले ट्रैफ़िक को सर्वर या फ़ायरवॉल स्तर पर ब्लॉक करें। आख़िर में, प्रोटोकॉल सिर्फ़ क्रॉलिंग को कवर करता है। उपयोगकर्ता के अनुरोध से लाया गया पेज, जैसे ChatGPT-User या Perplexity-User, robots.txt के नियमों का पालन न करे, जैसा दोनों प्रदाता अपने दस्तावेज़ में बताते हैं।
आप अपनी साइट को आसानी से क्रॉल और उद्धृत होने लायक कैसे बनाएँ?
साफ़ robots.txt पहला कदम है। अगले कदम हैं क्रॉल होने लायक पेज प्रकाशित करना और यह जाँचना कि क्रॉलर सच में लौटते हैं।
- अपना क्रॉल और ट्रैफ़िक देखें GEO और SEO डैशबोर्ड में, जो Search Console, Analytics और ChatGPT व Perplexity से आने वाले विज़िट को एक साथ लाता है।
- देखें कि AI सहायक आपके बाज़ार में कौन-सी साइटें उद्धृत करते हैं GEO लीडरबोर्ड से, और उनके बीच आप कहाँ हैं।
- नियमित रूप से पब्लिश करें ब्लॉग लेख जनरेटर से, ताकि क्रॉलर को हमेशा कुछ नया मिले।
दो मिनट की robots.txt एक साथ आपके क्रॉल बजट और AI दृश्यता दोनों की रक्षा करती है। अपनी फ़ाइल ऊपर बनाएँ, चेकर से जाँचें, फिर Sorank के प्लान देखें ताकि आपकी साइट autopilot पर क्रॉल होने और उद्धृत होने लायक बनी रहे।
