सारांश: मुफ़्त robots.txt जाँचकर्ता किसी भी डोमेन की लाइव robots.txt फ़ाइल पढ़ता है और उसके नियम समूह, उसके sitemaps, मिली समस्याएँ और 14 AI crawlers की स्थिति दिखाता है (अनुमति, आंशिक या ब्लॉक), GPTBot और OAI-SearchBot से लेकर ClaudeBot, PerplexityBot और Google-Extended तक। फ़ाइल में हर बदलाव के बाद इसे चलाएँ, और जब भी आपके पेज Google या AI जवाबों में दिखने बंद हो जाएँ, तब भी।
एक robots.txt जाँचकर्ता वह एक पंक्ति पकड़ता है जो चुपचाप पूरी साइट को ब्लॉक कर देती है। Robots.txt एक सार्वजनिक मानक है (RFC 9309), जिसे हर बड़ा crawler किसी साइट पर जाने से पहले पढ़ता है, और AI crawlers ने उन बॉट की संख्या बढ़ा दी है जिन्हें यह फ़ाइल संभालनी पड़ती है। मई 2024 और मई 2025 के बीच, AI crawler ट्रैफ़िक में GPTBot का हिस्सा 5% से बढ़कर 30% हो गया और Meta-ExternalAgent 19% तक पहुँच गया (Cloudflare, 2025 में आपकी साइट कौन क्रॉल कर रहा है)। आपकी फ़ाइल को इन सबसे कोई समझदारी भरी बात कहनी होगी।
robots.txt जाँचकर्ता क्या दिखाता है?
कोई डोमेन डालें और उपकरण https://yourdomain/robots.txt लाता है, redirects का पालन करता है, फ़ाइल को पार्स करता है और पाँच हिस्से लौटाता है।
| हिस्सा | क्या दिखाता है | क्या देखें |
|---|---|---|
| नियम समूह | फ़ाइल में कितने User-agent समूह हैं | शून्य का मतलब है कि सिंटैक्स पढ़ा नहीं जा सका |
| Sitemaps | मिली हर Sitemap पंक्ति | कम से कम एक पूरा URL, आपके sitemap का |
| AI बॉट ब्लॉक | 14 AI crawlers में से कितने पूरी तरह ब्लॉक हैं | सिर्फ़ वही, जिन्हें आपने जानबूझकर ब्लॉक किया है |
| समस्याएँ | मिली समस्याएँ, सिफ़ारिश के साथ | शून्य, या सिर्फ़ जानबूझकर लिए गए फ़ैसले |
| कच्ची फ़ाइल | robots.txt जैसी वह सर्व होती है | कि यह वही फ़ाइल है जो आपने प्रकाशित की है |
अगर डोमेन पर robots.txt नहीं है, या वह सादे टेक्स्ट की जगह HTML पेज लौटाता है, तो उपकरण यह बताता है और एक जोड़ने की सिफ़ारिश करता है। मुफ़्त संस्करण दिन में 3 जाँच चलाता है।
जाँचकर्ता कैसे तय करता है कि AI बॉट ब्लॉक है?
14 AI crawlers में से हर एक के लिए, उपकरण ऐसा समूह ढूँढता है जो उस बॉट का नाम लेता है। अगर ऐसा कोई समूह नहीं है, तो वह User-agent: * समूह का उपयोग करता है। फिर तीन स्थितियों में से एक देता है।
| स्थिति | समूह में मिला नियम | इसका मतलब |
|---|---|---|
| अनुमति | कोई समूह लागू नहीं होता, या समूह में कोई Disallow नियम नहीं है | बॉट पूरी साइट क्रॉल कर सकता है |
| आंशिक | कुछ पथों पर Disallow नियम | बॉट साइट क्रॉल कर सकता है, सिवाय उन पथों के |
| ब्लॉक | Disallow: / बिना Allow: / के | बॉट से कहा गया है कि वह पूरी साइट से दूर रहे |
जाँचे गए 14 crawlers हैं: GPTBot, OAI-SearchBot और ChatGPT-User (OpenAI), ClaudeBot, Claude-Web और anthropic-ai (Anthropic), PerplexityBot और Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) और Meta-ExternalAgent। तालिका हर बॉट का प्रदाता और उद्देश्य भी दिखाती है, ताकि एक नज़र में पता चले कि आप प्रशिक्षण, सर्च या लाइव ब्राउज़िंग में से किसे ब्लॉक कर रहे हैं।
आपको कौन से AI crawlers अनुमति देने चाहिए?
उन crawlers को अनुमति दें जो आपके पेज AI सर्च के जवाबों में लाते हैं। प्रशिक्षण crawlers को ब्लॉक करना एक व्यावसायिक फ़ैसला है; सर्च crawlers को ब्लॉक करना आम तौर पर गलती होती है।
- OAI-SearchBot: जो साइटें बाहर निकलती हैं, वे ChatGPT सर्च के जवाबों में नहीं दिखतीं। GPTBot सिर्फ़ मॉडल प्रशिक्षण से जुड़ा है, और दोनों सेटिंग एक-दूसरे से स्वतंत्र हैं (OpenAI crawlers का सामान्य परिचय)।
- PerplexityBot: यह Perplexity के नतीजों में वेबसाइटें दिखाता और लिंक करता है, और इसका उपयोग foundation मॉडल को प्रशिक्षित करने के लिए नहीं होता (Perplexity crawlers)।
- Google-Extended: Gemini के प्रशिक्षण और grounding के लिए एक टोकन है, जो Google Search में शामिल होने या रैंकिंग को प्रभावित नहीं करता (Google के सामान्य crawlers)।
- Anthropic: ClaudeBot प्रशिक्षण डेटा इकट्ठा करता है, जबकि Claude-SearchBot और Claude-User सर्च और उपयोगकर्ता के अनुरोध पूरे करते हैं; इन दोनों को ब्लॉक करने से Claude में आपकी दृश्यता घट सकती है (Anthropic crawler नीति)।
ज़्यादातर साइटें यह फ़ैसला कभी नहीं करतीं। 6 जून 2025 को, robots.txt वाले शीर्ष 10,000 डोमेन में से सिर्फ़ लगभग 14% में AI बॉट को निशाना बनाने वाले नियम थे, और उसी Cloudflare अध्ययन के अनुसार GPTBot सबसे ज़्यादा ब्लॉक (312 डोमेन) था और सबसे साफ़ तौर पर अनुमति प्राप्त (61 डोमेन) भी। फ़ाइल में नाम न लिखे गए बॉट डिफ़ॉल्ट रूप से अनुमति प्राप्त होते हैं।
सबसे आम समस्याओं का क्या मतलब है?
| रिपोर्ट की गई समस्या | यह क्यों मायने रखती है | सुधार |
|---|---|---|
| User-agent: * पूरी साइट से ब्लॉक है | हर crawler जिसका अपना समूह नहीं है, Googlebot सहित, से दूर रहने को कहा गया है | * समूह से Disallow: / हटाएँ, सिवाय तब जब साइट staging की प्रति हो |
| Sitemap निर्देश नहीं है | जिन crawlers को आपने sitemap नहीं सौंपा, जैसे Bing या AI crawlers, वे उसे शायद न ढूँढ पाएँ | Sitemap: https://yourdomain/sitemap.xml जोड़ें |
| कोई नामित AI बॉट ब्लॉक है | वह प्रदाता आपके पेज क्रॉल नहीं करेगा | इसे तभी रखें जब उस बॉट को ब्लॉक करना जानबूझकर लिया गया फ़ैसला हो |
| कोई User-agent समूह पार्स नहीं हुआ | फ़ाइल में कोई वैध नियम नहीं है, इसलिए वह कुछ भी सीमित नहीं करती | सिंटैक्स जाँचें: Field: value, हर पंक्ति में एक नियम |
| कोई robots.txt नहीं मिला | अपने आप में कोई त्रुटि नहीं: तब Google सब कुछ क्रॉल करता है | फिर भी एक फ़ाइल जोड़ें, ताकि अपना sitemap घोषित कर सकें और AI crawlers के लिए अपनी पसंद बता सकें |
HTTP स्थिति के आधार पर Google किसी गायब या खराब फ़ाइल को अलग तरह से संभालता है। 4xx उत्तर (429 को छोड़कर) का मतलब है कोई प्रतिबंध नहीं। 5xx उत्तर को सर्वर त्रुटि माना जाता है: Google 12 घंटे तक क्रॉलिंग रोक देता है, फिर 30 दिन तक अपनी आख़िरी अच्छी प्रति इस्तेमाल करता है (Google, Google robots.txt विनिर्देश की व्याख्या कैसे करता है)। जो robots.txt सर्वर त्रुटियों के साथ लगातार विफल होती है, वह एक स्वस्थ साइट की क्रॉलिंग को जमा सकती है।
robots.txt की समस्या को चरण दर चरण कैसे ठीक करें?
- कच्ची फ़ाइल पढ़ें रिपोर्ट में, यह पक्का करने के लिए कि असल में ऑनलाइन क्या है। CDN cache और staging deployments अक्सर पुराना संस्करण सर्व करते हैं।
- फ़ाइल फिर से लिखें robots.txt जेनरेटर से, जो साफ़ समूह, Allow और Disallow नियम और Sitemap पंक्ति बनाता है।
- उसे root पर अपलोड करें हर होस्ट के लिए। blog.example.com जैसे subdomain को अपनी अलग फ़ाइल चाहिए।
- जाँचकर्ता फिर चलाएँ और पक्का करें कि स्थितियाँ बदल गई हैं।
- Google को बताएँ अगर सुधार ज़रूरी है। Search Console की robots.txt रिपोर्ट आपके शीर्ष 20 होस्ट के लिए मिली फ़ाइलें दिखाती है और दोबारा क्रॉल का अनुरोध करने देती है (Search Console सहायता, robots.txt रिपोर्ट)। नहीं तो Google लगभग 24 घंटे में अपनी cache प्रति ताज़ा कर देता है।
फिर पेजों को खुद जाँचें। robots.txt में खुला पेज फिर भी noindex टैग या किसी दूसरी जगह इशारा करने वाले canonical की वजह से index से बाहर रह सकता है: indexability जाँचकर्ता एक URL पर ये सभी जाँचता है। पूरी साइट पर यह देखने के लिए कि AI crawlers क्या पढ़ सकते हैं, AI crawlability ऑडिट चलाएँ।
robots.txt जाँचकर्ता की सीमाएँ क्या हैं?
- स्थितियाँ हर बॉट के हिसाब से सारांशित हैं, हर URL के हिसाब से नहीं। “आंशिक” बताता है कि कुछ पथ बंद हैं; कौन से, यह देखने के लिए नियम पढ़ें।
- हर बॉट के लिए एक समूह। अगर आपने एक ही बॉट के नियम कई समूहों में बाँटे हैं, तो Google उन्हें जोड़ देता है। ऐसे में कच्ची फ़ाइल पढ़ें।
- सिर्फ़ root डोमेन। उपकरण वह फ़ाइल पढ़ता है जो आप डालते हैं, www के बिना, और redirects का पालन करता है। हर subdomain अलग से जाँचें।
- 14 बॉट की सूची। Claude-SearchBot और Claude-User जैसे नए user-agents अभी तालिका में नहीं हैं: उन्हें कच्ची फ़ाइल में खोजें।
- Robots.txt एक अनुरोध है। ज़िम्मेदार crawlers इसका पालन करते हैं, गलत व्यवहार करने वाले नहीं करते, और उपयोगकर्ता के कहने पर होने वाले fetches, जैसे ChatGPT-User या Perplexity-User, शायद इसे लागू न करें, जैसा OpenAI और Perplexity दोनों दस्तावेज़ में बताते हैं।
इन जाँचों के पीछे की शब्दावली के लिए, हमारी glossary की प्रविष्टियाँ देखें: robots.txt और AI crawlers।
आप कैसे सुनिश्चित करें कि AI सहायक आपको ढूँढें और उद्धृत करें?
खुली robots.txt एक शर्त है, नतीजा नहीं। एक बार crawlers आपकी साइट पढ़ सकें, तो मापें कि AI सहायक सच में उसका उपयोग करते हैं या नहीं।
- AI जवाबों में अपने ब्रांड को ट्रैक करें Sorank AI मेंशन ट्रैकिंग से, जो हर महीने जाँचती है कि क्या ChatGPT, Claude और Gemini आपका नाम लेते हैं और कौन से स्रोत उद्धृत करते हैं।
- AI विज़िट पर नज़र रखें अपने Google क्लिक के साथ GEO और SEO dashboard में।
- Crawlers को ताज़ा पेज पढ़ने को दें ब्लॉग प्लानर से, जो आपका कैलेंडर भरता है और तय समय पर प्रकाशित करता है।
robots.txt की एक गलत पंक्ति एक साथ Google और हर AI सहायक से साइट छिपा सकती है। हर बदलाव के बाद ऊपर अपनी फ़ाइल जाँचें, फिर Sorank योजनाएँ देखें, ताकि अपनी crawlability और AI दृश्यता को autopilot पर मॉनिटर कर सकें।
