वेबसाइट क्रॉलेबिलिटी AI ऑडिट: क्या AI बॉट सच में आपकी साइट तक पहुँच सकते हैं?

सारांश: AI क्रॉलेबिलिटी ऑडिट आपकी robots.txt और होम पेज पढ़ता है, फिर बताता है कि OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, Meta, ByteDance और Common Crawl के 14 AI क्रॉलर में से हर एक को अनुमति है, आंशिक रूप से ब्लॉक है, या पूरी तरह ब्लॉक है। यह noindex निर्देश और साइटमैप की भी जाँच करता है। 100 में से स्कोर उन क्रॉलर को दोगुना गिनता है जो AI सर्च जवाबों के लिए सामग्री जुटाते हैं। अगर OAI-SearchBot या PerplexityBot ब्लॉक है, तो ChatGPT और Perplexity आपका उद्धरण नहीं कर सकते।

एक वेबसाइट क्रॉलेबिलिटी AI ऑडिट एक सीधे सवाल का जवाब देता है: जो AI आपके ग्राहकों को जवाब देते हैं, क्या वे आपकी साइट पढ़ सकते हैं? हर कंपनी प्रकाशित करती है कि उसका क्रॉलर robots.txt में किस नाम से दिखता है, और हर सेटिंग अपने आप काम करती है। उदाहरण के लिए OpenAI समझाता है कि कोई साइट OAI-SearchBot को ChatGPT सर्च नतीजों में दिखने की अनुमति दे सकती है, और GPTBot को मना कर सकती है ताकि उसकी सामग्री मॉडल के प्रशिक्षण से बाहर रहे (OpenAI, OpenAI क्रॉलर का अवलोकन)। यानी robots.txt की एक पंक्ति आपको बिना जाने AI जवाब में अदृश्य बना सकती है।

ऑडिट कौन से AI क्रॉलर जाँचता है?

ऑडिट 14 यूज़र एजेंट जाँचता है। नीचे चिह्नित पाँच सर्च और लाइव जवाबों के लिए काम करते हैं: इन्हें ब्लॉक करने से आप वे जवाब भी छूट जाते हैं जो लोग आज पढ़ते हैं।

Anthropic अब तीन बॉट दर्ज करता है: प्रशिक्षण के लिए ClaudeBot, जब कोई Claude से सवाल पूछे तब लिए जाने वाले पेजों के लिए Claude-User, और सर्च की गुणवत्ता के लिए Claude-SearchBot (Claude Help Center, Anthropic क्रॉलर)। अगर आप Claude में उद्धृत होना चाहते हैं, तो अपनी robots.txt में आखिरी दो को भी अनुमति दें।

ऑडिट कैसे चलाएँ?

1. अपना डोमेन डालें, जैसे yourdomain.com। ऑडिट https://yourdomain.com/robots.txt और होम पेज पढ़ता है।
2. ऊपर के चार आँकड़े पढ़ें: अनुमति वाले सर्च बॉट, ब्लॉक क्रॉलर, जाँचे गए क्रॉलर और घोषित साइटमैप।
3. क्रॉलर तालिका देखें: हर पंक्ति में कंपनी, भूमिका, स्थिति और वह नियम दिखता है जिसने फ़ैसला किया।
4. सूचीबद्ध समस्याएँ ठीक करें, “सुधार कैसे करें” के अंतर्गत, फिर ऑडिट दोबारा चलाएँ।

ऑडिट मुफ़्त है, बिना खाते के प्रतिदिन 3 जाँचें।

AI क्रॉलेबिलिटी स्कोर कैसे निकाला जाता है?

हर क्रॉलर एक जाँच गिना जाता है: अनुमति पूरे अंक दिलाती है, आंशिक आधे, ब्लॉक कोई नहीं। पाँच सर्च क्रॉलर प्रशिक्षण वाले क्रॉलर से दोगुना भार रखते हैं, और होम पेज पर noindex, चाहे meta robots टैग में हो या X-Robots-Tag हेडर में, दोगुनी विफलता गिना जाता है। स्कोर वह हिस्सा है जो कुल अंकों में से मिला।

स्कोर खुलेपन को इनाम देता है। अगर आप पाँच सर्च क्रॉलर खुले रखते हैं और बाकी नौ ब्लॉक करते हैं, तो आपका स्कोर लगभग 57 आएगा: यह एक सोचा-समझा चुनाव है, कोई गलती नहीं। ऐसे में पहले “सर्च बॉट ठीक हैं” वाला आँकड़ा देखें, जो 5/5 दिखना चाहिए।

अनुमति, आंशिक और ब्लॉक का क्या मतलब है?

ऑडिट robots.txt के नियम वैसे ही लागू करता है जैसे क्रॉलर करते हैं: वह उस क्रॉलर के नाम से लिखा समूह लेता है, या अगर न हो तो “User-agent: *” वाला समूह।

• अनुमति: कोई समूह लागू नहीं होता, या समूह में कोई Disallow नियम नहीं है।
• आंशिक: कुछ रास्ते बंद हैं, जैसे /admin/ या /cart/। आम तौर पर यह ठीक है; जाँचें कि आपके सामग्री पेज सूची में न हों।
• ब्लॉक: “Disallow: /” बिना “Allow: /” के, तो क्रॉलर शायद कोई पेज नहीं पढ़ सकता।

ये नियम IETF द्वारा RFC 9309 में मानकीकृत Robots Exclusion Protocol पर आधारित हैं, जो साइट मालिकों को यह भी याद दिलाता है कि ये नियम पहुँच की अनुमति का कोई रूप नहीं हैं (RFC 9309, Robots Exclusion Protocol)। robots.txt एक अनुरोध है जिसे अच्छे व्यवहार वाले क्रॉलर मानते हैं, कोई ताला नहीं।

AI क्रॉलर ब्लॉक करें या अंदर आने दें?

दो इस्तेमालों को अलग करें। सर्च क्रॉलर उद्धरण और विज़िट लाते हैं; प्रशिक्षण क्रॉलर भविष्य के मॉडल को सामग्री देते हैं। जो कंपनियाँ सिफ़ारिश में आना चाहती हैं, वे ज़्यादातर पहले समूह को खोलती हैं और दूसरे के लिए मामला-दर-मामला तय करती हैं।

दो आधिकारिक स्पष्टीकरण फ़ैसले में मदद करते हैं। Google बताता है कि Google-Extended किसी साइट के Google Search में शामिल होने पर असर नहीं डालता और रैंकिंग का संकेत नहीं है (Google, आम क्रॉलर)। Perplexity बताता है कि PerplexityBot अपने सर्च नतीजों में साइटें दिखाता है और AI फ़ाउंडेशन मॉडल के प्रशिक्षण में इस्तेमाल नहीं होता (Perplexity, क्रॉलर दस्तावेज़)। Apple का Applebot-Extended सिर्फ़ प्रशिक्षण नियंत्रित करता है: Apple के अनुसार आपकी सामग्री Spotlight, Siri और Safari के ज़रिए फिर भी खोजी जा सकती है (Apple Support, Applebot के बारे में)।

ब्लॉक किए गए AI क्रॉलर को कैसे ठीक करें?

अपने डोमेन के रूट पर robots.txt फ़ाइल बदलें। ChatGPT सर्च खोलते हुए GPTBot बाहर रखने के लिए दो समूह जोड़ें:

• User-agent: OAI-SearchBot के बाद Allow: /
• User-agent: GPTBot के बाद Disallow: /

फिर तीन बातें जाँचें जो अक्सर बदलाव को पलट देती हैं।

1. CDN या फ़ायरवॉल नियम जो robots.txt पढ़े जाने से पहले AI यूज़र एजेंट ब्लॉक कर दे। कुछ CDN एक क्लिक वाला स्विच देते हैं जो AI बॉट ब्लॉक करता है।
2. noindex meta टैग में या X-Robots-Tag हेडर में, जिसे ऑडिट अलग से दिखाता है।
3. देरी: OpenAI और Perplexity दोनों कहते हैं कि बदलाव दिखने में लगभग 24 घंटे लग सकते हैं।

robots.txt चेकर सिंटैक्स जाँचता है, और robots.txt जनरेटर साफ़ फ़ाइल लिख देता है। AI क्रॉलर पर ग्लॉसरी की प्रविष्टि हर बॉट को और विस्तार से समझाती है।

ऑडिट साइटमैप और noindex क्यों देखता है?

क्योंकि सिर्फ़ पहुँच काफ़ी नहीं है: क्रॉलर को आपके पेज ढूँढने और उनका इस्तेमाल करने की अनुमति भी चाहिए। robots.txt में “Sitemap:” वाली पंक्ति हर क्रॉलर को आपके URL की सूची तक ले जाती है, और होम पेज पर noindex खोज प्रणालियों को बताता है कि साइट बाहर रखें। Google पुष्टि करता है कि AI Overviews या AI Mode में सहायक लिंक के रूप में दिखने के लिए पेज का इंडेक्स होना और स्निपेट के योग्य होना ज़रूरी है (Google, AI फ़ीचर और आपकी वेबसाइट)। पेज-दर-पेज देखने के लिए इंडेक्सेबिलिटी चेकर और साइटमैप चेकर इस्तेमाल करें।

ऑडिट की सीमाएँ क्या हैं?

• यह नियम पढ़ता है, ट्रैफ़िक नहीं: यह नहीं देख सकता कि कोई क्रॉलर सच में आया या नहीं। यह आपके सर्वर लॉग दिखाते हैं।
• robots.txt न होने पर खुला माना जाता है: जब फ़ाइल पढ़ी न जा सके, तो हर क्रॉलर अनुमति वाला दिखता है। अगर फ़ाइल सर्वर त्रुटि देती है, तो क्रॉलर RFC 9309 के अनुसार पूरी साइट को ब्लॉक मान सकते हैं, इसलिए उसका स्टेटस कोड जाँचें।
• फ़ायरवॉल इसे नहीं दिखते: CDN स्तर पर ब्लॉक हुआ बॉट फिर भी अनुमति वाला दिखेगा।
• नए क्रॉलर अक्सर आते हैं: सूची मुख्य AI कंपनियों को कवर करती है, वेब के हर बॉट को नहीं।

खुले दरवाज़ों से असली उद्धरण तक

खुली robots.txt उद्धरण को संभव बनाती है; वह उन्हें खुद नहीं बनाती। जब क्रॉलर आपको पढ़ सकें, तो ChatGPT विज़िबिलिटी चेकर से जाँचें कि ChatGPT सच में आपका उद्धरण करता है या नहीं। फिर Sorank AI मेंशन ट्रैकिंग ChatGPT, Gemini और Claude में आपके उद्धरण हर महीने देखता है, और ब्लॉग लेख जनरेटर वे पेज प्रकाशित करता है जिन्हें वे AI उद्धृत करना पसंद करते हैं। इसे autopilot पर चलाने के लिए Sorank प्लान देखें।