AI crawlers के लिए Robots.txt: क्या अनुमति दें, क्या रोकें

संक्षेप में: AI उत्तरों में दिखते रहने के लिए, खोज और उपयोगकर्ता-फ़ेच करने वाले crawlers (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User और Googlebot) को अनुमति दें, और अलग से तय करें कि training crawlers (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) को अनुमति देनी है या नहीं। Training bot को रोकने से आप AI सर्च से बाहर नहीं होते; खोज bot को रोकने से आम तौर पर होते हैं। हर नियम आपकी robots.txt में विक्रेता द्वारा दस्तावेज़ित ठीक उसी user agent नाम के नीचे जाए।

आपकी AI crawlers के लिए robots.txt अब सिर्फ़ तकनीकी फ़ाइल नहीं, बल्कि एक व्यावसायिक फ़ैसला है। जो फ़ाइल कभी सिर्फ़ Googlebot से बात करती थी, अब तय करती है कि ChatGPT, Claude, Perplexity और Gemini आपके पेज पढ़, उद्धृत और लिंक कर सकते हैं या नहीं। फ़ॉर्मेट खुद नहीं बदला है: यह अब भी RFC 9309 के रूप में मानकीकृत Robots Exclusion Protocol है, जिसमें user agents, Allow और Disallow लाइनें होती हैं। जो बदला है वह agents की संख्या है, और यह कि एक ही विक्रेता कई अलग-अलग उद्देश्यों वाले bots चला सकता है।

कौन से AI crawlers मौजूद हैं और वे क्या करते हैं?

ज़्यादातर AI विक्रेता अब training, खोज इंडेक्सिंग और उपयोगकर्ता द्वारा शुरू की गई फ़ेचिंग को अलग-अलग user agents में बाँटते हैं। तालिका हर विक्रेता के दस्तावेज़ में दिए गए मुख्य bots का सार देती है।

स्रोत: OpenAI crawler दस्तावेज़ और Google की common crawlers सूची। नाम कभी-कभी बदलते हैं, इसलिए फ़ाइल बदलने से पहले हर विक्रेता का पेज जाँचें। AI crawlers और OpenAI crawlers पर हमारी glossary प्रविष्टियाँ परिभाषाएँ छोटी रखती हैं।

क्या AI crawlers को रोकना चाहिए?

उन ज़्यादातर बिज़नेस के लिए जो ग्राहक चाहते हैं, नहीं: अगर ज़रूरी हो तो training को रोकें, खोज crawlers को खुला रखें। समझौता इस पर निर्भर है कि आप क्या बेचते हैं:

• ब्रांड, SaaS, ई-कॉमर्स, स्थानीय बिज़नेस: AI उत्तर एक ग्राहक-प्राप्ति का चैनल हैं। खोज crawlers को रोकने से आप उससे बाहर हो जाते हैं। Training crawlers को अनुमति देने से भविष्य के मॉडलों को आपका ब्रांड जानने में मदद मिलती है।
• पेज व्यूज़ या सब्सक्रिप्शन पर जीने वाले प्रकाशक: training crawlers को रोकने से कंटेंट का मूल्य बचता है; खोज crawlers खुले रखने से अब भी उद्धरण और लिंक आते हैं।
• निजी या लाइसेंस वाले कंटेंट वाली साइटें: व्यापक रूप से रोकें और सर्वर स्तर पर लागू करें, क्योंकि robots.txt एक अनुरोध है, पहुँच नियंत्रण नहीं।

अनुशंसित robots.txt कैसी दिखती है?

हर user agent के लिए स्पष्ट समूह, खोज bots को अनुमति और training bots के लिए साफ़ चुनाव। उस बिज़नेस का उदाहरण जो AI विज़िबिलिटी चाहता है, पर training डेटा नहीं देना चाहता:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

अगर आप training के लिए अपना कंटेंट इस्तेमाल होने देने से खुश हैं, तो दूसरा समूह हटा दें। हमारा मुफ़्त robots.txt generator फ़ाइल बनाता है, और robots.txt checker दिखाता है कि लाइव फ़ाइल वास्तव में कौन से agents को अनुमति देती है।

कौन सी गलतियाँ अनजाने में AI विज़िबिलिटी रोक देती हैं?

सबसे आम गलती वह व्यापक नियम है जो किसी फ़ोरम से कॉपी किया गया हो। आम गलतियाँ:

• स्टेजिंग से छूटा “User-agent: * / Disallow: /”, जो Googlebot सहित हर bot को रोकता है।
• GPTBot को रोकने के इरादे से OAI-SearchBot को रोकना, जिससे आप सिर्फ़ training नहीं, ChatGPT सर्च से भी बाहर हो जाते हैं।
• CDN या firewall का bot-protection नियम जो robots.txt से स्वतंत्र रूप से AI user agents को 403 लौटाता है। अपने सर्वर लॉग जाँचें।
• पेज रेंडर करने के लिए ज़रूरी CSS और JavaScript को रोकना, जिससे crawlers को खाली ढाँचा दिखता है।
• महत्वपूर्ण कंटेंट जो सिर्फ़ client side लोड होता है; कई AI crawlers JavaScript नहीं चलाते, इसलिए मुख्य टेक्स्ट HTML में भेजें।

उद्धृत होने के लिए क्या सिर्फ़ robots.txt काफ़ी है?

नहीं, वह सिर्फ़ दरवाज़ा खोलता है। एक बार crawlers आपके पेज पढ़ सकें, तो उद्धरण इस पर निर्भर करता है कि वे पेज सवालों के साफ़ जवाब देते हैं या नहीं, निष्कर्षण के लिए संरचित हैं या नहीं, और दूसरे स्रोत उनकी पुष्टि करते हैं या नहीं। साफ़ AI सर्च के लिए structured data, पहले जवाब वाले सेक्शन और एक वैकल्पिक llms.txt फ़ाइल अगले कदम में मदद करते हैं।

निष्कर्ष

AI crawlers को अलग-अलग फ़ैसलों की तरह लें: खोज और उपयोगकर्ता-फ़ेच bots खोलें, training bots के लिए सोच-समझकर चुनें, और जाँचें कि आपका सर्वर वही नीति लागू करता है। फिर मापें कि खुला दरवाज़ा उद्धरणों में बदलता है या नहीं। Sorank हर महीने ChatGPT, Claude और Gemini में आपके ब्रांड को ट्रैक करता है और उद्धृत होने के लिए संरचित कंटेंट प्रकाशित करता है: 3 दिन के मुफ़्त ट्रायल से शुरू करें।