Robots.txt: Googlebot कैसे क्रॉल करे, यह नियंत्रित करें

Robots.txt एक सरल लेकिन शक्तिशाली फ़ाइल है, जो नियंत्रित करती है कि सर्च इंजन आपकी वेबसाइट को कैसे क्रॉल करें। यह `https://example.com/robots.txt` पर रहती है और इसमें ऐसे नियम होते हैं जो बताते हैं कि Google, Bing और अन्य बॉट कौन से पेज और डायरेक्टरी क्रॉल कर सकते हैं। Robots.txt आपको क्रॉल बजट (Google हर दिन जितने पेज क्रॉल करता है, उनकी संख्या) संभालने में मदद करती है, महत्वहीन पेजों पर क्रॉल बर्बाद होने से रोकती है, और निजी कंटेंट को सर्च परिणामों से दूर रखती है।

ज़्यादातर वेबसाइटों में robots.txt फ़ाइल होती है, पर उनमें से कई गलत कॉन्फ़िगर होती हैं। गलत robots.txt गलती से ज़रूरी पेज ब्लॉक कर सकती है, जिससे रैंकिंग की संभावना बर्बाद होती है। अच्छी तरह कॉन्फ़िगर की गई robots.txt क्रॉल की दक्षता बढ़ाती है और आपकी साइट की गोपनीयता की रक्षा करती है। यह गाइड robots.txt के सिंटैक्स, सर्वोत्तम प्रथाओं और असली उदाहरणों को कवर करती है।

Robots.txt क्या है और सर्च इंजन इसका इस्तेमाल कैसे करते हैं

Robots.txt एक मानकीकृत टेक्स्ट फ़ाइल है, जो सर्च इंजन बॉट्स को क्रॉल के निर्देश देती है। जब कोई बॉट पहली बार आपकी साइट पर आता है, तो वह कुछ भी क्रॉल करने से पहले `/robots.txt` माँगता है। बॉट नियम पढ़ता है और उनका पालन करता है (मानते हुए कि बॉट सभ्य व्यवहार वाला है)।

Google का robots.txt दस्तावेज़ इस मानक का आधिकारिक संदर्भ है। robots.txt का फ़ॉर्मेट 1994 में बना था और व्यापक रूप से अपनाया गया। सभी प्रमुख सर्च इंजन (Google, Bing, Baidu) robots.txt का सम्मान करते हैं।

ध्यान दें: Robots.txt एक दिशानिर्देश है, फ़ायरवॉल नहीं। सभ्य बॉट (Google, Bing) robots.txt के नियमों का सम्मान करते हैं। दुर्भावनापूर्ण बॉट और स्क्रेपर robots.txt को नज़रअंदाज़ कर देते हैं। robots.txt का इस्तेमाल सर्च इंजन की क्रॉलिंग प्रबंधित करने के लिए करें, हैकरों या स्क्रेपरों को रोकने के लिए नहीं। सुरक्षा के लिए सर्वर-स्तर के उपकरण इस्तेमाल करें।

Robots.txt सिंटैक्स और बुनियादी नियम

Robots.txt सरल टेक्स्ट सिंटैक्स इस्तेमाल करता है। हर नियम के दो हिस्से होते हैं: User-agent (नियम किस बॉट पर लागू होता है) और Disallow पाथ (कौन से पेज ब्लॉक करने हैं)।

बुनियादी उदाहरण:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

यह सभी बॉट्स को (`*` का मतलब सभी है) `/admin/` और `/staging/` डायरेक्टरी क्रॉल न करने के लिए कहता है। Sitemap लाइन बताती है कि बॉट्स आपका sitemap कहाँ पाएँ।

User-agent: \* का मतलब है सभी बॉट। आप अलग-अलग बॉट्स भी निर्दिष्ट कर सकते हैं:

`User-agent: Googlebot` केवल Google के बॉट पर लागू होता है। `User-agent: Bingbot` केवल Bing के बॉट पर लागू होता है। अलग-अलग नियमों वाले कई User-agent सेक्शन हो सकते हैं।

Disallow: /path/ बॉट्स को उस पाथ को क्रॉल न करने के लिए कहता है। Disallow: / पूरी साइट ब्लॉक करता है। Disallow: (खाली) सब कुछ की अनुमति देता है। हर User-agent के लिए आप कई Disallow नियम दे सकते हैं।

Allow: /path/ किसी खास पाथ की क्रॉलिंग की अनुमति देता है, भले ही उसकी मूल डायरेक्टरी Disallow हो। उदाहरण: Disallow: /temp/ के साथ Allow: /temp/important/ केवल /important/ सब-डायरेक्टरी की क्रॉलिंग की अनुमति देता है।

Robots.txt के आम पैटर्न

पैटर्न 1: एडमिन पेज ब्लॉक करें

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

यह एडमिनिस्ट्रेटिव, यूज़र और अकाउंट पेजों की क्रॉलिंग ब्लॉक करता है। ये पेज आम तौर पर सर्च इंजनों के लिए नहीं होते।

पैटर्न 2: स्टेजिंग वातावरण ब्लॉक करें

User-agent: *
Disallow: /staging/
Disallow: /test/

बॉट्स को आपकी साइट के टेस्ट या स्टेजिंग संस्करण क्रॉल करने से रोकता है।

पैटर्न 3: खास फ़ाइल प्रकार ब्लॉक करें

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

बॉट्स को PDF और ZIP फ़ाइलें क्रॉल करने से रोकता है। यह तब उपयोगी है जब आपके पास बहुत सारी PDF हों जिन्हें इंडेक्स नहीं होना चाहिए।

पैटर्न 4: सर्वर पर भारी पड़ने वाले बॉट्स को धीमा करें

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Ahrefs बॉट को पूरी तरह ब्लॉक करता है (अगर आप नहीं चाहते कि आपकी साइट SEO टूल्स द्वारा क्रॉल हो)। Semrush बॉट को हर अनुरोध के बीच 10 सेकंड का अंतराल जोड़कर धीमा करता है। Crawl-delay उन आक्रामक बॉट्स के लिए उपयोगी है जो आपके सर्वर पर भार डालते हैं।

पैटर्न 5: सब कुछ अनुमति दें (डिफ़ॉल्ट)

User-agent: *
Disallow:

यह डिफ़ॉल्ट है। खाली Disallow का मतलब है सब कुछ की अनुमति। अगर आप चाहते हैं कि सारा कंटेंट क्रॉल हो, तो आप robots.txt पूरी तरह हटा भी सकते हैं।

Robots.txt बनाम meta robots noindex

Robots.txt क्रॉलिंग ब्लॉक करता है। Meta robots noindex इंडेक्सेशन ब्लॉक करता है। इनके उद्देश्य अलग हैं।

Robots.txt इस्तेमाल करें जब: आप क्रॉल बजट बचाना चाहते हों। आपके पास डुप्लिकेट कंटेंट हो जिसे क्रॉल नहीं होना चाहिए। आपके पास एडमिन पेज हों जिन्हें बॉट्स न छुएँ। आप आक्रामक बॉट्स को धीमा करना चाहते हों।

Meta robots noindex इस्तेमाल करें जब: आप चाहते हों कि पेज क्रॉल हो पर इंडेक्स न हो (ताकि त्रुटियाँ और समस्याएँ देखी जा सकें)। आप इंडेक्सेशन रोकना चाहते हों पर फिर भी इंटरनल लिंक और क्रॉलिंग की अनुमति देना चाहते हों। आप किसी पेज को सर्च से हटाना चाहते हों पर उसे लाइव रखना चाहते हों।

उदाहरण: `/products?page=2` जैसे पेजिनेटेड पेज क्रॉल बजट बचाने के लिए robots.txt में ब्लॉक किए जा सकते हैं (क्योंकि Google आम तौर पर पेजिनेशन को समेकित करता है)। पर आप चाहेंगे कि वे क्रॉल हों, ताकि canonical संबंध पहचाने जा सकें। ऐसी स्थिति में robots.txt के बजाय canonical इस्तेमाल करें।

Robots.txt से क्रॉल बजट प्रबंधित करना

क्रॉल बजट वह संख्या है जितने URL Google आपकी साइट पर हर दिन क्रॉल करता है। लाखों पेजों वाली बड़ी साइटों के सारे पेज हर दिन क्रॉल नहीं हो सकते। Google आपकी साइट की अथॉरिटी और बदलाव की आवृत्ति के आधार पर क्रॉल बजट तय करता है। क्रॉल बजट सीमित है। इसे महत्वहीन पेजों पर बर्बाद करने का मतलब है कि ज़रूरी पेज कम बार क्रॉल होंगे।

उन पेजों को ब्लॉक करके क्रॉल बजट अनुकूलित करें जिन्हें क्रॉल नहीं होना चाहिए: डुप्लिकेट कंटेंट, पेजिनेटेड सर्च परिणाम, यूज़र अकाउंट पेज, टेस्ट पेज। हर ब्लॉक किया गया पेज Google को आपका ज़रूरी कंटेंट क्रॉल करने के लिए ज़्यादा बजट देता है।

क्रॉल बजट बर्बाद करने वाली आम चीज़ें: अनंत पेजिनेशन (प्रोडक्ट फ़िल्टर अनगिनत URL बनाते हैं), अलग पैरामीटर के साथ डुप्लिकेट कंटेंट, हर URL से जुड़े सेशन ID, और कैलेंडर/इवेंट पेज जो अंतहीन URL बनाते हैं। इन पैटर्न को ब्लॉक करने के लिए robots.txt इस्तेमाल करें।

Google Search Console आपकी साइट के क्रॉल आँकड़े दिखाता है। क्रॉल अनुरोधों की हर दिन निगरानी करें। अगर Google बिना नया कंटेंट खोजे बार-बार वही पेज क्रॉल करता है, तो अपनी robots.txt और ब्लॉकिंग रणनीति की समीक्षा करें।

Robots.txt में Sitemap

अपना sitemap URL robots.txt में शामिल करें। अपनी robots.txt फ़ाइल के आख़िर में `Sitemap: https://example.com/sitemap.xml` जोड़ें। इससे Google को पता चलता है कि आपका XML sitemap कहाँ है। अगर आपके पास कई फ़ाइलें हैं, तो आप कई sitemaps सूचीबद्ध कर सकते हैं।

उदाहरण:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

robots.txt में sitemaps सूचीबद्ध करना वैकल्पिक है (आप sitemaps Google Search Console के ज़रिए भी सबमिट कर सकते हैं), पर यह एक सर्वोत्तम प्रथा है।

Robots.txt की जाँच और वैलिडेशन

Google Search Console में robots.txt टेस्टर है। Settings > Crawling > Test robots.txt पर जाएँ। कोई URL डालें और देखें कि robots.txt उसे ब्लॉक करता है या नहीं। नियम लागू करने से पहले उन्हें वैलिडेट करने के लिए यह बेहद उपयोगी है।

robots.txt में बदलाव लागू करने से पहले हमेशा जाँच करें। एक ही गलती (जैसे `Disallow: /` जो पूरी साइट ब्लॉक कर दे) आपकी रैंकिंग गिरा सकती है। टेस्टर से यह सत्यापित करें कि:

ज़रूरी पेज ब्लॉक न हों। एडमिन पेज ब्लॉक हों। डुप्लिकेट कंटेंट वाले पैटर्न ब्लॉक हों। कोई ज़रूरी रास्ता गलती से Disallow न हो।

robots.txt लागू करने के बाद, Google Search Console की Crawl रिपोर्ट में बदलावों पर नज़र रखें। अगर क्रॉल दर अचानक गिरती है, तो हो सकता है आपने गलती से ज़रूरी कंटेंट ब्लॉक कर दिया हो।

आम Robots.txt गलतियाँ

गलती 1: CSS और JavaScript ब्लॉक करना। अगर आप robots.txt में `/css/` या `/js/` ब्लॉक करते हैं, तो Google आपके CSS और JavaScript को क्रॉल नहीं कर सकता। CSS के बिना Google आपके पेज ठीक से रेंडर नहीं कर सकता। CSS या JavaScript ब्लॉक न करें।

गलती 2: ज़रूरी कंटेंट ब्लॉक करना। लागू करने से पहले हमेशा जाँच करें। `Disallow: /staging/` की जगह `Disallow: /p` जैसी टाइपो गलती `/products/` को अनजाने में ब्लॉक कर सकती है।

गलती 3: सुरक्षा के लिए robots.txt इस्तेमाल करना। संवेदनशील डेटा की सुरक्षा के लिए robots.txt पर निर्भर न रहें। सुरक्षा-संवेदनशील पेजों को प्रमाणीकरण (authentication) की ज़रूरत होनी चाहिए, केवल robots.txt की नहीं। Robots.txt सार्वजनिक है और आसानी से दरकिनार की जा सकती है।

गलती 4: अलग-अलग डोमेन पर असंगत robots.txt। अगर आपके पास कई डोमेन हैं, तो robots.txt की नीतियाँ एक जैसी रखें। गलती से अलग नियम क्रॉल दक्षता में समस्या ला सकते हैं।

गलती 5: खुद sitemap को ब्लॉक करना। robots.txt में `/sitemap.xml` कभी ब्लॉक न करें। Google को पेज खोजने के लिए sitemap क्रॉल करना ज़रूरी है।

Robots.txt की उन्नत सुविधाएँ

Crawl-delay और Request-rate: ये निर्देश बॉट्स को धीमा करते हैं। `Crawl-delay: 10` हर अनुरोध के बीच 10 सेकंड जोड़ता है। `Request-rate: 1/10` हर 10 सेकंड में 1 अनुरोध की अनुमति देता है। इन्हें उन बॉट्स के लिए इस्तेमाल करें जो आपके सर्वर पर भार डालते हैं। Google इन निर्देशों की जगह Search Console सेटिंग इस्तेमाल करने की सलाह देता है।

Allow निर्देश: किसी खास पाथ की क्रॉलिंग की अनुमति देता है, भले ही उसका मूल पाथ Disallow हो। अपवाद बनाने के लिए उपयोगी। उदाहरण: `Disallow: /temp/` के साथ `Allow: /temp/keep/` केवल keep सब-डायरेक्टरी की अनुमति देता है।

Google का robots.txt विनिर्देश सभी समर्थित निर्देश दस्तावेज़ करता है। ज़्यादातर सुविधाओं की ज़रूरत शायद ही पड़ती है। ज़्यादातर साइटों के लिए बुनियादी User-agent, Disallow और Sitemap पर टिके रहें।

उन्नत Robots.txt निर्देश

User-agent विशिष्ट नियम अलग-अलग बॉट्स के लिए अलग क्रॉल नियम देते हैं। आप Googlebot, Bingbot और अन्य user-agents के लिए अलग से नियम दे सकते हैं। यह तब उपयोगी है जब आप चाहते हों कि Google आपकी पूरी साइट क्रॉल करे, पर Bing को कुछ हिस्सों तक पहुँचने से रोका जाए। हर नियम ब्लॉक की शुरुआत में user-agent निर्दिष्ट करें:

`User-agent: Googlebot` नियम केवल Google के क्रॉलर पर लागू करता है। `User-agent: *` नियम सभी बॉट्स पर लागू करता है। नियम अगले user-agent निर्देश तक उस विशिष्ट user-agent पर लागू रहते हैं। अलग-अलग बॉट्स के लिए आप कई नियम ब्लॉक बना सकते हैं।

Crawl-delay और request-rate निर्देश बताते हैं कि बॉट्स कितनी बार क्रॉल करें। `Crawl-delay: 5` बॉट को हर अनुरोध के बीच 5 सेकंड इंतज़ार करने के लिए कहता है। इससे सर्वर पर भार घटता है। `Request-rate: 1/10` बॉट को अधिकतम हर 10 सेकंड में 1 अनुरोध करने के लिए कहता है। Google का robots.txt दस्तावेज़ सभी समर्थित निर्देशों का विवरण देता है।

Sitemap स्थान के निर्देश बताते हैं कि बॉट्स आपका sitemap कहाँ पाएँ। `Sitemap: https://example.com/sitemap.xml` बॉट्स को आपके XML sitemap की ओर इशारा करता है। आप कई sitemaps निर्दिष्ट कर सकते हैं। इसकी सिफ़ारिश की जाती है, क्योंकि यह बॉट्स को आपके सारे पेज कुशलता से खोजने में मदद करता है।

Clean-param निर्देश क्रॉल से पहले URL पैरामीटर हटाता है। `Clean-param: utm_source&utm_medium https://example.com` Google को बताता है कि example.com पर UTM पैरामीटर नज़रअंदाज़ करे। इससे Google ट्रैक किए गए लिंक को डुप्लिकेट कंटेंट नहीं मानता। अब यह कम इस्तेमाल होता है, क्योंकि Google ज़्यादातर ट्रैकिंग पैरामीटर खुद संभाल लेता है।

अपनी robots.txt फ़ाइल को Google Search Console के robots.txt टेस्टर में जाँचें। यह टूल दिखाता है कि कौन से URL Googlebot के लिए आपकी robots.txt द्वारा ब्लॉक होंगे। इससे ज़रूरी पेज गलती से ब्लॉक होने से बचते हैं।

निष्कर्ष

Robots.txt सर्च इंजन की क्रॉलिंग प्रबंधित करने और आपकी साइट की गोपनीयता की रक्षा के लिए एक सरल लेकिन अहम फ़ाइल है। अच्छी तरह कॉन्फ़िगर की गई robots.txt महत्वहीन पेज ब्लॉक करती है, क्रॉल बजट बचाती है और डुप्लिकेट कंटेंट को कई बार क्रॉल होने से रोकती है। गलत कॉन्फ़िगर की गई robots.txt अनजाने में ज़रूरी कंटेंट ब्लॉक कर सकती है और रैंकिंग गिरा सकती है।

robots.txt में बदलाव लागू करने से पहले हमेशा जाँच करें। नियम वैलिडेट करने के लिए Google Search Console का टेस्टर इस्तेमाल करें। हर महीने अपने क्रॉल आँकड़ों की निगरानी करें। महत्वहीन कंटेंट ब्लॉक करें और क्रॉल बजट प्रभावी ढंग से संभालें। पूरी साइट पर क्रॉलेबिलिटी और इंडेक्सेशन से जुड़ी संभावित समस्याएँ खोजने और अपनी robots.txt कॉन्फ़िगरेशन का ऑडिट करने के लिए हमारा GEO SEO ऑडिट टूल इस्तेमाल करें।