Blocked by robots.txt: Search Console की स्थिति का मतलब क्या है और उसे कैसे ठीक करें

संक्षेप में: “Blocked by robots.txt” का मतलब है कि आपकी robots.txt फ़ाइल का कोई नियम Googlebot को किसी URL को crawl करने से रोकता है, इसलिए Google पेज नहीं पढ़ सकता और वह आम तौर पर search results से बाहर रहता है। अगर रोक जानबूझकर है (admin, cart, साइट के अंदर की खोज), तो उसे रहने दें। अगर कोई ज़रूरी पेज प्रभावित है, तो वह Disallow नियम खोजें जो उससे मेल खाता है, उसे बदलें, URL की जाँच करें, फिर recrawl का अनुरोध करें। किसी पेज को Google से बाहर रखने के लिए इसके बजाय noindex इस्तेमाल करें, क्योंकि robots.txt crawling को नियंत्रित करता है, indexing को नहीं।

Google Search Console की Page indexing रिपोर्ट में, उन कारणों के बीच जिनसे पेज index नहीं हुए, blocked by robots.txt स्थिति दिखती है। Google का अपना Page indexing रिपोर्ट का दस्तावेज़ इसे एक पंक्ति में बताता है: पेज आपकी साइट की robots.txt फ़ाइल से ब्लॉक था। उस एक पंक्ति के पीछे दो बहुत अलग स्थितियाँ हैं, एक सोच-समझकर की गई रोक और एक गलती से हुई रोक, साथ में एक भ्रमित करने वाला रिश्तेदार, “Indexed, though blocked by robots.txt”। यह गाइड दिखाती है कि इन्हें कैसे अलग पहचानें और हर एक को बिना कुछ और तोड़े कैसे ठीक करें। अगर आप फ़ाइल के बारे में पहली बार जान रहे हैं, तो robots.txt की हमारी परिभाषा से शुरू करें।

Search Console में “Blocked by robots.txt” का क्या मतलब है?

आपकी robots.txt फ़ाइल होस्ट की जड़ में होती है (example.com/robots.txt) और बताती है कि crawlers किन paths को ला सकते हैं। जब Googlebot किसी लिंक या sitemap के ज़रिए कोई URL पाता है, तो पहले यही फ़ाइल जाँचता है। अगर उसके user agent के लिए कोई Disallow नियम path से मेल खाता है, तो वह पेज नहीं लाता। फिर Search Console उस URL को “Blocked by robots.txt” के अंतर्गत सूचीबद्ध करता है।

इसके दो परिणाम होते हैं। Google पेज की सामग्री, शीर्षक, अंदरूनी लिंक या कोई भी meta tag नहीं देख सकता। और चूँकि वह पेज कभी पढ़ता ही नहीं, इसलिए noindex tag भी नहीं देख सकता। यह स्थिति index न होने के कारण के रूप में सूचीबद्ध होती है, इसलिए ज़्यादातर साइटों के लिए यह जानकारी भर है: Google खुद बताता है कि robots.txt से ब्लॉक किए गए URL शायद जानबूझकर ब्लॉक हैं।

समस्या तब शुरू होती है जब इस सूची में वे पेज हों जो आप Google पर चाहते हैं: product pages, लेख, category pages, या किसी माइग्रेशन के बाद पूरी साइट। ऐसे में यह रोक वेबसाइट Google पर न दिखने का सीधा कारण है, और यह सबसे तेज़ी से ठीक होने वाली तकनीकी समस्याओं में से एक है।

“Blocked by robots.txt” बनाम “Indexed, though blocked by robots.txt”

दूसरी स्थिति विरोधाभासी लगती है, और यही साइट मालिकों को सबसे ज़्यादा परेशान करती है। Google का robots.txt का परिचय इसे समझाता है: robots.txt किसी पेज को Google से बाहर रखने का तंत्र नहीं है। अगर दूसरे पेज किसी disallowed URL से लिंक करते हैं, तो Google वह URL खुद index कर सकता है, उसे crawl किए बिना। तब परिणाम में पता बिना विवरण के दिखता है, क्योंकि Google ने पेज का टेक्स्ट कभी पढ़ा ही नहीं।

मुख्य बात पहले यह तय करना है कि हर URL के लिए आप क्या चाहते हैं: index हो या index न हो। Robots.txt एक अलग सवाल का जवाब देता है (crawl हो या न हो), और इन दोनों को मिलाना ही ज़्यादातर गलतियों की जड़ है।

आपके पेज robots.txt से ब्लॉक क्यों हैं?

ज़्यादातर गलती से हुई रोकें कुछ ही कारणों से आती हैं। इन्हें इसी क्रम में जाँचें:

• staging का नियम production पर चला गया। Disallow: / एक test साइट की रक्षा करता है, फिर लॉन्च के साथ वह भेज दिया जाता है और सब कुछ ब्लॉक कर देता है।
• CMS की सेटिंग। WordPress में “Discourage search engines from indexing this site” का विकल्प है; दूसरे प्लेटफ़ॉर्म में ऐसे ही toggles होते हैं जो robots.txt बदलते हैं या headers जोड़ते हैं।
• इरादे से ज़्यादा व्यापक नियम। Disallow: /p /products/ और /pricing/ को भी ब्लॉक करता है, सिर्फ़ /p/ को नहीं। Robots.txt नियम path की शुरुआत से मेल खाते हैं।
• Wildcards। * किसी भी अक्षर-क्रम से मेल खाता है और $ URL के अंत को चिह्नित करता है। Disallow: /*? हर उस URL को ब्लॉक करता है जिसमें parameter हो, जिसमें paginated या filtered पेज भी शामिल हो सकते हैं जिन्हें आप index करवाना चाहते हैं।
• ब्लॉक हुए संसाधन। /assets/ या /wp-includes/ को ब्लॉक करने से वे CSS और JavaScript छिप जाते हैं जिनकी Google को पेज render करने के लिए ज़रूरत है, और इससे वह आपकी सामग्री को कम अच्छे से समझता है।
• माइग्रेशन। Paths बदल जाते हैं, पुरानी robots.txt बनी रहती है, या नया होस्ट अपनी डिफ़ॉल्ट फ़ाइल चलाता है।
• गलत होस्ट। हर subdomain और protocol की अपनी फ़ाइल होती है: www.example.com के नियम shop.example.com पर लागू नहीं होते।

याद रखें कि Google सबसे विशिष्ट नियम (सबसे लंबा मेल खाने वाला path) मानता है, और जब Allow और Disallow बराबर विशिष्ट हों, तो कम प्रतिबंधात्मक नियम जीतता है। एक लक्षित Allow: /blog/ इसलिए किसी व्यापक रोक के नीचे वाले फ़ोल्डर को फिर से खोल सकता है।

“Blocked by robots.txt” को चरण-दर-चरण कैसे ठीक करें

1. प्रभावित URL निर्यात करें

Google Search Console में Indexing खोलें, फिर Pages, और “Blocked by robots.txt” वाली पंक्ति पर क्लिक करें। सूची निर्यात करें और उसे फ़ोल्डर के हिसाब से छाँटें। आम तौर पर एक मिनट में पैटर्न दिख जाता है: एक directory, एक parameter, एक subdomain।

2. जानबूझकर की गई रोक और गलती अलग करें

हर पैटर्न को “रोक रहे” या “Google पर होना चाहिए” के रूप में चिह्नित करें। Carts, checkouts, account pages, साइट की अंदरूनी खोज के नतीजे और admin क्षेत्र पहले समूह में आते हैं। जो भी किसी खोज क्वेरी का जवाब देता है, लिंक कमाता है या आपकी XML sitemap में दिखता है, वह दूसरे समूह में आता है। ऐसा URL जो sitemap में भी है और ब्लॉक भी, एक विरोधाभास है जिसे हल करना होगा।

3. वह नियम खोजें जो मेल खाता है

URL Inspection tool में एक उदाहरण URL खोलें: वह बताता है कि crawling की अनुमति है या नहीं। फिर लाइव फ़ाइल पढ़ें, या URL को हमारे मुफ़्त robots.txt जाँचकर्ता में डालें और देखें कि कौन-सी पंक्ति किस user agent के लिए उसे ब्लॉक करती है।

4. फ़ाइल संपादित करें

नियम हटाएँ या संकरा करें, या एक अधिक विशिष्ट Allow जोड़ें। बदलाव न्यूनतम रखें और उसे दो तरह के URL पर जाँचें: एक जिसे आप खोलना चाहते हैं, और एक जिसे ब्लॉक रहना चाहिए। अगर फ़ाइल उलझी हुई है, तो हमारे robots.txt जनरेटर से एक साफ़ फ़ाइल फिर से बनाएँ और प्रकाशित करने से पहले तुलना करें।

5. Google से नई फ़ाइल पढ़वाएँ

Google के robots.txt विनिर्देश के अनुसार Google आम तौर पर robots.txt को 24 घंटे तक कैश में रखता है। इसे तेज़ करने के लिए Settings खोलें, फिर Search Console की robots.txt रिपोर्ट (domain-level properties के लिए उपलब्ध), और फ़ाइल के लिए “Request a recrawl” का इस्तेमाल करें। फिर URL Inspection में अपने सबसे ज़रूरी अनब्लॉक URL के लिए indexing का अनुरोध करें।

6. सत्यापित करें और निगरानी करें

समस्या के पेज पर “Validate fix” पर क्लिक करें। सत्यापन में कुछ दिन से लेकर कुछ हफ़्ते लग सकते हैं, और Google के दोबारा crawl करने पर नए URL जाँचे जाते हैं। crawl के बाद क्या होता है, यानी Google यह कैसे तय करता है कि पेज रखने लायक है या नहीं, यह हमारी Google indexing गाइड में है।

“Indexed, though blocked by robots.txt” को कैसे ठीक करें

हल इस पर निर्भर करता है कि आप पेज के लिए क्या चाहते हैं:

1. आप चाहते हैं कि पेज Google पर हो। रोक हटाएँ। Google पेज को crawl करेगा, उसकी सामग्री पढ़ेगा और शीर्षक और विवरण के साथ एक सामान्य परिणाम दिखाएगा।
2. आप नहीं चाहते कि पेज Google पर हो। पहले रोक हटाएँ, फिर head में <meta name="robots" content="noindex"> जोड़ें, या PDF और दूसरी फ़ाइलों के लिए X-Robots-Tag: noindex HTTP header। एक बार Google पेज को दोबारा crawl करके उसे हटा दे, तब अगर crawl की मात्रा मायने रखती हो तो आप उसे फिर से ब्लॉक कर सकते हैं, हालाँकि ज़्यादातर साइटों को इसकी कभी ज़रूरत नहीं पड़ती। विकल्प समझने के लिए हमारी noindex परिभाषा देखें।
3. पेज सार्वजनिक रूप से मौजूद नहीं होना चाहिए। उसे पासवर्ड से सुरक्षित करें या हटा दें (404 या 410)। न robots.txt और न noindex सुरक्षा का उपाय है।

Faceted navigation में हज़ारों filter URL हों, तो crawl budget बचाने के लिए robots.txt की रोक अब भी सही उपकरण हो सकती है। ऐसे कुछ URL पर “Indexed, though blocked” की चेतावनी स्वीकार्य है, बशर्ते आपकी categories के canonical संस्करण crawl होने योग्य और index हों।

जाँचें कि सुधार काम कर गया

तीन संकेत सफल सुधार की पुष्टि करते हैं। लाइव URL पर URL Inspection “Crawl allowed: Yes” दिखाता है। Page indexing रिपोर्ट में ब्लॉक हुए पेजों की संख्या आने वाले हफ़्तों में घटती है। और अनब्लॉक हुए पेज Performance रिपोर्ट में impressions जमा करने लगते हैं। हमारे indexability जाँचकर्ता से त्वरित जाँच उन दूसरी रुकावटों को भी पकड़ती है जो अक्सर robots.txt की गलतियों के साथ आती हैं: एक भटका हुआ noindex, एक गलत canonical या एक redirect।

निगरानी इसलिए ज़रूरी है कि ये गलतियाँ लौट आती हैं। कोई theme अपडेट, कोई plugin या deployment script robots.txt को बिना किसी के ध्यान दिए फिर से लिख सकता है। जिन पेजों के clicks और impressions अचानक गिरते हैं, उन पर नज़र रखना सबसे तेज़ शुरुआती चेतावनी है।

Sorank GEO और SEO डैशबोर्ड Search Console से जुड़ता है और बढ़ते तथा गिरते पेज एक ही दृश्य में दिखाता है, इसलिए किसी deployment से आई रोक एक धीमे, अनजान नुकसान के बजाय गिरते URL के समूह के रूप में दिखती है।

Robots.txt, AI crawlers और GEO

Robots.txt का अब एक दूसरा दर्शक वर्ग है: AI सहायकों के crawlers। OpenAI, Anthropic, Perplexity और Google हर एक अपने user agents प्रकाशित करते हैं (GPTBot और OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended) जो robots.txt का सम्मान करते हैं। किसी एक के लिए बना नियम, या एक व्यापक User-agent: * रोक, तय करता है कि जब ChatGPT, Claude या Perplexity जवाब बनाने के लिए वेब खोजते हैं, तो वे आपके पेज पढ़ सकते हैं या नहीं।

वही तर्क Google जैसा ही लागू होता है: हर bot के लिए तय करें कि आप क्या चाहते हैं। प्रशिक्षण (training) crawlers को ब्लॉक करना और search crawlers को अनुमति देना एक आम समझौता है, और AI crawlers के लिए robots.txt पर हमारी गाइड हर user agent और उसके नियम सूचीबद्ध करती है। AI crawlers की शब्दावली प्रविष्टि बताती है कि कौन-सा bot क्या करता है।

इन चुनावों का असर देखने के लिए, अपने व्यवसाय के लिए मायने रखने वाले prompts ट्रैक करें। Sorank में AI mention ट्रैकिंग दिखाती है कि ChatGPT, Gemini या Claude आपकी साइट का हवाला देते हैं या नहीं, और उसकी जगह कौन-से प्रतिस्पर्धियों का हवाला देते हैं।

याद रखने योग्य नियम

Robots.txt तय करता है कि crawlers क्या पढ़ सकते हैं; noindex तय करता है कि खोज नतीजों में क्या दिख सकता है। जिन क्षेत्रों का खोज में कोई मूल्य नहीं है, वहाँ रोक रखें, जो पेज index चाहिए या index से हटाना है, उसे कभी ब्लॉक न करें, और हर माइग्रेशन या deployment के बाद Page indexing रिपोर्ट जाँचें। ज़्यादातर “blocked by robots.txt” समस्याएँ मिलते ही सही नियम पहचानकर मिनटों में ठीक हो जाती हैं, और Sorank का Search Console डैशबोर्ड अगली समस्या को traffic का नुकसान होने से पहले पकड़ने में मदद करता है।