'noindex' टैग द्वारा बाहर किया गया पेज: क्या यह सामान्य है, और इसे कैसे ठीक करें?

संक्षेप में: “Excluded by 'noindex' tag” Google Search Console की Page indexing रिपोर्ट में दर्ज एक कारण है। इसका मतलब है कि Googlebot ने पेज को क्रॉल किया, एक noindex नियम मिला (robots meta tag में या X-Robots-Tag HTTP header में) और उसने उसका पालन किया, इसलिए पेज खोज परिणामों में नहीं आ सकता। लॉगिन, कार्ट, धन्यवाद या इंटरनल सर्च पेजों के लिए यही अपेक्षित नतीजा है और इसमें कुछ करने की ज़रूरत नहीं। जिस पेज को रैंक कराना है, उसके लिए पता लगाएँ कि नियम कहाँ से आ रहा है (CMS सेटिंग, SEO प्लगइन, थीम, सर्वर या CDN), उसे स्रोत पर हटाएँ, फिर Google से दोबारा क्रॉल करने को कहें।

'Excluded by 'noindex' tag' वह इंडेक्सिंग स्टेटस है जिसे आप खुद बनाते हैं, जानबूझकर या गलती से। Google की Page indexing रिपोर्ट की दस्तावेज़ीकरण इस कारण को तीन वाक्यों में समझाती है: “जब Google ने पेज को इंडेक्स करने की कोशिश की, तो उसे एक 'noindex' निर्देश मिला और इसलिए उसने पेज को इंडेक्स नहीं किया। अगर आप नहीं चाहते कि यह पेज इंडेक्स हो, तो बधाई हो! अगर आप चाहते हैं कि यह पेज इंडेक्स हो, तो आपको 'noindex' निर्देश हटाना चाहिए।” यह गाइड आपको तय करने में मदद करती है कि हर URL इस वाक्य के किस हिस्से में आता है, किसी अनचाहे नियम का सटीक स्रोत ढूँढती है, और बाकी सब कुछ तोड़े बिना उसे ठीक करती है।

“Excluded by 'noindex' tag” का मतलब क्या है?

एक noindex नियम सर्च इंजनों को बताता है कि किसी पेज को अपने परिणामों में न दिखाएँ। Google इसे दो जगहों पर पढ़ता है, जैसा कि उसकी noindex से इंडेक्सिंग रोकने की गाइड समझाती है:

• एक robots meta tag HTML के <head> में: सभी सर्च इंजनों के लिए <meta name="robots" content="noindex">, या सिर्फ़ Google के लिए name="googlebot"।
• एक X-Robots-Tag HTTP header जो सर्वर रिस्पॉन्स के साथ भेजा जाता है, जिसकी वैल्यू noindex या none होती है। PDF जैसी उन फ़ाइलों के लिए यही एकमात्र विकल्प है जिनमें HTML नहीं होता।

इनमें से कोई भी मिलने पर Googlebot URL को इंडेक्स से बाहर रखता है। यह स्टेटस Google Search Console में Indexing, फिर Pages के अंतर्गत, तालिका “Why pages aren't indexed” में दिखता है। मदद वाले पेज पर इसी कारण को “URL marked 'noindex'” लिखा गया है; दोनों लेबल एक ही स्थिति बताते हैं।

रिपोर्ट को पढ़ने का तरीका बदलने वाली तीन बातें:

• Google ने आपकी बात मानी। “Crawled - currently not indexed” से उलट, जहाँ Google खुद किसी पेज के खिलाफ़ फ़ैसला करता है, यह स्टेटस उस निर्देश को दिखाता है जो साइट ने भेजा था।
• इसके लिए क्रॉल ज़रूरी है। Google noindex नियम तभी देख सकता है जब उसे पेज लाने की अनुमति हो। robots.txt से ब्लॉक किया गया पेज कभी इस स्टेटस तक नहीं पहुँचता।
• नियम श्रृंखला के किसी भी हिस्से से आ सकता है। HTML, CMS, प्लगइन, थीम, सर्वर कॉन्फ़िगरेशन और CDN में से हर कोई इसे जोड़ सकता है, और पेज का सोर्स HTTP headers नहीं दिखाता।

यह सामान्य है या गड़बड़ी?

ज़्यादातर साइटों के कुछ URL इस स्टेटस में होते हैं, और उनमें से कई वहीं होने चाहिए। Google की रिपोर्ट कहती है कि इंडेक्स न हुए पेज वहाँ “not necessarily because of an error”, यानी ज़रूरी नहीं कि किसी गड़बड़ी की वजह से हों। कुछ भी ठीक करने से पहले सूची को URL के प्रकार के हिसाब से छाँटें।

आखिरी पंक्ति जितनी दिखती है उससे ज़्यादा मायने रखती है। Sitemap Google से कहती है “इन पेजों को इंडेक्स करो”, जबकि noindex इसका उल्टा कहता है। Sitemap में सिर्फ़ इंडेक्स योग्य, canonical URL रखें (हमारी गाइड Google पर sitemap सबमिट करना बताती है कि इसे कैसे साफ़ करें)।

अनचाहा noindex कहाँ से आता है?

जब कोई ज़रूरी पेज noindex के साथ आता है, तो कारण लगभग हमेशा नीचे के स्रोतों में से कोई एक होता है। इन्हें इसी क्रम में जाँचें, सबसे आम से सबसे दुर्लभ तक।

WordPress वाला मामला इतना आम है कि उसका नाम लेना ज़रूरी है। WordPress की Reading स्क्रीन की दस्तावेज़ीकरण के अनुसार, “साइट को सर्च इंजनों से इंडेक्स होने से रोकें” वाला चेकबॉक्स चुनने पर हर पेज के head में noindex,nofollow जुड़ जाता है (संस्करण 5.3 से)। लॉन्च के बाद भूला हुआ एक चेकबॉक्स पूरी साइट को Google से हटाने के लिए काफ़ी है। साइट लॉन्च और रीडिज़ाइन सबसे जोखिम भरे समय होते हैं, इसीलिए SEO माइग्रेशन चेकलिस्ट में हमेशा robots नियमों की जाँच शामिल होती है। WordPress की खास सेटिंग के लिए हमारा पेज WordPress SEO और GEO देखें।

डायग्नोसिस कैसे करें, चरण दर चरण?

1. रिपोर्ट खोलें। Search Console में Indexing, फिर Pages पर जाएँ, “Excluded by 'noindex' tag” पर क्लिक करें और सूची एक्सपोर्ट करें।
2. URL छाँटें ऊपर की तालिका से। जिन्हें बाहर ही रहना चाहिए उन्हें अलग रख दें।
3. एक ज़रूरी URL जाँचें। उसे URL Inspection टूल में डालें। “Indexing allowed?” वाली लाइन बताती है कि Google ने noindex देखा या नहीं, और वह robots meta tag से आया या X-Robots-Tag header से।
4. लाइव URL टेस्ट करें। “Test live URL” पर क्लिक करें: अगर लाइव वर्शन में noindex नहीं है, तो नियम पहले ही हट चुका है और Google को सिर्फ़ दोबारा क्रॉल करना है।
5. दोनों जगह खुद जाँचें। पेज के सोर्स में noindex ढूँढें, फिर रिस्पॉन्स headers में (ब्राउज़र developer tools, Network टैब)। एक मुफ़्त HTTP headers checker बिना किसी developer tool खोले X-Robots-Tag दिखाता है, और indexability checker एक ही बार में meta tag, header और robots.txt जाँचता है।
6. स्रोत का पता लगाएँ स्रोत तालिका के सहारे, CMS सेटिंग और SEO प्लगइन से शुरू करके।

इसे कैसे ठीक करें?

सुधार स्रोत पर निर्भर करता है। वह सेटिंग बदलें जहाँ से नियम बनता है, सिर्फ़ दिखने वाले आउटपुट को नहीं, वरना अगले अपडेट में वह वापस आ जाएगा।

सुधार के बाद URL Inspection टूल में सबसे ज़रूरी URL के लिए indexing का अनुरोध करें, और अगर बहुत पेज प्रभावित हुए हों तो sitemap दोबारा सबमिट करें। ठीक किए गए पेजों के समूह के लिए रिपोर्ट में “Validate fix” पर क्लिक करें। Google के अनुसार इसकी पुष्टि में आम तौर पर लगभग दो हफ़्ते लगते हैं, कुछ मामलों में इससे कहीं ज़्यादा। पहले पेज या CDN कैश साफ़ करें, वरना Google पुराना वर्शन पुराने नियम के साथ ला सकता है। अगर हफ़्तों बाद भी पेज नहीं दिखते, तो हमारी गाइड Google पर पेज इंडेक्स कराना अगले उपाय बताती है, और अगर वे Crawled - currently not indexed में चले जाएँ, तो समस्या अब नियम नहीं, कॉन्टेंट है।

Noindex, robots.txt या canonical: किसका इस्तेमाल करें?

ये तीनों औज़ार अक्सर आपस में मिला दिए जाते हैं, और इन्हें गलत तरीके से जोड़ना सबसे उलझन भरी रिपोर्ट बनाता है।

Google साफ़ कहता है: अगर robots.txt कोई पेज ब्लॉक करता है, तो क्रॉलर कभी noindex नियम नहीं देखेगा। अगर आप चाहते हैं कि पेज इंडेक्स से बाहर हो जाए, तो उसे noindex के साथ क्रॉल होने दें जब तक वह गायब न हो जाए, फिर तय करें कि उसे ब्लॉक करना है या नहीं। अपनी फ़ाइल की जाँच robots.txt checker से करें, और सभी नियमों के लिए robots meta tag की विशेष विवरण पढ़ें; उसमें लिखा है कि नियम आपस में टकराएँ तो ज़्यादा सख़्त नियम लागू होता है।

SEO और AI visibility के लिए यह क्यों मायने रखता है?

noindex वाले पेज को Google से कोई ऑर्गेनिक क्लिक नहीं मिलता, चाहे उसकी क्वालिटी कितनी भी अच्छी हो। बड़ी साइट पर किसी टेम्पलेट का अनचाहा नियम एक साथ सैकड़ों प्रोडक्ट या लेख पेज हटा सकता है, और पहला संकेत अक्सर हफ़्तों बाद ट्रैफ़िक गिरने के रूप में आता है। अगर आपकी साइट पूरी तरह गायब लगे, तो Google पर वेबसाइट न दिखने वाली हमारी चेकलिस्ट से शुरू करें।

AI assistants की एक दूसरी कीमत भी है। ChatGPT, Perplexity और Gemini अक्सर वेब सर्च इंडेक्स से पेज लाकर और उनका हवाला देकर जवाब देते हैं, इसलिए जो पेज इंडेक्स में नहीं है, उसके उद्धृत होने की संभावना बहुत कम है। AI जिन प्लेटफ़ॉर्म का सबसे ज़्यादा हवाला देते हैं पर हमारा अध्ययन दिखाता है कि वे किन स्रोतों को पसंद करते हैं।

Sorank हमारा अपना प्रोडक्ट है: एक autopilot SEO और GEO सॉफ़्टवेयर। इसका GEO और SEO डैशबोर्ड Search Console से clicks, impressions और positions दिखाता है, इसलिए कुछ पेजों के impressions में अचानक गिरावट जल्दी नज़र आती है, और मुफ़्त Sorank Chrome एक्सटेंशन आपके खोले हुए किसी भी पेज की SEO समस्याएँ दिखाता है।

संक्षेप में: जो पेज कभी रैंक नहीं होने चाहिए उन पर noindex रहने दें, और जो पेज होने चाहिए उन पर उसे स्रोत पर हटाएँ, sitemap को noindex वाले URL से मुक्त रखें, और Google के noindex पढ़ने का इंतज़ार करते हुए कभी robots.txt में पेज ब्लॉक न करें। इंडेक्स और उद्धृत होने के लिए बने पेज प्रकाशित करने के लिए देखें Sorank के प्लान, जो $49 प्रति माह से शुरू होते हैं, 3 दिन के free trial के साथ।