सारांश: Google इंडेक्सेबिलिटी जाँचक बताता है कि क्या कोई चीज़ Google को किसी पेज को इंडेक्स करने से रोक रही है। यह redirects का पीछा करता है, HTTP स्टेटस पढ़ता है, Googlebot के लिए robots.txt जाँचता है, meta tags और X-Robots-Tag हेडर में noindex खोजता है, और canonical टैग का विश्लेषण उस पेज तक करता है जिस पर वह इशारा करता है। आपको तीन में से एक फ़ैसला मिलता है: इंडेक्सेबल, Google शायद किसी दूसरे पेज को इंडेक्स करेगा, या इंडेक्सेबल नहीं, साथ में ठीक करने वाला सटीक संकेत और सुझाया गया canonical टैग।
एक इंडेक्सेबिलिटी जाँचक वह सवाल जवाब देता है जो किसी भी दूसरे SEO काम से पहले पूछा जाना चाहिए: क्या यह पेज Google में दिख भी सकता है? कोई पेज अच्छा लिखा, तेज़ और लिंक वाला हो सकता है, और फिर भी एक टेम्पलेट की एक पंक्ति की वजह से अदृश्य हो सकता है। Google साफ़ कहता है कि noindex नियम वाला पेज खोज परिणामों से हटा दिया जाता है, और यह नियम तभी काम करता है जब पेज robots.txt से ब्लॉक न हो, क्योंकि जो क्रॉलर पेज नहीं पढ़ सकता वह noindex को कभी नहीं देखता (Google Search Central, noindex से इंडेक्सिंग रोकना)। जाँचक ये संकेत उसी तरह एक साथ पढ़ता है जैसे Google पढ़ता है।
इंडेक्सेबिलिटी जाँचक किसकी जाँच करता है?
किसी पेज का पूरा URL चिपकाएँ और विश्लेषण चलाएँ। जाँचक पेज को ब्राउज़र की तरह माँगता है, फिर संकेतों के पाँच समूहों की समीक्षा करता है।
| संकेत | जाँचक क्या पढ़ता है | कब रोकता है |
|---|---|---|
| Redirects | अंतिम पते तक हर hop | अपने आप कभी नहीं; Google अंतिम URL को इंडेक्स करता है |
| HTTP स्टेटस | अंतिम पेज का कोड | 2xx सफलता कोड के अलावा कुछ भी |
| robots.txt | अंतिम path पर Googlebot के नियम | कोई Disallow पेज से मेल खाता है, या robots.txt 5xx सर्वर त्रुटि देता है |
| Robots directives | Meta robots, meta googlebot और X-Robots-Tag हेडर | noindex मौजूद हो (या कोई नियम न हो) |
| Canonical | HTML में rel="canonical" या HTTP Link हेडर, फिर लक्ष्य पेज | कई अलग-अलग canonical, एक जिसे पढ़ा न जा सके, या ऐसा लक्ष्य जो redirect करता है, विफल होता है या noindex है |
जाँचक पूरे पेज पर nofollow, HTML न होने वाली फ़ाइल, और ऐसे canonical को भी चिह्नित करता है जो सापेक्ष है, <head> के बाहर है, किसी दूसरे प्रोटोकॉल पर है या किसी दूसरे डोमेन पर है।
तीन फ़ैसलों को कैसे पढ़ें?
| फ़ैसला | इसका मतलब | क्या करें |
|---|---|---|
| यह पेज Google द्वारा इंडेक्स किया जा सकता है | पेज 200 देता है, robots.txt Googlebot को आने देता है, कोई noindex नहीं है और canonical खुद की ओर इशारा करता है | कुछ भी ब्लॉक नहीं कर रहा। अगर फिर भी Google में नहीं है, तो कंटेंट की गुणवत्ता और आंतरिक लिंक देखें |
| Google शायद किसी दूसरे पेज को इंडेक्स करेगा | इंडेक्सिंग पर कोई रोक नहीं है, लेकिन canonical किसी दूसरे URL को तय करता है, या उसे ठीक करना है | अगर यह पेज डुप्लिकेट है तो canonical वैसा ही रहने दें; वरना canonical को पेज की अपनी ओर कर दें |
| यह पेज इंडेक्स नहीं किया जा सकता | कम से कम एक रोकने वाला संकेत: त्रुटि स्टेटस, robots.txt की रोक या noindex | पहले लाल निशान वाली चीज़ें ठीक करें, फिर जाँच दोबारा चलाएँ |
हर निष्कर्ष के साथ एक छोटी व्याख्या आती है, और टूल पेज के <head> में कॉपी करने के लिए एक canonical टैग सुझाता है। जाँच मुफ़्त है, प्रति दिन 3 विश्लेषणों के साथ।
Google किसी पेज को इंडेक्स क्यों नहीं करता?
नीचे के पाँच कारण जाँचक के ज़्यादातर मामलों को समझाते हैं। हर एक Google के अपने दस्तावेज़ से आता है।
- एक त्रुटि स्टेटस। Google उन URL को इंडेक्स नहीं करता जो 4xx कोड लौटाते हैं, और पहले से इंडेक्स हुए जो URL ऐसा कोड लौटाने लगते हैं, वे समय के साथ हटा दिए जाते हैं (Google, HTTP स्टेटस कोड क्रॉलर को कैसे प्रभावित करते हैं)।
- staging साइट से छूटा noindex। लॉन्च या रीडिज़ाइन के बाद बहुत आम: टेम्पलेट में अब भी noindex होता है।
- एक robots.txt नियम। Google ज़ोर देता है कि robots.txt “किसी वेब पेज को Google से बाहर रखने का तरीका नहीं है”: ब्लॉक किया गया URL फिर भी सूची में आ सकता है, बिना उसके कंटेंट के (Google, robots.txt का परिचय)। पेज को बाहर रखने के लिए noindex इस्तेमाल करें; उसे अंदर लाने के लिए ब्लॉक हटाएँ।
- एक robots.txt जो सर्वर त्रुटि देता है। जब Google robots.txt ढूँढता है पर 5xx त्रुटि के कारण उसे लाने में असमर्थ रहता है, तो वह पहले 12 घंटों तक साइट को क्रॉल करना बंद कर देता है, जबकि वह दोबारा कोशिश करता रहता है (Google, Google robots.txt की व्याख्या कैसे करता है)।
- कहीं और इशारा करता canonical। Google दूसरे URL को मुख्य संस्करण मानता है और आम तौर पर उसे ही इंडेक्स करता है।
canonical टैग कैसे सेट करना चाहिए?
मूल पेज पर canonical उसी पेज की ओर इशारा करता है, पूरे absolute URL के साथ, <head> के अंदर। Google absolute paths की सिफ़ारिश करता है, यह नोट करते हुए कि सापेक्ष paths समर्थित हैं पर “लंबे समय में समस्याएँ पैदा कर सकते हैं”, और अलग-अलग तरीकों से अलग canonical घोषित करने के ख़िलाफ़ चेतावनी देता है (Google, canonical कैसे तय करें)।
| स्थिति | सही canonical |
|---|---|
| मूल पेज | उसका अपना URL, https:// और सही होस्ट के साथ |
| वही पेज ट्रैकिंग या sort parameters के साथ (?utm_source=..., ?sort=price) | बिना parameters का साफ़ URL; जाँचक इस मामले को सही चिह्नित करता है |
| किसी दूसरे पेज का डुप्लिकेट | मूल का URL |
| किसी दूसरी साइट से syndicated कंटेंट | दूसरे डोमेन पर मूल |
| ऐसा पेज जिसे आप Google से बाहर चाहते हैं | किसी दूसरे पेज की ओर कोई canonical नहीं: केवल noindex इस्तेमाल करें |
किसी दूसरे पेज की ओर canonical के साथ noindex मिलाने से विरोधी संकेत जाते हैं, जिन्हें जाँचक चिह्नित करता है। दूसरे पेजों का canonical जल्दी जाँचने के लिए canonical जाँचक इस्तेमाल करें, और canonical टैग की ग्लॉसरी प्रविष्टि पढ़ें।
redirects इंडेक्सिंग को कैसे प्रभावित करते हैं?
Google redirect श्रृंखला का अंतिम पता इंडेक्स करता है, पहला नहीं। उसके क्रॉलर डिफ़ॉल्ट रूप से 10 redirect hops तक पीछा करते हैं, और redirect करने वाले URL का कंटेंट अनदेखा कर दिया जाता है। जाँचक 8 hops तक पीछा करता है और हर चरण दिखाता है, ताकि आप देख सकें कि श्रृंखला कहाँ छोटी करनी चाहिए।
- अंतिम URL की ओर लिंक करें अपने मेनू, sitemaps और आंतरिक लिंक में, ताकि न विज़िटर न क्रॉलर redirect से गुज़रें।
- श्रृंखलाओं से बचें: http से https, फिर www, फिर trailing slash तक तीन hops लगते हैं, जबकि एक काफ़ी होता।
- माइग्रेशन के बाद पुराने URL को जाँचें redirect जाँचक से।
क्या इंडेक्सेबल पेज हमेशा इंडेक्स होता है?
नहीं। “इंडेक्सेबल” का मतलब है कि इंडेक्सिंग पर कोई रोक नहीं है; Google फिर भी तय करता है कि अपने इंडेक्स में क्या जोड़ना है, गुणवत्ता, डुप्लिकेशन और पेज को खोजना कितना आसान है, इसके आधार पर। अगर जाँचक कहता है कि पेज इंडेक्स हो सकता है, पर वह Google में नहीं है:
- Search Console में URL जाँचें: URL Inspection टूल दिखाता है कि Google पेज को जानता है या नहीं, और क्यों बाहर रखा गया है।
- आंतरिक लिंक जाँचें: जिस पेज की ओर कोई दूसरा पेज लिंक न करे, उसे खोजना मुश्किल होता है।
- उसे अपनी sitemap में जोड़ें और sitemap जाँचक से फ़ाइल को सत्यापित करें।
- कंटेंट सुधारें अगर वह वही दोहराता है जो दूसरे पेज पहले से कहते हैं, आपकी साइट पर या कहीं और।
इंडेक्सिंग क्लासिक परिणामों से आगे भी मायने रखती है। Google बताता है कि किसी पेज को AI Overviews या AI Mode में सहायक लिंक के रूप में दिखने के लिए इंडेक्स होना और स्निपेट के साथ दिखने योग्य होना ज़रूरी है (Google, AI फ़ीचर और आपकी वेबसाइट)। दूसरे AI के लिए, पहुँच AI क्रॉलेबिलिटी ऑडिट से जाँचें।
जाँचक की सीमाएँ क्या हैं?
- एक बार में एक URL: यह पूरी साइट को क्रॉल नहीं करता। इसे ज़रूरी पेजों और टेम्पलेट पर इस्तेमाल करें।
- केवल Googlebot के नियम: robots.txt Googlebot के लिए पढ़ा जाता है; दूसरे क्रॉलर के नियम यहाँ नहीं परखे जाते।
- कोई JavaScript रेंडरिंग नहीं: लोड होने के बाद JavaScript से जोड़ा गया noindex या canonical दिखाई नहीं देता। Google पेज रेंडर करता है, इसलिए ऐसे मामले Search Console में जाँचें।
- एक स्नैपशॉट: फ़ायरवॉल, geo-blocking या rate limits जाँचक को वह जवाब दे सकते हैं जो Googlebot को नहीं मिलता।
इंडेक्सेबल पेज से दिखने वाले पेज तक
इंडेक्सेबिलिटी दरवाज़ा है: अगर वह बंद है, तो SEO की कोई और चीज़ मायने नहीं रखती। दरवाज़ा खुलने के बाद काम है परिणामों में जगह कमाना। Sorank ब्लॉग लेख जनरेटर हर दिन इंडेक्सेबल, अच्छी तरह लिंक किए गए पेज प्रकाशित करता है, GEO और SEO dashboard दिखाता है कि उनमें से कौन-से इंप्रेशन और क्लिक पाते हैं, और SEO chat आपकी साइट के अपने डेटा से इंडेक्सिंग के सवालों के जवाब देता है। autopilot पर चलाने के लिए Sorank के प्लान देखें।
