Crawled - Currently Not Indexed: इसका मतलब क्या है और इसे कैसे ठीक करें

संक्षेप में: "Crawled - currently not indexed" Google Search Console की Page indexing रिपोर्ट में एक स्थिति है। इसका मतलब है कि Googlebot ने पेज ले लिया, फिर तय किया कि उसे index में नहीं जोड़ना, इसलिए यह URL अभी search नतीजों में नहीं आ सकता। आम कारण हैं ऐसा कंटेंट जिसे Google उपयोगी या पर्याप्त अलग नहीं मानता, लगभग-समान पेज, ऐसा कंटेंट जो JavaScript चलने के बाद ही दिखता है, और वे पेज जिन पर internal links कम हैं। पेज पर कारण ठीक करें, उसके internal links मज़बूत करें, फिर दोबारा crawl होने का इंतज़ार करें: केवल URL दोबारा जमा करने से कुछ नहीं बदलता।

Crawled - currently not indexed Search Console में "पेज क्यों index नहीं हो रहे" के अंतर्गत सूचीबद्ध कारणों में से एक है, और अक्सर कंटेंट साइटों और online stores पर सबसे बड़ा कारण होता है। Google के Page indexing रिपोर्ट के दस्तावेज़ इसे दो वाक्यों में बताते हैं: “पेज Google द्वारा crawl हुआ पर index नहीं हुआ। भविष्य में यह index हो भी सकता है और नहीं भी; इस URL को crawl के लिए दोबारा जमा करने की ज़रूरत नहीं है।” यह guide बताती है कि Google ने क्या तय किया, किन URLs को इस स्थिति में छोड़ा जा सकता है, जो मायने रखते हैं उनका असली कारण कैसे खोजें, और हर कारण के लिए कौन सा समाधान ठीक बैठता है।

"Crawled - currently not indexed" का मतलब क्या है?

Google एक URL को तीन चरणों में संभालता है: खोज और crawling, फिर indexing, फिर ranking (हमारी शब्दावली की प्रविष्टि crawling और indexing में हर चरण का ब्योरा है)। इस स्थिति वाला पेज पहला चरण पार कर चुका है: Googlebot ने उसे माँगा और जवाब मिला। वह दूसरे चरण पर रुक गया: कंटेंट प्रोसेस करने के बाद Google ने उसे अपने index में न रखने का फ़ैसला किया।

यह फ़ैसला जानबूझकर किया जाता है और दस्तावेज़ों में दर्ज है। Google की Search कैसे काम करता है वाली guide कहती है कि "indexing की गारंटी नहीं है; Google जो हर पेज प्रोसेस करता है, वह index नहीं होगा।" यह तीन आम कारण बताती है: कम कंटेंट गुणवत्ता, robots meta नियम जो indexing रोकते हैं, और ऐसा साइट डिज़ाइन जो indexing को मुश्किल बनाता है। चूँकि noindex नियम अपनी अलग स्थिति ("'noindex' टैग द्वारा बाहर") बनाता है, इसलिए वह पेज जो crawl हुआ पर index नहीं हुआ, मुख्यतः पहले और तीसरे कारण की ओर इशारा करता है।

इन तीन बातों को ध्यान में रखें:

• यह दंड नहीं है। इसमें कोई manual action शामिल नहीं है, और साइट के बाकी हिस्से को इसके लिए दंडित नहीं किया जाता।
• यह अंतिम नहीं है। Google कहता है कि पेज "भविष्य में index हो भी सकता है और नहीं भी।" हर दोबारा crawl एक नया फ़ैसला है।
• यह उन पेजों पर भी लागू हो सकता है जो पहले index थे। Google नियमित रूप से ऐसे URLs हटा देता है जिन्हें वह अब रखने लायक नहीं मानता, इसलिए कोई पुराना लेख आपकी ओर से बिना किसी बदलाव के इस स्थिति में जा सकता है।

पूरी indexing प्रक्रिया और उसे तेज़ करने वाले उपायों के लिए हमारी Google indexing वाली guide देखें।

Crawled बनाम Discovered - currently not indexed: अंतर क्या है?

दोनों स्थितियाँ एक जैसी दिखती हैं, पर अलग चरणों पर रुकती हैं, इसलिए उनके समाधान भी अलग हैं।

संक्षेप में, "Discovered" मुख्यतः crawl की समस्या है और "Crawled" मुख्यतः indexing का फ़ैसला। सर्वर की गति सुधारने से शायद ही कोई crawl हुआ पेज index में आता है; पेज खुद सुधारने से आता है।

क्या यह समस्या है, या इन URLs को छोड़ा जा सकता है?

कुछ आकार वाली हर साइट पर इस स्थिति में URLs होते हैं, और उनमें से कई कभी रैंक नहीं करने चाहिए। कुछ भी ठीक करने से पहले सूची को URL के प्रकार के हिसाब से छाँटें। कम मूल्य वाले URLs की स्थिर संख्या चिंता की बात नहीं है; अचानक बढ़ोतरी, या सूची में महत्वपूर्ण पेज, चिंता की बात है।

Google पेज को crawl करता है पर index क्यों नहीं करता?

1. कंटेंट बहुत कम जोड़ता है

यह सबसे आम कारण है। कुछ पंक्तियों वाले पेज, आम कंटेंट जो दर्जनों index पेजों की बात दोहराता है, या ऐसे template से बने पेज जिनमें केवल नाम बदला गया है, ये विशिष्ट thin content हैं। उपयोगी कंटेंट बनाने पर Google के मार्गदर्शन में पूछा गया है कि क्या पेज "search नतीजों के दूसरे पेजों की तुलना में ठोस मूल्य देता है"। जो पेज यह परीक्षा पास नहीं करता, वह बार-बार crawl हो सकता है और फिर भी index नहीं होगा।

2. पेज किसी दूसरे पेज के बहुत करीब है

लगभग-समान पेज (एक ही विवरण वाले product variants, केवल शहर का नाम बदलने वाले city पेज, print-friendly संस्करण) अक्सर समूहित होकर बाहर रख दिए जाते हैं। जब Google duplicate को साफ़ पहचान लेता है, तो आम तौर पर canonical स्थिति दिखती है; जब समानता आंशिक होती है, तो पेज यहाँ आ सकता है। एक सुसंगत canonical टैग और सच में अलग कंटेंट मामला सुलझा देते हैं।

3. कंटेंट केवल JavaScript चलने के बाद दिखता है

Google की JavaScript SEO की बुनियाद तीन चरण बताती है: crawling, rendering और indexing, और नोट करती है कि rendering की प्रतीक्षा करता पेज "कुछ सेकंड इस कतार में रह सकता है, पर उससे ज़्यादा भी लग सकता है।" यदि कच्चा HTML लगभग खाली है और text केवल rendering के बाद दिखता है (या rendering इसलिए विफल होता है कि कोई script या API call रुकी हुई है), तो Google लगभग खाली पेज का मूल्यांकन कर सकता है। Server-side rendering या pre-rendering यह जोखिम हटाते हैं; विकल्पों के लिए हमारी JavaScript SEO वाली guide देखें।

4. साइट संकेत देती है कि पेज कम महत्वपूर्ण है

जो पेज केवल sitemap से पहुँचता है, या पाँच क्लिक गहराई में दबा है और किसी paginated archive से केवल एक link मिलता है, वह Google को बताता है कि आपके लिए वह ज़्यादा मायने नहीं रखता। Index हुए, देखे जाने वाले पेजों से internal links उन सबसे मज़बूत संकेतों में से हैं जो आपके नियंत्रण में हैं।

5. अन्य मामले

कुछ URLs पेज के बाहर के कारणों से यहाँ दिखते हैं: रिपोर्ट पीछे चल रही होती है (URL शायद पहले से index है), redirect का लक्ष्य पुराने URL से crawl हुआ, या soft error पेज (खाली search नतीजे, "कोई उत्पाद नहीं मिला") 200 status code लौटाते हैं। इन्हें जाँच चाहिए, दोबारा लिखने की नहीं।

"Crawled - currently not indexed" की जाँच चरण-दर-चरण कैसे करें

1. रिपोर्ट खोलें। Search Console में Indexing, फिर Pages पर जाएँ, और "पेज क्यों index नहीं हो रहे" के अंतर्गत "Crawled - currently not indexed" पर क्लिक करें। रुझान नोट करें: अचानक उछाल अक्सर माइग्रेशन, theme बदलने या नए पेजों के एक बैच के बाद आता है।
2. ऊपर की तालिका से URLs को प्रकार के हिसाब से छाँटें, और केवल वे पेज रखें जो search नतीजों में चाहिए।
3. हर महत्वपूर्ण URL की जाँच करें। उसे URL Inspection टूल में डालें। स्थिति, आखिरी crawl की तारीख और यह पुष्टि करें कि crawling और indexing की अनुमति है। आप हमारे मुफ़्त indexability checker से भी कुछ सेकंड में पेज जाँच सकते हैं।
4. झूठे सकारात्मक नतीजे जाँचें। यदि "URL is on Google" दिखता है, तो रिपोर्ट पीछे है और पेज को कुछ नहीं चाहिए।
5. लाइव URL जाँचें और rendered HTML देखें। यदि rendered संस्करण में मुख्य text, links या title नहीं हैं, तो समस्या rendering की है।
6. रैंक करने वाले पेजों से तुलना करें। लक्षित query खोजें और शीर्ष नतीजे पढ़ें। यदि वे सवाल का ज़्यादा पूरा जवाब देते हैं, या अलग फ़ॉर्मेट में, तो आपके पेज में गुणवत्ता या इरादे (intent) का अंतर है।
7. पेज की ओर जाने वाले internal links गिनें, उदाहरण के लिए हमारे internal link analyzer से। गहरे पेजों से शून्य या एक link कमज़ोर संकेत है।

समाधान: हर कारण के लिए एक समाधान

दो आदतें समाधानों को टिकाऊ बनाती हैं। पहली, नियमित content audit चलाएँ: कमज़ोर पेजों को छाँटना या मिलाना उस कंटेंट की औसत गुणवत्ता बढ़ाता है जिसे Google crawl करता है। दूसरी, XML sitemap साफ़ रखें, केवल वे canonical, indexable URLs जिन्हें आप रैंक कराना चाहते हैं, और बड़ी सफ़ाई के बाद उसे Google को दोबारा जमा करें।

समाधान के बाद पेज को index होने में कितना समय लगता है?

तब तक कुछ नहीं होता जब तक Googlebot पेज को दोबारा crawl नहीं करता, और इसमें कुछ दिनों से लेकर कई हफ़्ते लग सकते हैं, यह इस पर निर्भर है कि Google आपकी साइट पर कितनी बार आता है। जब कई URLs ठीक हो जाएँ, तो रिपोर्ट में "Validate fix" पर क्लिक कर सकते हैं; Google कहता है कि सत्यापन "आम तौर पर लगभग दो हफ़्ते तक लेता है, पर कुछ मामलों में इससे कहीं ज़्यादा लग सकता है।" सत्यापन वैकल्पिक है: पेज दोबारा crawl होने पर रिपोर्ट खुद अपडेट हो जाती है।

बड़ी साइट के लिए URLs को एक-एक करके जाँचना धीमा है। Search Console API की उपयोग सीमाओं के अनुसार URL Inspection API हर साइट के लिए प्रति दिन 2,000 queries और प्रति मिनट 600 queries देती है, जो समय के साथ कुछ सौ प्राथमिकता वाले पेजों पर नज़र रखने के लिए काफ़ी है। यदि दो-तीन बार दोबारा crawl के बाद भी कोई पेज इस स्थिति में रहता है, तो समाधान पर्याप्त नहीं था: कुछ और करने से पहले गुणवत्ता और इरादे को फिर से देखें।

SEO और AI में दृश्यता के लिए यह क्यों मायने रखता है?

Google के index से बाहर का पेज कोई organic क्लिक नहीं लाता, उसकी गुणवत्ता चाहे जो हो। किसी कंटेंट साइट पर इस स्थिति वाले लेखों का बड़ा हिस्सा उत्पादन के प्रयास को भी बर्बाद करता है, और Google को यह संकेत देता है कि साइट ऐसे पेज छाप रही है जिनकी उसे ज़रूरत नहीं, जिससे नए पेजों की indexing धीमी पड़ सकती है।

AI assistants एक दूसरा कारण जोड़ते हैं। ChatGPT, Perplexity और Gemini कई सवालों के जवाब web search indexes से पेज लाकर देते हैं, फिर उन स्रोतों को उद्धृत करते हैं जिनका उन्होंने उपयोग किया। जो पेज index नहीं है, उसके लाए जाने की संभावना बहुत कम है, इसलिए उसके उद्धृत होने की भी। जवाब देते समय AI किन स्रोतों को पसंद करते हैं, यह हमारे अध्ययन में देखें जिसमें AI सबसे ज़्यादा किन प्लेटफ़ॉर्मों को उद्धृत करते हैं।

Sorank हमारा उत्पाद है: एक autopilot SEO और GEO सॉफ़्टवेयर। इसका GEO और SEO dashboard Search Console से clicks, impressions और positions दिखाता है, ताकि आप देख सकें कि ठीक किए गए पेजों को impressions कब मिलने लगते हैं। और इसका article generator स्रोतों के साथ लेख लिखता है, जिनमें internal links पहले से लगे होते हैं, वे दो तत्व जिन्हें यह स्थिति सबसे ज़्यादा दंडित करती है।

संक्षेप में: URLs छाँटें, जो रैंक नहीं करने चाहिए उन्हें नज़रअंदाज़ करें, और जो पेज मायने रखते हैं उनका कारण ठीक करें (कंटेंट, duplication, rendering, internal links), फिर Google से दोबारा देखने को कहें। शुरू से ही ऐसे पेज प्रकाशित करने के लिए जो index और उद्धृत हों, Sorank की योजनाएँ देखें, जो 3 दिन के मुफ़्त trial के साथ $49 प्रति माह से शुरू होती हैं।