Google Search Console की Crawl Stats रिपोर्ट का हर चार्ट पढ़ना सीखें, जानें कि सर्वर लॉग की तुलना में यह क्या छोड़ देती है, और जो दिखाती है उसे कैसे ठीक करें।

इस पेज पर
AI से इस लेख का सार देखें
त्वरित क्विज़
आपकी साइट के तकनीकी पहलू कौन ठीक करे?
आपके लिए हमारी सलाह
मुफ़्त Google टूल से खुद जांचें
Search Console उन पेजों की सूची देता है जिन्हें Google पढ़ नहीं पाता, और PageSpeed Insights गति जांचता है। कई छोटी समस्याएं आपके वेबसाइट बिल्डर की सेटिंग से ठीक हो जाती हैं।
आपके लिए हमारी सलाह
एक वेब डेवलपर
आपकी समस्या कोड या सर्वर में है: SEO जानने वाला डेवलपर सही व्यक्ति है। उसे Search Console की गलतियों की सूची दें।
आपके लिए हमारी सलाह
तकनीकी ऑडिट टूल
आपकी साइट पर कई पेज हैं: एक क्रॉलर उन सबको Google की तरह पढ़ता है और हर पेज के हिसाब से ठीक करने वाली गलतियों की पूरी सूची देता है।
आपके लिए हमारी सलाह
स्वचालित ऑडिट, फिर कंटेंट
आपकी साइट चलती है, लेकिन कम विज़िटर लाती है: तकनीकी समस्याएं शायद ही कभी कारण होती हैं। Sorank साइट का ऑडिट करता है, फिर वे पेज लिखता है जो ट्रैफ़िक लाते हैं।
संक्षेप में: Google Search Console की Crawl Stats रिपोर्ट दिखाती है कि Googlebot आपके URL कैसे माँगता है: वह कितने अनुरोध भेजता है, कितने बाइट डाउनलोड करता है, आपका सर्वर कितनी तेज़ी से जवाब देता है, और उसे कौन से status code वापस मिलते हैं। पहले होस्ट की स्थिति पढ़ें, फिर response codes, फिर उद्देश्य और फ़ाइल प्रकार का विवरण। यह रिपोर्ट एक सारांश है, लॉग नहीं, इसलिए इसका उपयोग समस्या ढूँढने के लिए करें, और फिर अपने सर्वर लॉग में उसकी पुष्टि करें।
Crawl Stats Google की ओर से आपकी साइट पर Googlebot की गतिविधि का दृश्य है। यह बताती है कि Googlebot ने क्या किया, यह नहीं बताती कि आपके पेज रैंक क्यों करते हैं या क्यों नहीं करते। Google इस रिपोर्ट को उन्नत उपयोगकर्ताओं के लिए बताता है, और एक हज़ार से कम पेज वाली साइट को शायद इसकी ज़रूरत ही न पड़े। अगर आप एक छोटी ब्रोशर-जैसी साइट चलाते हैं, तो कुछ बदलने तक इसे छोड़ सकते हैं।

Search Console एक उत्पाद है जिसमें कई रिपोर्ट हैं। इसका सार्वजनिक पेज आम तौर पर क्रॉलिंग और इंडेक्सिंग को कवर करता है: साइटमैप, URL Inspection, index coverage। Crawl Stats मुख्य मेनू में नहीं, Settings के अंतर्गत है, इसलिए कई लोग इसे कभी खोलते ही नहीं।
यह रिपोर्ट केवल रूट-स्तर की प्रॉपर्टी के लिए उपलब्ध है: Domain प्रॉपर्टी, या साइट की जड़ पर बनी URL-prefix प्रॉपर्टी। example.com/blog/ जैसी सब-फ़ोल्डर प्रॉपर्टी को यह नहीं मिलती। डेटा केवल उसी डोमेन को कवर करता है जिसे आपने चुना है। भाई-बहन सब-डोमेन के अनुरोध किसी दूसरे सब-डोमेन की रिपोर्ट में नहीं दिखते, लेकिन पैरेंट डोमेन के दृश्य में उसके सभी चाइल्ड डोमेन शामिल होते हैं। http और https, दोनों एक ही दृश्य में गिने जाते हैं।
नोट
अगर आपकी साइट en.example.com और de.example.com जैसे भाषा-सब-डोमेन इस्तेमाल करती है, तो हर एक को अलग से खोलें। हर एक का अपना डेटा है, और जर्मन सब-डोमेन में आई खराबी अंग्रेज़ी दृश्य में नहीं दिखेगी।
रिपोर्ट तब खोलें जब इनमें से कुछ सच हो: आप बहुत सारे पेज प्रकाशित करते हैं, आपने अपने URL ढाँचे या होस्टिंग को बदला है, Googlebot पहले की तुलना में कम आता दिख रहा है, या पेज खोजे तो जाते हैं पर कभी इंडेक्स नहीं होते। जो साइट हर महीने कुछ लेख जोड़ती है, उसके लिए इस रिपोर्ट से ज़्यादातर सिर्फ़ गलतियाँ ही पता चलती हैं, और उन्हें साइट की सामान्य क्रॉल में बेहतर तरीके से खोजा जा सकता है।
अपनी प्रॉपर्टी खोलें, Settings में जाएँ, Crawl stats ढूँढें, और Open report पर क्लिक करें। सबसे ऊपर तीन चार्ट मिलते हैं: कुल crawl requests, कुल download size, और औसत response time। उनके नीचे host status और चार विवरण हैं: crawl responses, file type, crawl purpose, और Googlebot type। हर विवरण अनुरोधों की संख्या के आधार पर प्रतिशत है।

हर हिस्सा क्या गिनता है और उसे कैसे पढ़ें, यह यहाँ है।
| रिपोर्ट का हिस्सा | यह क्या गिनता है | कैसे पढ़ें |
|---|---|---|
| कुल crawl requests | आपके URL के लिए सभी अनुरोध, सफल हों या असफल, जिनमें विफल DNS और कनेक्शन प्रयास और redirect loop प्रयास भी शामिल हैं। robots.txt द्वारा रोके गए प्रयास भी गिने जाते हैं। | अचानक गिरावट या उछाल हो तो उन्हीं तारीखों पर robots.txt बदलावों और URL ढाँचे की जाँच करें। |
| कुल download size | क्रॉलिंग के दौरान डाउनलोड हुए बाइट। कैश्ड संसाधन केवल पहले अनुरोध पर गिना जाता है। | अगर अनुरोध स्थिर हैं पर बाइट बढ़ रहे हैं, तो आपके पेज भारी हो गए हैं। |
| औसत response time | हर संसाधन को लाने में लगा औसत समय, और हर जुड़ा हुआ संसाधन अलग से गिना जाता है। | एक मान के बजाय रुझान देखें। हर deployment के बाद इस पर नज़र रखें। |
| Host status | robots.txt लाना, DNS resolution, और सर्वर कनेक्टिविटी। हरा मतलब पिछले 90 दिनों में कोई बड़ी समस्या नहीं, पीला मतलब एक हफ़्ते से पुरानी समस्याएँ, लाल मतलब पिछले हफ़्ते की समस्याएँ। | कोई भी लाल या पीला आइटम पहले सर्वर या नेटवर्क की समस्या है, SEO की समस्या बाद में। |
| Crawl responses | प्रकार के अनुसार responses का हिस्सा, जो अनुरोधों की संख्या पर आधारित है। | खराब responses का हिस्सा समय के साथ ट्रैक करें। कच्ची संख्या कम मायने रखती है। |
| File type | प्रकार के अनुसार responses का हिस्सा: HTML, image, JavaScript, CSS, PDF, JSON, video। यह responses की संख्या पर आधारित है, बाइट पर नहीं। | दिखाता है कि Googlebot अपने अनुरोध कहाँ खर्च करता है। JavaScript और CSS का ज़्यादा हिस्सा बताता है कि आपके पेज कई संसाधनों पर निर्भर हैं। |
| Crawl purpose | Discovery (ऐसा URL जिसे Google ने पहले कभी क्रॉल नहीं किया) या refresh (ज्ञात URL की दोबारा क्रॉल)। | नीचे discovery और refresh वाला भाग देखें। |
| Googlebot type | Smartphone, Desktop, Image, Video, Page resource load, AdsBot, StoreBot, अन्य। | मोबाइल-फ़र्स्ट इंडेक्स वाली साइट पर Smartphone सबसे बड़ा समूह होना चाहिए। अचानक बदलाव की जाँच ज़रूरी है। |
हर विवरण अनुरोधों को गिनता है। जो URL Googlebot 50 बार लाता है, वह 50 बार गिना जाता है। इसलिए "40% responses 301 हैं" आपको बताता है कि कितने अनुरोध redirect तक पहुँचे, यह नहीं कि कितने URL redirect होते हैं। कौन से URL शामिल हैं, यह जानने के लिए आपको लॉग चाहिए। Google जो उदाहरण URL दिखाता है, वह एक नमूना है, और Google कहता है कि वे पूरी सूची नहीं हैं।
Google का सहायता पेज कहता है कि यह रिपोर्ट अभी ज़्यादातर crawl requests दिखाती है, लेकिन कुछ अनुरोध गिने नहीं जा सकते। यह भी कहता है कि जो विफल अनुरोध आपके सर्वर तक पहुँचते ही नहीं, वे आपके लॉग में नहीं दिखेंगे। इसीलिए रिपोर्ट वे DNS और कनेक्शन विफलताएँ दिखाती है जो आपके लॉग नहीं दिखा सकते, और इसीलिए दोनों स्रोत पढ़ने चाहिए। Google चार्ट की रखरखाव अवधि नहीं बताता, इसलिए अगर इतिहास चाहिए तो हर महीने अपनी प्रति सहेजें, स्क्रीनशॉट या संख्याओं के एक छोटे नोट के साथ।

रिपोर्ट का response breakdown वह हिस्सा है जो सबसे ज़्यादा बार किसी सुधार तक ले जाता है। इसे इसी क्रम में पढ़ें, और पहले ऐसे चरण पर रुकें जो असली समस्या दिखाए।
पाँच चरणों में crawl responses की जाँच
Google responses को तीन समूहों में बाँटता है। यह समूहीकरण पहली छन्नी है, हर URL के बारे में फ़ैसला नहीं।
रिपोर्ट में 401 खराब गिना जाता है, लेकिन अगर पेज ऐसे लॉगिन के पीछे है जो बंद ही रहना चाहिए, तो वह सही है। हर URL के लिए अलग से तय करें। रिपोर्ट बताती है कि किस समूह को देखना है, और हर response कैसा होना चाहिए, यह आप तय करते हैं।
302 एक अच्छा response गिना जाता है, इसलिए redirect का हिस्सा स्वस्थ दिख सकता है, जबकि वह क्रॉलिंग बर्बाद कर रहा हो। एक बड़ी साइट के विश्लेषण में, जो अप्रैल 2021 में Search Engine Journal पर Onely के Tomek Rudzki ने प्रकाशित किया था, 16% अनुरोध redirect किए गए पेजों पर गए, और लेखक ने हर redirect hop जाँचने की सलाह दी।
चेन कैसे नुकसान करती है, देखें। मान लीजिए /blog/seo-tips /blog/seo-tips-2025 पर redirect करता है, जो /blog/seo-tips-guide पर redirect करता है। Googlebot को सामग्री तक पहुँचने में तीन अनुरोध लगते हैं, और हर internal link जो अब भी पहले URL की ओर इशारा करता है, वही लागत दोहराता है। पहले URL को सीधे अंतिम पते पर ले जाएँ, और internal links को अपडेट करें ताकि वे पुराने रास्ते इस्तेमाल करना बंद करें। मुफ़्त redirect checker किसी भी URL की चेन को hop-दर-hop फ़ॉलो करता है, इसलिए आप ठीक करने से पहले रास्ता देख सकते हैं। अगर आप तय नहीं कर पा रहे कि redirect स्थायी होना चाहिए या नहीं, तो हमारी गाइड 301 बनाम 302 redirect पढ़ें: 301 का मतलब है कि कदम स्थायी है, 302 का मतलब है कि वह अस्थायी है।
सुझाव
अपने लॉग में Googlebot कितनी बार अनुरोध करता है, उसके हिसाब से redirect URL को छाँटें। सबसे ज़्यादा अनुरोधों वाली पाँच चेन पहले ठीक करें। आमतौर पर वही redirect हिस्से का बड़ा हिस्सा होती हैं।
बड़ी साइटों के लिए Google की गाइड कहती है कि जब कोई साइट server errors (5XX) या HTTP 429 जैसे rate-limiting संकेत देती है, तो Google अपनी crawl rate limit घटा देता है। इसलिए 5XX का उछाल टूटे हुए URL से ज़्यादा नुकसान करता है। वह आपके स्वस्थ पेजों की क्रॉल भी धीमी कर सकता है। किसी साइट का crawl budget आंशिक रूप से इस पर निर्भर करता है कि सर्वर कितनी अच्छी तरह जवाब देता है, और 5XX उस हिस्से को सिकोड़ देते हैं।
5XX का उछाल दिखे तो देखें कि वह कब होता है। हर दिन एक ही समय पर होने वाली errors किसी backup job, किसी तय import या traffic peak की ओर इशारा करती हैं। किसी release के ठीक बाद की errors उस release की ओर इशारा करती हैं। पूरे दिन फैली errors क्षमता (capacity) की ओर इशारा करती हैं। हर पैटर्न का सुधार अलग है, और इनमें से कोई भी एक पेज को संपादित करके हल नहीं होता।
Crawl purpose का विवरण अनुरोधों को discovery में बाँटता है, जब Google पहली बार कोई URL देखता है, और refresh में, जब वह किसी ज्ञात URL को दोबारा क्रॉल करता है। इन दोनों का अनुपात बताता है कि Google अपना समय किस चीज़ पर खर्च कर रहा है।
एक बड़ी साइट, एक क्रॉल दिन
स्रोत: Onely के Tomek Rudzki, Search Engine Journal, अप्रैल 2021। लगभग 10 लाख पेजों वाली एक साइट, जिसमें "Discovered, currently not indexed" URL का बैकलॉग था।
उसी विश्लेषण ने एक उपयोगी मोटा अनुमान भी लगाया। उस गति से, उसने अनुमान लगाया कि बैकलॉग को क्रॉल होने में लगभग एक साल लगेगा। यह संख्या एक साइट पर एक लेखक की गणना है, और स्क्रीनशॉट 2021 के हैं, इसलिए इसे नकल न करें। यह तरीका आपके अपने डेटा पर अब भी काम करता है: रिपोर्ट में discovery का इंतज़ार करते URL की संख्या को प्रति दिन की discovery crawls की संख्या से भाग दें। अगर उत्तर महीनों में है, तो और पेज प्रकाशित करने से पहले आपके पास एक क्रॉल समस्या है जिसे ठीक करना ज़रूरी है।
File type का विवरण responses गिनता है, बाइट नहीं, इसलिए वह दिखाता है कि हर संसाधन प्रकार पर कितने अनुरोध जाते हैं, वे कितने भारी हैं यह नहीं। Redirects "Other file type" में आते हैं, और विफल अनुरोध "Unknown (Failed)" के रूप में दिखते हैं। Unknown (Failed) का बढ़ता हिस्सा एक विफलता का संकेत है, file type का नहीं, और उसे खराब responses के साथ ही देखना चाहिए।
Googlebot ने आपकी साइट पर क्या किया, यह देखने के तीन तरीके हैं: Crawl Stats रिपोर्ट, आपके सर्वर लॉग, और Search Console का URL Inspection टूल। हर एक अलग सवाल का जवाब देता है, और हर एक की अपनी blind spots हैं जिन्हें बाकी दो पूरा करते हैं। असली समस्या के लिए तीनों का इस्तेमाल करें।
सिद्धांत: पूरी प्रॉपर्टी के लिए Googlebot के अनुरोधों का सारांश, जिसे Google गणना करता है। कब इस्तेमाल करें: रुझानों, host status और समस्या के पहले अवलोकन के लिए। फ़ायदे: यह मुफ़्त है, उन विफलताओं को भी कवर करता है जो आपके सर्वर तक पहुँचती ही नहीं, और इसमें उद्देश्य और Googlebot type जोड़ता है, जो लॉग सीधे नहीं देते। सीमाएँ: यह एक सारांश है, कुछ अनुरोध गिने नहीं जा सकते, और उदाहरण URL एक नमूना हैं। उदाहरण: एक होस्ट पर तीन दिनों तक 5XX का हिस्सा बढ़ता है। रिपोर्ट आपको दिन और होस्ट बताती है, और आपके लॉग URL और समय बताते हैं।
सिद्धांत: हर अनुरोध के लिए आपके वेब सर्वर द्वारा लिखा गया कच्चा रिकॉर्ड। कब इस्तेमाल करें: सटीक URL सूचियों, घंटे-दर-घंटे status codes, और रिपोर्ट के रुझान के पीछे के सबूत के लिए। फ़ायदे: हर उस अनुरोध के लिए पूरा, जो आपके सर्वर तक पहुँचा, सटीक URL और status code के साथ। सीमाएँ: इनमें वे अनुरोध नहीं होते जो सर्वर तक पहुँचने से पहले विफल हुए, user agent को नकली बनाया जा सकता है, और ज़्यादातर सर्वर तय अवधि के बाद लॉग घुमाते या हटाते हैं। यह कमांड combined format के लॉग में Googlebot के रूप में पहचाने गए अनुरोधों के status codes गिनती है:
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
कमांड user agent स्ट्रिंग से मेल खाती है, फिर status code गिनती है, जो combined log format में नौवाँ फ़ील्ड है। अगर आपका सर्वर किसी और format में लिखता है, तो फ़ील्ड नंबर बदलें। नतीजा status code के अनुसार गिनती की एक तालिका है, जिसमें सबसे ज़्यादा बार आने वाला कोड सबसे ऊपर होता है।
चेतावनी
कोई भी ऐसा अनुरोध भेज सकता है जो दावा करे कि वह Googlebot है। किसी संदिग्ध उछाल पर कार्रवाई करने से पहले जाँचें कि वे IP पते Google के हैं। Google इसके लिए एक reverse DNS check का दस्तावेज़ीकरण करता है, और user agent के आधार पर कुछ भी block या redirect करने से पहले इसे करना उचित है।
सिद्धांत: एक URL की जाँच, जो दिखाती है कि Google ने उसे आखिरी बार कब लाया, उसे क्या मिला, और क्या वह index है। कब इस्तेमाल करें: एक सुधार की पुष्टि के लिए, उदाहरण के लिए, क्या Google ने बदले हुए पेज को लाया है। फ़ायदे: एक URL के लिए तेज़, सटीक और पढ़ने में आसान। सीमाएँ: एक बार में एक URL, इसलिए वह पूरी साइट में कोई पैटर्न नहीं दिखा सकता। ऊपर बताए गए विश्लेषण में, इस टूल ने दिखाया कि एक मुख्य श्रेणी पेज तीन महीने से क्रॉल नहीं हुआ था, और लेखक ने उस पेज के लिए लॉग की जगह इसी का इस्तेमाल किया।
Crawl Stats रिपोर्ट बनाम सर्वर लॉग
| तरीका | कौन सा सवाल हल करता है | दायरा | Blind spot |
|---|---|---|---|
| Crawl Stats रिपोर्ट | क्या Googlebot स्वस्थ है, और कुल मिलाकर वह कैसा व्यवहार कर रहा है? | पूरी प्रॉपर्टी, सारांश में | उदाहरण URL नमूना हैं, और कुछ अनुरोध गिने नहीं जा सकते |
| सर्वर लॉग | कौन से सटीक URL को कब कौन सा response मिला? | हर वह अनुरोध जो आपके सर्वर तक पहुँचा | विफल DNS और कनेक्शन प्रयास, और नकली हो सकने वाले user agents |
| URL Inspection | Google ने इस URL को आखिरी बार कब लाया, और क्या पाया? | एक URL | साइट के बाकी हिस्से के बारे में कुछ नहीं बताता |
एक महीने का डेटा ज़्यादा कुछ नहीं बताता। रिपोर्ट तब उपयोगी होती है जब आप उसे अपने सामान्य स्तर से तुलना करें, इसलिए एक छोटा रिकॉर्ड रखें और हर महीने उसी दिन उसकी समीक्षा करें। ज़्यादातर साइटों के लिए यही दिनचर्या काम करती है।
छह चरणों में मासिक समीक्षा
इस महीने कार्रवाई योग्य संकेत
मान लीजिए आप 301 redirects के साथ अपना ब्लॉग /old-blog/ से /blog/ पर ले जा रहे हैं। स्थानांतरण के ठीक बाद redirect का हिस्सा बढ़ने की उम्मीद करें, क्योंकि Googlebot अब भी पुराने रास्ते माँगता है। आने वाले हफ़्तों में, जैसे-जैसे Google नए URL सीखता है, यह हिस्सा घटना चाहिए। discovery का हिस्सा भी बढ़ने की उम्मीद करें, क्योंकि नए URL Google के लिए नए हैं। अगर कई हफ़्तों बाद भी redirect का हिस्सा ऊँचा रहे, तो चेन, पुराने internal links, या वे redirects खोजें जो आपने जोड़ना भूल गए। टूटे लिंक ठीक करने पर हमारी गाइड उसी सफ़ाई के links वाले हिस्से को कवर करती है।
ज़्यादातर गलतियाँ एक चार्ट को फ़ैसला मानने से आती हैं। नीचे दी गई पाँच में से हर गलती का रिपोर्ट में एक साफ़ संकेत है, और एक सुधार जिसे आप अपने लॉग में जाँच सकते हैं।
यह क्या है: यह मानना कि ज़्यादा crawl requests का मतलब बेहतर SEO है। कैसे पहचानें: एक release के बाद, जिसने filter या sort विकल्प जोड़े, requests तेज़ी से बढ़ते हैं, और नए URL में parameters होते हैं। कैसे ठीक करें: अपने लॉग में discovery का हिस्सा और URL पैटर्न जाँचें। URL बनाने वाले स्रोत को ठीक करें: parameter वाले URL से लिंक करना बंद करें, या जिनका खोज में कोई मूल्य नहीं, उन्हें canonical करें और block करें। बेकार अनुरोधों की ज़्यादा संख्या लागत है, लाभ नहीं।
यह क्या है: औसत को देखना और उन उछालों को न देखना जो वह छिपाता है। कैसे पहचानें: औसत सपाट दिखता है, लेकिन आपके लॉग में हर रात एक ही घंटे पर धीमे responses दिखते हैं। कैसे ठीक करें: लॉग को घंटे और URL के अनुसार समूहित करें, फिर धीमे घंटों की तुलना backups, imports और deployments से करें। धीमा job या धीमा template ठीक करें, फिर औसत दोबारा जाँचें। औसत एक रुझान रेखा है, और रुझान रेखा नहीं बता सकती कि धीमापन कहाँ से शुरू होता है।
यह क्या है: यह मानना कि साइट स्वस्थ है क्योंकि वह आपके ब्राउज़र में खुलती है। कैसे पहचानें: host status robots.txt, DNS या कनेक्टिविटी के लिए पीला या लाल दिखाता है, जबकि आपके पेज आपके लिए काम करते हैं। Googlebot अलग नेटवर्क रास्तों से आपकी साइट तक पहुँचता है, और कोई firewall, CDN नियम या DNS record आपके ब्राउज़र को प्रभावित किए बिना उसे रोक सकता है। कैसे ठीक करें: robots.txt checker से पुष्टि करें कि robots.txt फ़ाइल 200 response के साथ लोड होती है, फिर उन तारीखों के firewall और CDN नियम देखें जब status लाल हुआ।
यह क्या है: robots.txt में बदलाव जो crawl requests घटाता है, और उसके बाद की रिपोर्ट जो शांत दिखती है। कैसे पहचानें: robots.txt बदलने के दिन कुल requests तेज़ी से गिरते हैं। कैसे ठीक करें: अगर आपने बेकार paths block किए, तो गिरावट सही हो सकती है, लेकिन जाँचें कि ज़रूरी सेक्शन अब भी क्रॉल हो रहे हैं। ज़रूरी सेक्शनों के लिए लॉग देखें। अगर कोई ज़रूरी पेज block है, तो हमारी robots.txt द्वारा block स्थिति की गाइड बताती है कि नियम कैसे ढूँढें और क्या बदलें।
यह क्या है: किसी अच्छी तरह क्रॉल हुए पेज को इंडेक्स हुआ पेज मान लेना। कैसे पहचानें: Googlebot किसी URL के लिए नियमित अनुरोध करता है, लेकिन वह URL Google के नतीजों में नहीं आता। ज़्यादा क्रॉल गिनती यह साबित नहीं करती कि Google पेज रखे हुए है। कैसे ठीक करें: Crawl Stats रिपोर्ट से पेज indexing रिपोर्ट पर जाएँ, और उस URL की स्थिति जाँचें। हमारी गाइड Crawled, currently not indexed कारण समझाती है, और Google indexing की गाइड जाँचों का क्रम बताती है।
| गलती | कैसे पहचानें | कैसे ठीक करें |
|---|---|---|
| कुल requests को स्कोर मानना | URL parameters आने के बाद requests बढ़ते हैं | बेकार URL बनाना बंद करें, फिर दोबारा गिनें |
| सिर्फ़ औसत response time | सपाट औसत के पीछे छिपे धीमे घंटे | लॉग को घंटे के हिसाब से समूहित करें, धीमे घंटों को jobs से मिलाएँ |
| Host status को अनदेखा करना | ब्राउज़र में पेज खुलते हैं, फिर भी पीला या लाल | robots.txt, DNS, firewall और CDN नियम जाँचें |
| क्रॉल में गिरावट को प्रगति मानना | robots.txt बदलने के दिन requests गिरते हैं | पुष्टि करें कि ज़रूरी सेक्शन अब भी क्रॉल हो रहे हैं |
| क्रॉलिंग को इंडेक्सिंग समझना | नियमित क्रॉल, पर नतीजों में URL नहीं | URL की indexing स्थिति जाँचें |
Sorank का GEO / SEO dashboard आपके Search Console के clicks, impressions, CTR और position को उन विज़िटों के साथ रखता है जो AI assistants आपको भेजते हैं, जिन्हें Google Analytics से पढ़ा जाता है। यह Googlebot के अनुरोध नहीं दिखाता, इसलिए वह काम Crawl Stats रिपोर्ट के लिए रखें। दोनों टूल अलग सवालों के जवाब देते हैं: dashboard बताता है कि Google आपको क्या भेजता है, और Crawl Stats बताता है कि Google आपके सर्वर पर कैसे आता है।
सुझाव
किसी एक पेज पर लॉग में समय लगाने से पहले, मुफ़्त indexability checker से जाँचें कि Google उसे बिल्कुल इंडेक्स कर सकता है या नहीं। यह पहले सवाल का जवाब कुछ ही सेकंड में देता है।
| आप क्या देखते हैं | पहले यहाँ से शुरू करें | फिर यह खोलें |
|---|---|---|
| Host status लाल या पीला | robots.txt checker, फिर DNS और hosting status | उन्हीं तारीखों के सर्वर लॉग |
| 5XX का हिस्सा बढ़ रहा है | घंटे और URL के अनुसार समूहित आपके लॉग | सर्वर क्षमता, या विफल होने वाला template |
| Redirect का हिस्सा ज़्यादा है | शीर्ष URL पर redirect checker | Redirect चेन और पुराने internal links |
| बहुत सारे URL मिले, पर कुछ ही index हुए | नमूनों पर indexability checker | हमारी log file analysis गाइड |
Crawl Stats रिपोर्ट एक अच्छी पहली स्क्रीन है। वह बताती है कि किस तरह की समस्या पर शक करना है और किन तारीखों पर। सुधार लगभग हमेशा URL की एक सूची में होता है, और वह सूची आपके लॉग में है। रिपोर्ट से शुरू करें, फिर URL पर जाएँ।
अपनी प्रॉपर्टी खोलें, Settings में जाएँ, Crawl stats चुनें और Open report पर क्लिक करें। यह रिपोर्ट केवल Domain प्रॉपर्टी और रूट-स्तर की URL-prefix प्रॉपर्टी के लिए है, इसलिए सब-फ़ोल्डर प्रॉपर्टी में यह नहीं दिखेगी।
अकेले नहीं। कुल संख्या हर अनुरोध गिनती है, जिनमें विफल अनुरोध और robots.txt द्वारा रोके गए प्रयास भी शामिल हैं, इसलिए यह बताती है कि Googlebot कितना आता है, न कि वे विज़िट कितने स्वस्थ हैं। इसे response codes और औसत response time के साथ पढ़ें।
अकेले नहीं। Google कहता है कि कुछ अनुरोध गिने नहीं जा सकते, और उसके उदाहरण URL पूरी सूची नहीं हैं। रुझानों और विफलता श्रेणियों के लिए रिपोर्ट का उपयोग करें, और सटीक URL के लिए अपने लॉग का।
