प्राथमिकताएँ

आपकी गोपनीयता हमारे लिए महत्वपूर्ण है, इसलिए आपके पास कुछ प्रकार के स्टोरेज को बंद करने का विकल्प है जो वेबसाइट के बुनियादी कामकाज के लिए ज़रूरी नहीं हो सकते। कुछ श्रेणियों को बंद करने से वेबसाइट पर आपके अनुभव पर असर पड़ सकता है। अधिक जानकारी (कुकी नीति)

Crawl Stats: Google Search Console रिपोर्ट कैसे पढ़ें और जो दिखाती है उसे कैसे ठीक करें

Google Search Console की Crawl Stats रिपोर्ट का हर चार्ट पढ़ना सीखें, जानें कि सर्वर लॉग की तुलना में यह क्या छोड़ देती है, और जो दिखाती है उसे कैसे ठीक करें।

प्रकाशित
19/11/2026
अपडेट किया गया
19/11/2026
पढ़ने का समय
18 मिनट
Crawl Stats: Google Search Console रिपोर्ट कैसे पढ़ें और जो दिखाती है उसे कैसे ठीक करें

टूल

इस पेज पर

AI से इस लेख का सार देखें

त्वरित क्विज़

आपकी साइट के तकनीकी पहलू कौन ठीक करे?

प्रश्न 1 / 425%
आज क्या हो रहा है?

संक्षेप में: Google Search Console की Crawl Stats रिपोर्ट दिखाती है कि Googlebot आपके URL कैसे माँगता है: वह कितने अनुरोध भेजता है, कितने बाइट डाउनलोड करता है, आपका सर्वर कितनी तेज़ी से जवाब देता है, और उसे कौन से status code वापस मिलते हैं। पहले होस्ट की स्थिति पढ़ें, फिर response codes, फिर उद्देश्य और फ़ाइल प्रकार का विवरण। यह रिपोर्ट एक सारांश है, लॉग नहीं, इसलिए इसका उपयोग समस्या ढूँढने के लिए करें, और फिर अपने सर्वर लॉग में उसकी पुष्टि करें।

Crawl Stats रिपोर्ट क्या है, और इसे किसे खोलना चाहिए

Crawl Stats Google की ओर से आपकी साइट पर Googlebot की गतिविधि का दृश्य है। यह बताती है कि Googlebot ने क्या किया, यह नहीं बताती कि आपके पेज रैंक क्यों करते हैं या क्यों नहीं करते। Google इस रिपोर्ट को उन्नत उपयोगकर्ताओं के लिए बताता है, और एक हज़ार से कम पेज वाली साइट को शायद इसकी ज़रूरत ही न पड़े। अगर आप एक छोटी ब्रोशर-जैसी साइट चलाते हैं, तो कुछ बदलने तक इसे छोड़ सकते हैं।

Google का सार्वजनिक Search Console उत्पाद पेज
Google का सार्वजनिक Search Console पेज, क्रॉलिंग और इंडेक्सिंग टूल का प्रारंभिक बिंदु।

Search Console एक उत्पाद है जिसमें कई रिपोर्ट हैं। इसका सार्वजनिक पेज आम तौर पर क्रॉलिंग और इंडेक्सिंग को कवर करता है: साइटमैप, URL Inspection, index coverage। Crawl Stats मुख्य मेनू में नहीं, Settings के अंतर्गत है, इसलिए कई लोग इसे कभी खोलते ही नहीं।

केवल रूट-स्तर की प्रॉपर्टी को ही यह रिपोर्ट मिलती है

यह रिपोर्ट केवल रूट-स्तर की प्रॉपर्टी के लिए उपलब्ध है: Domain प्रॉपर्टी, या साइट की जड़ पर बनी URL-prefix प्रॉपर्टी। example.com/blog/ जैसी सब-फ़ोल्डर प्रॉपर्टी को यह नहीं मिलती। डेटा केवल उसी डोमेन को कवर करता है जिसे आपने चुना है। भाई-बहन सब-डोमेन के अनुरोध किसी दूसरे सब-डोमेन की रिपोर्ट में नहीं दिखते, लेकिन पैरेंट डोमेन के दृश्य में उसके सभी चाइल्ड डोमेन शामिल होते हैं। http और https, दोनों एक ही दृश्य में गिने जाते हैं।

नोट

अगर आपकी साइट en.example.com और de.example.com जैसे भाषा-सब-डोमेन इस्तेमाल करती है, तो हर एक को अलग से खोलें। हर एक का अपना डेटा है, और जर्मन सब-डोमेन में आई खराबी अंग्रेज़ी दृश्य में नहीं दिखेगी।

इसका उपयोग कौन करे

रिपोर्ट तब खोलें जब इनमें से कुछ सच हो: आप बहुत सारे पेज प्रकाशित करते हैं, आपने अपने URL ढाँचे या होस्टिंग को बदला है, Googlebot पहले की तुलना में कम आता दिख रहा है, या पेज खोजे तो जाते हैं पर कभी इंडेक्स नहीं होते। जो साइट हर महीने कुछ लेख जोड़ती है, उसके लिए इस रिपोर्ट से ज़्यादातर सिर्फ़ गलतियाँ ही पता चलती हैं, और उन्हें साइट की सामान्य क्रॉल में बेहतर तरीके से खोजा जा सकता है।

रिपोर्ट खोलें और हर चार्ट पढ़ें

अपनी प्रॉपर्टी खोलें, Settings में जाएँ, Crawl stats ढूँढें, और Open report पर क्लिक करें। सबसे ऊपर तीन चार्ट मिलते हैं: कुल crawl requests, कुल download size, और औसत response time। उनके नीचे host status और चार विवरण हैं: crawl responses, file type, crawl purpose, और Googlebot type। हर विवरण अनुरोधों की संख्या के आधार पर प्रतिशत है।

Crawl Stats रिपोर्ट को समझाने वाला Google Search Console सहायता पेज
Crawl Stats रिपोर्ट के लिए Google का सहायता पेज।

हर हिस्सा क्या गिनता है और उसे कैसे पढ़ें, यह यहाँ है।

रिपोर्ट का हिस्सायह क्या गिनता हैकैसे पढ़ें
कुल crawl requestsआपके URL के लिए सभी अनुरोध, सफल हों या असफल, जिनमें विफल DNS और कनेक्शन प्रयास और redirect loop प्रयास भी शामिल हैं। robots.txt द्वारा रोके गए प्रयास भी गिने जाते हैं।अचानक गिरावट या उछाल हो तो उन्हीं तारीखों पर robots.txt बदलावों और URL ढाँचे की जाँच करें।
कुल download sizeक्रॉलिंग के दौरान डाउनलोड हुए बाइट। कैश्ड संसाधन केवल पहले अनुरोध पर गिना जाता है।अगर अनुरोध स्थिर हैं पर बाइट बढ़ रहे हैं, तो आपके पेज भारी हो गए हैं।
औसत response timeहर संसाधन को लाने में लगा औसत समय, और हर जुड़ा हुआ संसाधन अलग से गिना जाता है।एक मान के बजाय रुझान देखें। हर deployment के बाद इस पर नज़र रखें।
Host statusrobots.txt लाना, DNS resolution, और सर्वर कनेक्टिविटी। हरा मतलब पिछले 90 दिनों में कोई बड़ी समस्या नहीं, पीला मतलब एक हफ़्ते से पुरानी समस्याएँ, लाल मतलब पिछले हफ़्ते की समस्याएँ।कोई भी लाल या पीला आइटम पहले सर्वर या नेटवर्क की समस्या है, SEO की समस्या बाद में।
Crawl responsesप्रकार के अनुसार responses का हिस्सा, जो अनुरोधों की संख्या पर आधारित है।खराब responses का हिस्सा समय के साथ ट्रैक करें। कच्ची संख्या कम मायने रखती है।
File typeप्रकार के अनुसार responses का हिस्सा: HTML, image, JavaScript, CSS, PDF, JSON, video। यह responses की संख्या पर आधारित है, बाइट पर नहीं।दिखाता है कि Googlebot अपने अनुरोध कहाँ खर्च करता है। JavaScript और CSS का ज़्यादा हिस्सा बताता है कि आपके पेज कई संसाधनों पर निर्भर हैं।
Crawl purposeDiscovery (ऐसा URL जिसे Google ने पहले कभी क्रॉल नहीं किया) या refresh (ज्ञात URL की दोबारा क्रॉल)।नीचे discovery और refresh वाला भाग देखें।
Googlebot typeSmartphone, Desktop, Image, Video, Page resource load, AdsBot, StoreBot, अन्य।मोबाइल-फ़र्स्ट इंडेक्स वाली साइट पर Smartphone सबसे बड़ा समूह होना चाहिए। अचानक बदलाव की जाँच ज़रूरी है।

प्रतिशत अनुरोधों को गिनते हैं, URL को नहीं

हर विवरण अनुरोधों को गिनता है। जो URL Googlebot 50 बार लाता है, वह 50 बार गिना जाता है। इसलिए "40% responses 301 हैं" आपको बताता है कि कितने अनुरोध redirect तक पहुँचे, यह नहीं कि कितने URL redirect होते हैं। कौन से URL शामिल हैं, यह जानने के लिए आपको लॉग चाहिए। Google जो उदाहरण URL दिखाता है, वह एक नमूना है, और Google कहता है कि वे पूरी सूची नहीं हैं।

रिपोर्ट क्या नहीं दिखाती

Google का सहायता पेज कहता है कि यह रिपोर्ट अभी ज़्यादातर crawl requests दिखाती है, लेकिन कुछ अनुरोध गिने नहीं जा सकते। यह भी कहता है कि जो विफल अनुरोध आपके सर्वर तक पहुँचते ही नहीं, वे आपके लॉग में नहीं दिखेंगे। इसीलिए रिपोर्ट वे DNS और कनेक्शन विफलताएँ दिखाती है जो आपके लॉग नहीं दिखा सकते, और इसीलिए दोनों स्रोत पढ़ने चाहिए। Google चार्ट की रखरखाव अवधि नहीं बताता, इसलिए अगर इतिहास चाहिए तो हर महीने अपनी प्रति सहेजें, स्क्रीनशॉट या संख्याओं के एक छोटे नोट के साथ।

नीले और सफ़ेद रंग का आइसोमेट्रिक चित्र: एक बॉट जुड़े हुए नोड्स के बीच से होकर एक वेबसाइट की ओर बढ़ रहा है
हर Googlebot अनुरोध Google से आपके पेजों तक जाता है, और हर response दर्ज होता है।

Response codes को चरण-दर-चरण पढ़ें

रिपोर्ट का response breakdown वह हिस्सा है जो सबसे ज़्यादा बार किसी सुधार तक ले जाता है। इसे इसी क्रम में पढ़ें, और पहले ऐसे चरण पर रुकें जो असली समस्या दिखाए।

पाँच चरणों में crawl responses की जाँच

  1. Host status देखेंrobots.txt, DNS या कनेक्टिविटी पर लाल या पीला मतलब Googlebot आपकी साइट तक पहुँच ही नहीं पाया। इसे सबसे पहले ठीक करें।
  2. खराब responses देखें5XX, बाकी 4XX, robots.txt उपलब्ध नहीं, timeouts और redirect errors। उनका हिस्सा नोट करें और देखें कि वह हफ़्ते-दर-हफ़्ते बदलता है या नहीं।
  3. Redirect हिस्सा जाँचेंबहुत सारे 301 और 302 का मतलब है कि Googlebot अपने अनुरोध पेजों के बजाय hops पर खर्च कर रहा है।
  4. 404 की पुष्टि करेंअगर पेज जानबूझकर हटाया गया था तो 404 ठीक है। अगर आपके internal links या sitemap अब भी उसी की ओर इशारा करते हैं, तो यह समस्या है।
  5. लॉग से URL निकालेंहर खराब श्रेणी को URL की सूची में बदलें, फिर रिपोर्ट के बजाय links के स्रोत को ठीक करें।

अच्छे, शायद अच्छे, और खराब responses

Google responses को तीन समूहों में बाँटता है। यह समूहीकरण पहली छन्नी है, हर URL के बारे में फ़ैसला नहीं।

  • अच्छे: 200, 301, 302, 304 और meta refresh।
  • शायद अच्छे: 404।
  • खराब: robots.txt उपलब्ध नहीं, 401 और 407, 5XX, बाकी 4XX, DNS errors, fetch errors, timeouts और redirect errors।

रिपोर्ट में 401 खराब गिना जाता है, लेकिन अगर पेज ऐसे लॉगिन के पीछे है जो बंद ही रहना चाहिए, तो वह सही है। हर URL के लिए अलग से तय करें। रिपोर्ट बताती है कि किस समूह को देखना है, और हर response कैसा होना चाहिए, यह आप तय करते हैं।

Redirects: वह लागत जो आपको दिखती नहीं

302 एक अच्छा response गिना जाता है, इसलिए redirect का हिस्सा स्वस्थ दिख सकता है, जबकि वह क्रॉलिंग बर्बाद कर रहा हो। एक बड़ी साइट के विश्लेषण में, जो अप्रैल 2021 में Search Engine Journal पर Onely के Tomek Rudzki ने प्रकाशित किया था, 16% अनुरोध redirect किए गए पेजों पर गए, और लेखक ने हर redirect hop जाँचने की सलाह दी।

चेन कैसे नुकसान करती है, देखें। मान लीजिए /blog/seo-tips /blog/seo-tips-2025 पर redirect करता है, जो /blog/seo-tips-guide पर redirect करता है। Googlebot को सामग्री तक पहुँचने में तीन अनुरोध लगते हैं, और हर internal link जो अब भी पहले URL की ओर इशारा करता है, वही लागत दोहराता है। पहले URL को सीधे अंतिम पते पर ले जाएँ, और internal links को अपडेट करें ताकि वे पुराने रास्ते इस्तेमाल करना बंद करें। मुफ़्त redirect checker किसी भी URL की चेन को hop-दर-hop फ़ॉलो करता है, इसलिए आप ठीक करने से पहले रास्ता देख सकते हैं। अगर आप तय नहीं कर पा रहे कि redirect स्थायी होना चाहिए या नहीं, तो हमारी गाइड 301 बनाम 302 redirect पढ़ें: 301 का मतलब है कि कदम स्थायी है, 302 का मतलब है कि वह अस्थायी है।

सुझाव

अपने लॉग में Googlebot कितनी बार अनुरोध करता है, उसके हिसाब से redirect URL को छाँटें। सबसे ज़्यादा अनुरोधों वाली पाँच चेन पहले ठीक करें। आमतौर पर वही redirect हिस्से का बड़ा हिस्सा होती हैं।

5XX और 429: वह संकेत जो क्रॉल रेट गिराता है

बड़ी साइटों के लिए Google की गाइड कहती है कि जब कोई साइट server errors (5XX) या HTTP 429 जैसे rate-limiting संकेत देती है, तो Google अपनी crawl rate limit घटा देता है। इसलिए 5XX का उछाल टूटे हुए URL से ज़्यादा नुकसान करता है। वह आपके स्वस्थ पेजों की क्रॉल भी धीमी कर सकता है। किसी साइट का crawl budget आंशिक रूप से इस पर निर्भर करता है कि सर्वर कितनी अच्छी तरह जवाब देता है, और 5XX उस हिस्से को सिकोड़ देते हैं।

5XX का उछाल दिखे तो देखें कि वह कब होता है। हर दिन एक ही समय पर होने वाली errors किसी backup job, किसी तय import या traffic peak की ओर इशारा करती हैं। किसी release के ठीक बाद की errors उस release की ओर इशारा करती हैं। पूरे दिन फैली errors क्षमता (capacity) की ओर इशारा करती हैं। हर पैटर्न का सुधार अलग है, और इनमें से कोई भी एक पेज को संपादित करके हल नहीं होता।

Discovery, refresh और file type: अनुपात क्या बताते हैं

Crawl purpose का विवरण अनुरोधों को discovery में बाँटता है, जब Google पहली बार कोई URL देखता है, और refresh में, जब वह किसी ज्ञात URL को दोबारा क्रॉल करता है। इन दोनों का अनुपात बताता है कि Google अपना समय किस चीज़ पर खर्च कर रहा है।

  • ऐसी साइट पर जो कुछ ही पेज जोड़ती है, वहाँ discovery का हिस्सा ज़्यादा हो तो Google लगातार नए URL ढूँढ रहा है। URL बनाने वाले स्रोत खोजें: filter और sort parameters, internal search result pages, calendar archives, session IDs। इनमें से हर एक ऐसे URL बनाता है जो नए लगते हैं।
  • ऐसे पेजों पर refresh का हिस्सा ज़्यादा हो जो कभी नहीं बदलते तो Google उन्हें बार-बार देख रहा है। जाँचें कि क्या वे पेज 304 Not Modified लौटाते हैं। Google कहता है कि किसी अपरिवर्तित पेज के लिए 304 लौटाने से वह अपनी मौजूदा प्रति दोबारा इस्तेमाल करता है। अगर वही पेज हर बार पूरे बाइट के साथ 200 लौटाते हैं, तो आपका सर्वर हर विज़िट पर पूरा पेज भेज रहा है।

एक बड़ी साइट, एक क्रॉल दिन

7460प्रति दिन औसतन क्रॉल किए गए पेज
35%इन क्रॉल में से discovery क्रॉल थे, ऐसे URL के लिए जिन्हें Google ने पहले कभी नहीं लाया था

स्रोत: Onely के Tomek Rudzki, Search Engine Journal, अप्रैल 2021। लगभग 10 लाख पेजों वाली एक साइट, जिसमें "Discovered, currently not indexed" URL का बैकलॉग था।

उसी विश्लेषण ने एक उपयोगी मोटा अनुमान भी लगाया। उस गति से, उसने अनुमान लगाया कि बैकलॉग को क्रॉल होने में लगभग एक साल लगेगा। यह संख्या एक साइट पर एक लेखक की गणना है, और स्क्रीनशॉट 2021 के हैं, इसलिए इसे नकल न करें। यह तरीका आपके अपने डेटा पर अब भी काम करता है: रिपोर्ट में discovery का इंतज़ार करते URL की संख्या को प्रति दिन की discovery crawls की संख्या से भाग दें। अगर उत्तर महीनों में है, तो और पेज प्रकाशित करने से पहले आपके पास एक क्रॉल समस्या है जिसे ठीक करना ज़रूरी है।

File type का विवरण responses गिनता है, बाइट नहीं, इसलिए वह दिखाता है कि हर संसाधन प्रकार पर कितने अनुरोध जाते हैं, वे कितने भारी हैं यह नहीं। Redirects "Other file type" में आते हैं, और विफल अनुरोध "Unknown (Failed)" के रूप में दिखते हैं। Unknown (Failed) का बढ़ता हिस्सा एक विफलता का संकेत है, file type का नहीं, और उसे खराब responses के साथ ही देखना चाहिए।

Crawl Stats, सर्वर लॉग और URL Inspection: Googlebot को देखने के तीन तरीके

Googlebot ने आपकी साइट पर क्या किया, यह देखने के तीन तरीके हैं: Crawl Stats रिपोर्ट, आपके सर्वर लॉग, और Search Console का URL Inspection टूल। हर एक अलग सवाल का जवाब देता है, और हर एक की अपनी blind spots हैं जिन्हें बाकी दो पूरा करते हैं। असली समस्या के लिए तीनों का इस्तेमाल करें।

Crawl Stats रिपोर्ट

सिद्धांत: पूरी प्रॉपर्टी के लिए Googlebot के अनुरोधों का सारांश, जिसे Google गणना करता है। कब इस्तेमाल करें: रुझानों, host status और समस्या के पहले अवलोकन के लिए। फ़ायदे: यह मुफ़्त है, उन विफलताओं को भी कवर करता है जो आपके सर्वर तक पहुँचती ही नहीं, और इसमें उद्देश्य और Googlebot type जोड़ता है, जो लॉग सीधे नहीं देते। सीमाएँ: यह एक सारांश है, कुछ अनुरोध गिने नहीं जा सकते, और उदाहरण URL एक नमूना हैं। उदाहरण: एक होस्ट पर तीन दिनों तक 5XX का हिस्सा बढ़ता है। रिपोर्ट आपको दिन और होस्ट बताती है, और आपके लॉग URL और समय बताते हैं।

सर्वर लॉग

सिद्धांत: हर अनुरोध के लिए आपके वेब सर्वर द्वारा लिखा गया कच्चा रिकॉर्ड। कब इस्तेमाल करें: सटीक URL सूचियों, घंटे-दर-घंटे status codes, और रिपोर्ट के रुझान के पीछे के सबूत के लिए। फ़ायदे: हर उस अनुरोध के लिए पूरा, जो आपके सर्वर तक पहुँचा, सटीक URL और status code के साथ। सीमाएँ: इनमें वे अनुरोध नहीं होते जो सर्वर तक पहुँचने से पहले विफल हुए, user agent को नकली बनाया जा सकता है, और ज़्यादातर सर्वर तय अवधि के बाद लॉग घुमाते या हटाते हैं। यह कमांड combined format के लॉग में Googlebot के रूप में पहचाने गए अनुरोधों के status codes गिनती है:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

कमांड user agent स्ट्रिंग से मेल खाती है, फिर status code गिनती है, जो combined log format में नौवाँ फ़ील्ड है। अगर आपका सर्वर किसी और format में लिखता है, तो फ़ील्ड नंबर बदलें। नतीजा status code के अनुसार गिनती की एक तालिका है, जिसमें सबसे ज़्यादा बार आने वाला कोड सबसे ऊपर होता है।

चेतावनी

कोई भी ऐसा अनुरोध भेज सकता है जो दावा करे कि वह Googlebot है। किसी संदिग्ध उछाल पर कार्रवाई करने से पहले जाँचें कि वे IP पते Google के हैं। Google इसके लिए एक reverse DNS check का दस्तावेज़ीकरण करता है, और user agent के आधार पर कुछ भी block या redirect करने से पहले इसे करना उचित है।

URL Inspection टूल

सिद्धांत: एक URL की जाँच, जो दिखाती है कि Google ने उसे आखिरी बार कब लाया, उसे क्या मिला, और क्या वह index है। कब इस्तेमाल करें: एक सुधार की पुष्टि के लिए, उदाहरण के लिए, क्या Google ने बदले हुए पेज को लाया है। फ़ायदे: एक URL के लिए तेज़, सटीक और पढ़ने में आसान। सीमाएँ: एक बार में एक URL, इसलिए वह पूरी साइट में कोई पैटर्न नहीं दिखा सकता। ऊपर बताए गए विश्लेषण में, इस टूल ने दिखाया कि एक मुख्य श्रेणी पेज तीन महीने से क्रॉल नहीं हुआ था, और लेखक ने उस पेज के लिए लॉग की जगह इसी का इस्तेमाल किया।

Crawl Stats रिपोर्ट बनाम सर्वर लॉग

Crawl Stats रिपोर्ट
  • विफल DNS और कनेक्शन प्रयास गिनती है
  • Host status और Googlebot type दिखाती है
  • उदाहरण URL सभी नहीं, केवल नमूना दिखाती है
  • कुछ अनुरोध गिने नहीं जा सकते
सर्वर लॉग
  • हर वह अनुरोध जो आपके सर्वर तक पहुँचा
  • हर अनुरोध के लिए सटीक URL और status code
  • विफल DNS और कनेक्शन प्रयास छूट जाते हैं
  • user agent नकली हो सकता है
तरीकाकौन सा सवाल हल करता हैदायराBlind spot
Crawl Stats रिपोर्टक्या Googlebot स्वस्थ है, और कुल मिलाकर वह कैसा व्यवहार कर रहा है?पूरी प्रॉपर्टी, सारांश मेंउदाहरण URL नमूना हैं, और कुछ अनुरोध गिने नहीं जा सकते
सर्वर लॉगकौन से सटीक URL को कब कौन सा response मिला?हर वह अनुरोध जो आपके सर्वर तक पहुँचाविफल DNS और कनेक्शन प्रयास, और नकली हो सकने वाले user agents
URL InspectionGoogle ने इस URL को आखिरी बार कब लाया, और क्या पाया?एक URLसाइट के बाकी हिस्से के बारे में कुछ नहीं बताता

मासिक समीक्षा, चरण-दर-चरण

एक महीने का डेटा ज़्यादा कुछ नहीं बताता। रिपोर्ट तब उपयोगी होती है जब आप उसे अपने सामान्य स्तर से तुलना करें, इसलिए एक छोटा रिकॉर्ड रखें और हर महीने उसी दिन उसकी समीक्षा करें। ज़्यादातर साइटों के लिए यही दिनचर्या काम करती है।

छह चरणों में मासिक समीक्षा

  1. महीना सहेजेंतीनों चार्ट, host status और response breakdown का स्क्रीनशॉट लें या नोट बनाएँ।
  2. आधार रेखा से तुलना करेंकिसी बड़े प्रकाशन महीने के बाद कुल crawl requests में बदलाव सामान्य हो सकता है। 5XX का कोई नया हिस्सा हमेशा ध्यान देने लायक है।
  3. क्रम से जाँचेंपहले host status, फिर खराब responses, फिर redirect का हिस्सा।
  4. URL निकालेंहर खराब श्रेणी के लिए, उसी अवधि के लॉग से शीर्ष URL लें।
  5. स्रोत ठीक करेंInternal links, redirect नियम, सर्वर क्षमता, या robots.txt नियम। चार्ट को नहीं।
  6. बदलाव दर्ज करेंहर सुधार की तारीख लिखें, और अगला महीना पढ़ते समय वह तारीख ध्यान में रखें।

इस महीने कार्रवाई योग्य संकेत

  • तीन जाँचों में से किसी पर host status पीला या लाल है
  • 5XX का हिस्सा कई दिनों से लगातार बढ़ रहा है, या एक ही घंटे पर उछलता है
  • किसी साइट बदलाव के बाद redirect responses बढ़ गए, जबकि उसका मकसद उन्हें हटाना था
  • कम प्रकाशन करने वाली साइट पर discovery का हिस्सा लगातार ऊँचा है
  • एक बुरा दिन जिसमें लॉग में कोई बदलाव नहीं, वह तब तक शोर है जब तक वह दोहराए नहीं

माइग्रेशन से पहले और बाद में

मान लीजिए आप 301 redirects के साथ अपना ब्लॉग /old-blog/ से /blog/ पर ले जा रहे हैं। स्थानांतरण के ठीक बाद redirect का हिस्सा बढ़ने की उम्मीद करें, क्योंकि Googlebot अब भी पुराने रास्ते माँगता है। आने वाले हफ़्तों में, जैसे-जैसे Google नए URL सीखता है, यह हिस्सा घटना चाहिए। discovery का हिस्सा भी बढ़ने की उम्मीद करें, क्योंकि नए URL Google के लिए नए हैं। अगर कई हफ़्तों बाद भी redirect का हिस्सा ऊँचा रहे, तो चेन, पुराने internal links, या वे redirects खोजें जो आपने जोड़ना भूल गए। टूटे लिंक ठीक करने पर हमारी गाइड उसी सफ़ाई के links वाले हिस्से को कवर करती है।

आम गलतियाँ, और उनसे कैसे बचें

ज़्यादातर गलतियाँ एक चार्ट को फ़ैसला मानने से आती हैं। नीचे दी गई पाँच में से हर गलती का रिपोर्ट में एक साफ़ संकेत है, और एक सुधार जिसे आप अपने लॉग में जाँच सकते हैं।

कुल crawl requests को स्कोर की तरह पढ़ना

यह क्या है: यह मानना कि ज़्यादा crawl requests का मतलब बेहतर SEO है। कैसे पहचानें: एक release के बाद, जिसने filter या sort विकल्प जोड़े, requests तेज़ी से बढ़ते हैं, और नए URL में parameters होते हैं। कैसे ठीक करें: अपने लॉग में discovery का हिस्सा और URL पैटर्न जाँचें। URL बनाने वाले स्रोत को ठीक करें: parameter वाले URL से लिंक करना बंद करें, या जिनका खोज में कोई मूल्य नहीं, उन्हें canonical करें और block करें। बेकार अनुरोधों की ज़्यादा संख्या लागत है, लाभ नहीं।

सिर्फ़ औसत response time पर भरोसा करना

यह क्या है: औसत को देखना और उन उछालों को न देखना जो वह छिपाता है। कैसे पहचानें: औसत सपाट दिखता है, लेकिन आपके लॉग में हर रात एक ही घंटे पर धीमे responses दिखते हैं। कैसे ठीक करें: लॉग को घंटे और URL के अनुसार समूहित करें, फिर धीमे घंटों की तुलना backups, imports और deployments से करें। धीमा job या धीमा template ठीक करें, फिर औसत दोबारा जाँचें। औसत एक रुझान रेखा है, और रुझान रेखा नहीं बता सकती कि धीमापन कहाँ से शुरू होता है।

पेज ठीक खुलते हों तब भी host status को अनदेखा करना

यह क्या है: यह मानना कि साइट स्वस्थ है क्योंकि वह आपके ब्राउज़र में खुलती है। कैसे पहचानें: host status robots.txt, DNS या कनेक्टिविटी के लिए पीला या लाल दिखाता है, जबकि आपके पेज आपके लिए काम करते हैं। Googlebot अलग नेटवर्क रास्तों से आपकी साइट तक पहुँचता है, और कोई firewall, CDN नियम या DNS record आपके ब्राउज़र को प्रभावित किए बिना उसे रोक सकता है। कैसे ठीक करें: robots.txt checker से पुष्टि करें कि robots.txt फ़ाइल 200 response के साथ लोड होती है, फिर उन तारीखों के firewall और CDN नियम देखें जब status लाल हुआ।

क्रॉलिंग रोकने के बाद गिरावट को प्रगति समझना

यह क्या है: robots.txt में बदलाव जो crawl requests घटाता है, और उसके बाद की रिपोर्ट जो शांत दिखती है। कैसे पहचानें: robots.txt बदलने के दिन कुल requests तेज़ी से गिरते हैं। कैसे ठीक करें: अगर आपने बेकार paths block किए, तो गिरावट सही हो सकती है, लेकिन जाँचें कि ज़रूरी सेक्शन अब भी क्रॉल हो रहे हैं। ज़रूरी सेक्शनों के लिए लॉग देखें। अगर कोई ज़रूरी पेज block है, तो हमारी robots.txt द्वारा block स्थिति की गाइड बताती है कि नियम कैसे ढूँढें और क्या बदलें।

क्रॉलिंग और इंडेक्सिंग को मिलाना

यह क्या है: किसी अच्छी तरह क्रॉल हुए पेज को इंडेक्स हुआ पेज मान लेना। कैसे पहचानें: Googlebot किसी URL के लिए नियमित अनुरोध करता है, लेकिन वह URL Google के नतीजों में नहीं आता। ज़्यादा क्रॉल गिनती यह साबित नहीं करती कि Google पेज रखे हुए है। कैसे ठीक करें: Crawl Stats रिपोर्ट से पेज indexing रिपोर्ट पर जाएँ, और उस URL की स्थिति जाँचें। हमारी गाइड Crawled, currently not indexed कारण समझाती है, और Google indexing की गाइड जाँचों का क्रम बताती है।

गलतीकैसे पहचानेंकैसे ठीक करें
कुल requests को स्कोर माननाURL parameters आने के बाद requests बढ़ते हैंबेकार URL बनाना बंद करें, फिर दोबारा गिनें
सिर्फ़ औसत response timeसपाट औसत के पीछे छिपे धीमे घंटेलॉग को घंटे के हिसाब से समूहित करें, धीमे घंटों को jobs से मिलाएँ
Host status को अनदेखा करनाब्राउज़र में पेज खुलते हैं, फिर भी पीला या लालrobots.txt, DNS, firewall और CDN नियम जाँचें
क्रॉल में गिरावट को प्रगति माननाrobots.txt बदलने के दिन requests गिरते हैंपुष्टि करें कि ज़रूरी सेक्शन अब भी क्रॉल हो रहे हैं
क्रॉलिंग को इंडेक्सिंग समझनानियमित क्रॉल, पर नतीजों में URL नहींURL की indexing स्थिति जाँचें

Sorank कहाँ फ़िट होता है, और अगला कदम क्या है

Sorank का GEO / SEO dashboard आपके Search Console के clicks, impressions, CTR और position को उन विज़िटों के साथ रखता है जो AI assistants आपको भेजते हैं, जिन्हें Google Analytics से पढ़ा जाता है। यह Googlebot के अनुरोध नहीं दिखाता, इसलिए वह काम Crawl Stats रिपोर्ट के लिए रखें। दोनों टूल अलग सवालों के जवाब देते हैं: dashboard बताता है कि Google आपको क्या भेजता है, और Crawl Stats बताता है कि Google आपके सर्वर पर कैसे आता है।

सुझाव

किसी एक पेज पर लॉग में समय लगाने से पहले, मुफ़्त indexability checker से जाँचें कि Google उसे बिल्कुल इंडेक्स कर सकता है या नहीं। यह पहले सवाल का जवाब कुछ ही सेकंड में देता है।

आप क्या देखते हैंपहले यहाँ से शुरू करेंफिर यह खोलें
Host status लाल या पीलाrobots.txt checker, फिर DNS और hosting statusउन्हीं तारीखों के सर्वर लॉग
5XX का हिस्सा बढ़ रहा हैघंटे और URL के अनुसार समूहित आपके लॉगसर्वर क्षमता, या विफल होने वाला template
Redirect का हिस्सा ज़्यादा हैशीर्ष URL पर redirect checkerRedirect चेन और पुराने internal links
बहुत सारे URL मिले, पर कुछ ही index हुएनमूनों पर indexability checkerहमारी log file analysis गाइड

Crawl Stats रिपोर्ट एक अच्छी पहली स्क्रीन है। वह बताती है कि किस तरह की समस्या पर शक करना है और किन तारीखों पर। सुधार लगभग हमेशा URL की एक सूची में होता है, और वह सूची आपके लॉग में है। रिपोर्ट से शुरू करें, फिर URL पर जाएँ।

अक्सर पूछे जाने वाले सवाल

Google Search Console में Crawl Stats रिपोर्ट कहाँ है?

अपनी प्रॉपर्टी खोलें, Settings में जाएँ, Crawl stats चुनें और Open report पर क्लिक करें। यह रिपोर्ट केवल Domain प्रॉपर्टी और रूट-स्तर की URL-prefix प्रॉपर्टी के लिए है, इसलिए सब-फ़ोल्डर प्रॉपर्टी में यह नहीं दिखेगी।

क्या crawl requests की ज़्यादा संख्या अच्छा संकेत है?

अकेले नहीं। कुल संख्या हर अनुरोध गिनती है, जिनमें विफल अनुरोध और robots.txt द्वारा रोके गए प्रयास भी शामिल हैं, इसलिए यह बताती है कि Googlebot कितना आता है, न कि वे विज़िट कितने स्वस्थ हैं। इसे response codes और औसत response time के साथ पढ़ें।

क्या सर्वर लॉग की जगह Crawl Stats पर भरोसा किया जा सकता है?

अकेले नहीं। Google कहता है कि कुछ अनुरोध गिने नहीं जा सकते, और उसके उदाहरण URL पूरी सूची नहीं हैं। रुझानों और विफलता श्रेणियों के लिए रिपोर्ट का उपयोग करें, और सटीक URL के लिए अपने लॉग का।

30 दिनों का अपना कंटेंट प्लान मुफ़्त में पाएँ

हम आपके प्रतिस्पर्धियों, आपकी वेबसाइट और आपकी AI दृश्यता का विश्लेषण करते हैं, ताकि मुफ़्त में आपके लिए एक अनुकूल कंटेंट योजना बनाई जा सके।

हमारे मुफ़्त SEO टूल

हमारे सभी मुफ़्त टूल देखें

30 दिनों का अपना कंटेंट प्लान मुफ़्त में पाएँ

हम आपके प्रतिस्पर्धियों, आपकी वेबसाइट और आपकी AI दृश्यता का विश्लेषण करते हैं, ताकि मुफ़्त में आपके लिए एक अनुकूल कंटेंट योजना बनाई जा सके।

हल्की भूरी शर्ट पहने, गहरे बालों और दाढ़ी वाला एक आदमी पॉडकास्ट या रिकॉर्डिंग सेटअप में माइक्रोफ़ोन के सामने बोल रहा है।सफ़ेद शर्ट और गहरे रंग की जैकेट पहने, छोटे गहरे बालों वाले एक आदमी का पोर्ट्रेट, जो सामान्य भाव के साथ सीधे कैमरे की ओर देख रहा है।छोटे गहरे बाल, दाढ़ी और साफ़ चश्मे वाला एक आदमी, जिसने सफ़ेद गोल लोगो वाली काली टी-शर्ट पहनी है और पत्थर की दीवार के सामने खड़ा है।Celio fabianoलाल टॉप और हार पहने, लंबे भूरे बालों वाली मुस्कुराती युवती, पेड़ों से भरी पृष्ठभूमि में बाहर।Xavier Breull की प्रोफ़ाइल फ़ोटो, Sorank ग्राहक
Google
पारदर्शी पृष्ठभूमि पर ठोस पीला पाँच कोनों वाला स्टार आइकन।पारदर्शी पृष्ठभूमि पर ठोस पीला पाँच कोनों वाला स्टार आइकन।पारदर्शी पृष्ठभूमि पर ठोस पीला पाँच कोनों वाला स्टार आइकन।पारदर्शी पृष्ठभूमि पर ठोस पीला पाँच कोनों वाला स्टार आइकन।पारदर्शी पृष्ठभूमि पर ठोस पीला पाँच कोनों वाला स्टार आइकन।
5/5
+5,000
उपयोगकर्ता

महत्वाकांक्षी संस्थापकों की समीक्षाएँ

5 महीनों में 0 से 10000 विज़िटर

Celio Fabianomonrobotlavevitre.frGoogleई-कॉमर्स

8 महीनों में शून्य से 5000 विज़िट

Thibault BMsorank.comGoogleसॉफ़्टवेयर

4 महीनों में 0 से 1104 क्लिक

Dominiqueflight-sensations-idf.comGoogleमनोरंजन और विमानन

6 महीनों में 0 से 163 क्लिक

Coworking Pariscoworking-paris.frGoogleOffice broker

7 महीनों में x92 क्लिक

Guide Zanzibarguidezanzibar.comGoogleयात्रा