आपकी गोपनीयता हमारे लिए महत्वपूर्ण है, इसलिए आपके पास कुछ प्रकार के स्टोरेज को बंद करने का विकल्प है जो वेबसाइट के बुनियादी कामकाज के लिए ज़रूरी नहीं हो सकते। कुछ श्रेणियों को बंद करने से वेबसाइट पर आपके अनुभव पर असर पड़ सकता है। अधिक जानकारी
Crawl budget वह संख्या है कि किसी दिए गए समय में search engine आपकी साइट पर कितने पेज crawl करेगा। जानें यह कैसे काम करता है, किसे इसकी ज़रूरत है, और 2026 में इसे कैसे optimize करें।
टूल
Sorank के संस्थापक, SEO में 7+ वर्षों का अनुभव, GEO के उत्साही।
Crawl budget बताता है कि search engine आपकी वेबसाइट को कितना crawling ध्यान देता है। Googlebot इंटरनेट के हर पेज को बराबर या लगातार crawl नहीं करता; वह अपने सीमित संसाधन कहाँ लगाए, इसके आर्थिक फ़ैसले लेता है। Crawl budget उन फ़ैसलों का व्यावहारिक नतीजा है, आपके डोमेन के लिए: वे URLs जिन्हें Google एक समय-सीमा में fetch कर सकता है और fetch करना चाहता है।
Google आपके crawl budget का कोई आँकड़ा प्रकाशित नहीं करता, और न ही आपको उसे हाथ से तय करने देता है। इसके बजाय, Google का crawl budget दस्तावेज़ बताता है कि यह दो मूल कारकों से बनता है। उन कारकों को समझना यह प्रभावित करने की कुंजी है कि आपके पेज कितनी अच्छी तरह और कितनी बार crawl होते हैं, खासकर तब, जब 2026 में AI crawlers सर्वर संसाधनों पर नया दबाव डाल रहे हैं।
Crawl capacity limit वह अधिकतम संख्या है जितने एक साथ connections Googlebot आपकी साइट को crawl करने में इस्तेमाल करेगा, साथ ही fetches के बीच का अंतराल। यह आपके सर्वर की सेहत से तय होता है। अगर आपकी साइट तेज़ी से और बिना errors के जवाब देती है, तो Google सीमा बढ़ाता है और ज़्यादा आक्रामक तरीके से crawl करता है। अगर आपका सर्वर धीमा होता है या 5xx errors लौटाता है, तो Google आपको ज़्यादा बोझ से बचाने के लिए पीछे हट जाता है।
Crawl demand यह है कि Google आपके पेज crawl करने के लिए कितना उत्सुक है। यह लोकप्रियता (जिन URLs पर ट्रैफ़िक और links आते हैं), अनुमानित inventory (Google को लगता है कि आपके पास कितने उपयोगी पेज हैं), और पुरानापन (जिन पेजों को Google सोचता है कि उन्हें ताज़ा करने की ज़रूरत है) से बढ़ता है। एक बड़ी, बार-बार अपडेट होने वाली, अधिकारिक साइट ज़्यादा crawl demand पैदा करती है; एक छोटी, स्थिर साइट कम demand पैदा करती है।
आपका असली crawl budget इन दोनों का मेल है। उच्च capacity और कम demand का मतलब अब भी हल्का crawling है, और धीमे सर्वर से रोकी गई उच्च demand का मतलब छूटे हुए पेज। दोनों लीवर मायने रखते हैं, और वे आपके समग्र crawling फ़ुटप्रिंट के साथ काम करते हैं।
ज़्यादातर वेबसाइटों को crawl budget के बारे में बिल्कुल सोचने की ज़रूरत नहीं है। अगर आपके कुछ सौ या कुछ हज़ार पेज हैं और आपका सर्वर ठीक-ठाक तेज़ है, तो Google बिना दिक्कत सब कुछ ज़रूरी crawl कर लेगा। छोटी साइट के लिए crawl budget optimization पर ऊर्जा लगाना आम तौर पर बेकार मेहनत है।
Google अपना मार्गदर्शन स्पष्ट रूप से तीन समूहों के लिए देता है: बड़ी साइटें जिनमें दस लाख या उससे ज़्यादा अनोखे पेज हैं जो कम से कम साप्ताहिक बदलते हैं, मध्यम से बड़ी साइटें जिनमें 10.000 या उससे ज़्यादा अनोखे पेज हैं जो रोज़ बदलते हैं, और कोई भी साइट जिसके URLs का बड़ा हिस्सा Search Console में “Discovered but currently not indexed” दिखाता है। अगर आप इनमें से किसी श्रेणी में आते हैं, तो crawl budget एक असली बाधा बन जाता है, जो सीधे तय करता है कि कौन से पेज इंडेक्स होंगे और वे कितने ताज़ा रहेंगे।
सबसे साफ़ संकेत Google Search Console में मिलता है। Crawl Stats रिपोर्ट खोलें और देखें कि Googlebot रोज़ कितने requests करता है, औसत response time क्या है, और कोई availability errors हैं या नहीं। कम मूल्य वाले URLs पर बहुत सारे requests, या बढ़ता response time, अक्षमता की ओर इशारा करते हैं।
Pages रिपोर्ट में “Discovered but currently not indexed” स्थिति पर नज़र रखें। जब Google को कोई URL मिल जाता है लेकिन उसने उसे crawl नहीं किया, तो आपके ज़रूरी पेज कचरे की कतार के पीछे इंतज़ार कर सकते हैं। Server log analysis सबसे सटीक तरीका है: यह ठीक दिखाता है कि Googlebot कौन से URLs fetch करता है और कितनी बार, और बताता है कि आपका budget असल में कहाँ जाता है, बनाम वह कहाँ जाना चाहिए।
सबसे बड़े नुकसान अनुमानित हैं। Faceted navigation और URL parameters फ़िल्टर और सॉर्ट किए गए पेजों के लगभग अनंत संयोजन बना सकते हैं, और हर एक अनोखा URL है जिसे Googlebot crawl करने की कोशिश कर सकता है। URLs में session IDs भी डुप्लीकेट का वही विस्फोट पैदा करते हैं। इनमें से हर बर्बाद fetch एक ऐसा fetch है जो असली पेज पर खर्च नहीं हुआ।
दूसरे आम नुकसानदेह हैं लंबी redirect chains, soft 404 पेज जो गायब कंटेंट के लिए 200 status लौटाते हैं, कई URLs पर डुप्लीकेट कंटेंट, infinite-scroll या calendar पेज जो अंतहीन links बनाते हैं, और पुराने sitemaps जो मृत URLs की ओर इशारा करते हैं। इनमें से हर एक crawl capacity खपाता है, जो आपके सबसे नए product, लेख या landing page पर और जिन पेजों की आपको परवाह है उनकी बेहतर indexing पर लगना चाहिए था।
पहले उसे ब्लॉक करें जिसे Google को crawl नहीं करना चाहिए। अपनी robots.txt फ़ाइल का उपयोग करके faceted parameters, internal search results, और दूसरे कम मूल्य वाले URL patterns को disallow करें। Google बताता है कि यहाँ सही tool robots.txt है, noindex नहीं: noindex वाले पेज को पढ़ने के लिए भी crawl होना पड़ता है, जिससे budget खर्च होता है, जबकि disallow किए गए path को छोड़ दिया जाता है।
इसके बाद, अपने status codes साफ़ करें। जिन पेजों को आपने स्थायी रूप से हटा दिया है, उनके लिए 404 या 410 लौटाएँ, ताकि Google उन्हें माँगना बंद करे। डुप्लीकेट कंटेंट को canonical tags के पीछे समेटें, और links को सीधे अंतिम URL की ओर इशारा करवाकर redirect chains खत्म करें। हर सुधार उन पेजों के लिए fetches वापस दिलाता है जो उनके हकदार हैं।
आख़िर में, अपने XML sitemap को सच्चे lastmod dates के साथ सटीक रखें, और सर्वर की गति सुधारें ताकि Google आपकी crawl capacity limit बढ़ाए। बाकी सब बराबर हो, तो तेज़ साइट ज़्यादा अच्छी तरह crawl होती है।
अब Googlebot आपके सर्वर का ध्यान पाने के लिए अकेला crawler नहीं है। AI कंपनियाँ अपने bots चलाती हैं, जिनमें OpenAI के GPTBot और OAI-SearchBot, Anthropic के ClaudeBot, और PerplexityBot शामिल हैं, ताकि वे उन जवाबों का कंटेंट इकट्ठा और ताज़ा कर सकें जिनका वे हवाला देते हैं। ये crawlers असली bandwidth और सर्वर संसाधन खर्च करते हैं।
2025 के सर्वर डेटा ने दिखाया कि AI और search crawlers का ट्रैफ़िक तेज़ी से बढ़ रहा था, कई bots सालाना सैकड़ों प्रतिशत की दर से। व्यावहारिक असर यह है कि वही साइट-स्वास्थ्य और दक्षता का काम, जो आपके Google crawl budget की रक्षा करता है, AI crawlers के लिए भी प्रदर्शन की रक्षा करता है। तेज़ सर्वर और साफ़ URL संरचना हर bot की मदद करते हैं, Googlebot से लेकर AI search को चलाने वाले engines तक, ताकि वे अपनी सीमित crawling उन पेजों पर खर्च करें जो fetch करने लायक हैं।
Crawling और indexing अलग-अलग चरण हैं, और उन्हें मिलाने से बेकार मेहनत होती है। Crawl budget तय करता है कि Google किसी URL को fetch करेगा या नहीं, और कितनी बार। Indexing एक अलग फ़ैसला है कि क्या crawl किया गया पेज नतीजों में स्टोर और दिखाने लायक है। कोई पेज crawl हो सकता है और फिर जानबूझकर इंडेक्स न किया जाए, क्योंकि Google ने उसे कम मूल्य का समझा।
यह निदान के लिए मायने रखता है। अगर कोई पेज “Discovered” है लेकिन crawl नहीं हुआ, तो वह crawl budget या discovery की समस्या है, और ऊपर के सुधार लागू होते हैं। अगर कोई पेज “Crawled” है लेकिन इंडेक्स नहीं हुआ, तो समस्या आम तौर पर कंटेंट की गुणवत्ता, पतले कंटेंट, या डुप्लीकेशन की होती है, और crawl optimization उसे कितना भी ठीक करे, फ़र्क नहीं पड़ेगा। कार्य करने से पहले पहचानें कि कौन सा चरण विफल हो रहा है।
Crawl budget optimization आपकी साइट के प्रकार से शुरू होता है, क्योंकि हर प्रकार crawls अपने तरीके से बर्बाद करता है। Google की बड़ी साइटों के लिए गाइड के अनुसार, यह विषय मुख्य रूप से बहुत बड़ी संख्या में पेजों वाली या बहुत बार बदलने वाले पेजों वाली साइटों से जुड़ा है; छोटी साइट के लिए कंटेंट की गुणवत्ता और internal links कहीं ज़्यादा मायने रखते हैं।
| साइट का प्रकार | आम बर्बादी | पहला सुधार |
|---|---|---|
| बड़ा e-commerce स्टोर | फ़िल्टर, सॉर्ट क्रम और parameters जो अनंत URL संयोजन बनाते हैं | सिर्फ़ उपयोगी फ़िल्टर पेज indexable रखें, बाकी को canonical tag से मुख्य category की ओर इंगित करें और उनकी ओर links देना बंद करें |
| समाचार या प्रकाशन साइट | नए लेख बहुत धीरे खोजे जाते हैं | प्रकाशन पर अपडेट होने वाला sitemap सटीक lastmod dates के साथ, और तेज़ सर्वर |
| माइग्रेशन के बाद की साइट | Redirect chains और पुराने URLs जिन पर अब भी links हैं | एकल-hop 301 redirects, और internal links अंतिम URLs पर अपडेट |
| JavaScript-भारी साइट | कंटेंट सिर्फ़ rendering के बाद दिखता है | मुख्य templates का server-side rendering या pre-rendering |
| आंतरिक सर्च या user profiles वाली साइट | हज़ारों पतले, लगभग डुप्लीकेट पेज | robots.txt में internal search results ब्लॉक करें और पतले पेजों को index से बाहर रखें |
किसी भी प्रकार के लिए, वही क्रम अपनाएँ: पहले बर्बादी हटाएँ, फिर ज़रूरी पेजों तक पहुँचना आसान बनाएँ, और कुछ हफ़्तों बाद Crawl Stats रिपोर्ट में असर जाँचें। ज़रूरी पेजों तक पहुँच आसान बनाना ज़्यादातर internal linking का मामला है: कई प्रासंगिक लेखों से जुड़ा पेज, किसी अनाथ पेज की तुलना में तेज़ी से खोजा और दोबारा crawl होता है। Sorank हर बार लेख प्रकाशित होने पर ये links अपने-आप जोड़ता है, जिससे नया कंटेंट साइट के बाकी हिस्सों से जुड़ा रहता है।
Crawl budget वह संख्या है जितने URLs एक search engine एक दिए गए समय में आपकी साइट पर crawl कर सकता है और करना चाहता है, जो crawl capacity limit (आपके सर्वर की सेहत) और crawl demand (आपकी लोकप्रियता, inventory और ताज़गी) से तय होती है। यह 10.000 या उससे ज़्यादा पेजों वाली बड़ी साइटों के लिए और उन सभी साइटों के लिए असली चिंता है जिनमें बहुत सारे “Discovered but not indexed” URLs हैं, और छोटी साइटों के लिए लगभग कोई मुद्दा नहीं है। इसे optimize करने के लिए, कम मूल्य वाले URLs को robots.txt से ब्लॉक करें, status codes और redirect chains ठीक करें, डुप्लीकेट खत्म करें, sitemap सटीक रखें, और सर्वर की गति बढ़ाएँ। 2026 में वही साफ़-सफ़ाई AI crawlers को भी कुशल रखती है। वह crawl waste खोजने के लिए जो आपकी indexing को नुकसान पहुँचा रहा है, Sorank GEO SEO audit चलाएँ।
स्रोत
कोई एक लक्ष्य संख्या नहीं है, और Google न कोई संख्या प्रकाशित करता है, न आपको तय करने देता है। Crawl budget आपके सर्वर की सेहत और Google आपके पेज कितने चाहता है, इसका व्यावहारिक नतीजा है। ज़्यादातर छोटी और मध्यम साइटों के लिए, Google बिना किसी हस्तक्षेप के सब कुछ ज़रूरी crawl कर लेता है, इसलिए पीछा करने लायक कोई संख्या नहीं है। Crawl budget सिर्फ़ दसियों हज़ार URLs पर या जब बहुत सारे पेज “Discovered but currently not indexed” दिखाएँ, तभी असली कारक बनता है।
आप उन दो कारकों के ज़रिए इसे प्रभावित करते हैं जिन्हें Google इस्तेमाल करता है। Crawl capacity बढ़ाएँ: अपने सर्वर को तेज़ और भरोसेमंद बनाकर, क्योंकि जब जवाब तेज़ और बिना errors के हों तो Google ज़्यादा crawl करता है। Crawl demand बढ़ाएँ: उपयोगी कंटेंट छापकर जो links और ट्रैफ़िक कमाए, और पेजों को अपडेट करके ताकि Google उन्हें ताज़ा करने लायक समझे। उतना ही ज़रूरी है कि आपके पास जो budget है उसे बर्बाद करना बंद करें, कम मूल्य वाले URLs ब्लॉक करके और डुप्लीकेट ठीक करके, ताकि जो पेज मायने रखते हैं उनके लिए fetches बचें।
नहीं, ये अलग चरण हैं। Crawl budget तय करता है कि Google किसी URL को fetch करेगा या नहीं, और कितनी बार, जबकि indexing यह बाद का फ़ैसला है कि उस पेज को खोज नतीजों में स्टोर और दिखाना है या नहीं। कोई पेज crawl हो सकता है और फिर इंडेक्स न किया जाए, क्योंकि Google ने उसे कम मूल्य का समझा। यह अंतर निदान के लिए मायने रखता है: “Discovered” लेकिन crawl न हुआ पेज crawl की समस्या है, जबकि “Crawled” लेकिन इंडेक्स न हुआ पेज आम तौर पर कंटेंट की गुणवत्ता की समस्या है।
आपसे पहले लोगों ने Sorank आज़माया है
“मैंने Sorank को एक असली क्लाइंट की साइट पर आज़माया और यह कमाल का है। यह वह सब कुछ करता है जिसके लिए एक एजेंसी आपसे हर महीने $1500 वसूलती है। अब उस क्लाइंट के लिए इसे प्रोडक्शन में डाला जा रहा है।”
Guillaume Guersanguersanguillaume.com“हम एक Ads एजेंसी हैं और हम अपने SEO को एक बार और हमेशा के लिए सही रास्ते पर लाना चाहते थे। Sorank ने हमें हमारी साइट की साफ तस्वीर दी, ऑप्टिमाइज़ेशन को प्राथमिकता देने में मदद की, और हमारे कंटेंट को सही तरीके से व्यवस्थित किया। टूल इस्तेमाल में आसान है, टीम के लिए अच्छी तरह डिज़ाइन किया गया है, और कई प्लेटफ़ॉर्म के बीच भागदौड़ किए बिना ट्रैकिंग को एक जगह रखने के लिए बहुत व्यावहारिक है। नए सिरे से SEO शुरू करने के लिए एक बहुत मज़बूत आधार।”
Gaspard MadouiAds एजेंसी
“मैंने बस Sorank सॉफ़्टवेयर को अपना काम करने दिया, और अब मेरा DR 25 है और मेरा पेज ऊपर रैंक कर रहा है।”
Lucas Flandrefoundertrace.fr“Sorank की बदौलत मैं GEO में विशेषज्ञ बन गई। GEO रैंकिंग मुझे ChatGPT पर क्लाइंट्स को उनकी प्रतियोगियों के मुकाबले उनकी पोज़िशन दिखाने देती है। यह एक असली व्यावसायिक अंतर है।”
Mélanieफ्रीलांस SEO“बेहतरीन सेवा है, हमारी वेबसाइट के लिए अच्छा काम करती है, और यह समझने में मदद करती है कि इसे कैसे सुधारें ताकि Google और दूसरी जगहों पर बेहतर रैंक हो। बधाई, ऐसे ही आगे बढ़ते रहिए। इसकी सिफ़ारिश है।”
Hugo T.E-commerce व्यापारी
