SEO के लिए लॉग फ़ाइल विश्लेषण: सर्वर लॉग पढ़ें और क्रॉल बर्बादी ठीक करें

संक्षेप में: SEO के लिए लॉग फ़ाइल विश्लेषण का मतलब है आपके सर्वर के एक्सेस लॉग को पढ़ना, ताकि यह देखा जा सके कि Googlebot और अन्य बॉट कौन-से URL माँगते हैं, कितनी बार लौटते हैं और उन्हें कौन-से स्टेटस कोड मिलते हैं। लॉग दिखाते हैं कि क्रॉलर आपकी साइट पर वास्तव में क्या करते हैं, न कि आपके SEO टूल क्या अनुमान लगाते हैं। इसे चलाने के लिए 30 दिन के लॉग एक्सपोर्ट करें, केवल वे Googlebot अनुरोध रखें जिन्हें आप सत्यापित कर सकें, URL ग्रुप और स्टेटस कोड के हिसाब से क्रॉल गतिविधि मापें, बर्बादी ठीक करें, और दो से चार हफ़्ते बाद नए एक्सपोर्ट से तुलना करें।

सर्वर लॉग क्या रिकॉर्ड करता है, और यह आपके बाकी डेटा से बेहतर क्यों है

जब भी कोई आपके सर्वर से फ़ाइल माँगता है, सर्वर अपने एक्सेस लॉग में एक लाइन लिखता है। ज़्यादातर सर्वर Apache के "combined" फ़ॉर्मेट के करीब का फ़ॉर्मेट इस्तेमाल करते हैं। Googlebot का अनुरोध कुछ ऐसा दिखता है:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

इसे बाएँ से दाएँ पढ़ें: IP पता, टाइमस्टैम्प, HTTP मेथड और URL, स्टेटस कोड (यहाँ 200), भेजे गए बाइट्स, रेफ़रर और यूज़र एजेंट। हर अनुरोध इसमें दर्ज होता है, उन अनुरोधों समेत जो आपके एनालिटिक्स टूल में कभी पेज व्यू के रूप में नहीं दिखते: इमेज, CSS फ़ाइलें, रीडायरेक्ट और 404 एरर।

आपके बाकी डेटा स्रोतों में से हर एक इसका केवल एक हिस्सा देखता है। Search Console की Crawl Stats रिपोर्ट एकत्रित होती है और केवल Google के क्रॉलर को कवर करती है। एनालिटिक्स टूल केवल उन विज़िटर्स को रिकॉर्ड करते हैं जिनके ब्राउज़र आपकी JavaScript चलाते हैं। Screaming Frog जैसा साइट क्रॉलर वह दिखाता है जो आपके लिंक का पालन करके पहुँचा जा सकता है, और यह वह नहीं है जो Google ने वास्तव में माँगने का चुनाव किया। केवल सर्वर लॉग रिकॉर्ड करता है कि असल में क्या हुआ।

लॉग विश्लेषण क्यों ज़रूरी है: क्रॉल बजट सरल भाषा में

क्रॉल बजट URL का वह समूह है जिसे Google आपकी साइट पर क्रॉल कर सकता है और क्रॉल करना चाहता है। Google इसे दो कारकों से समझाता है। पहला है क्रॉल क्षमता सीमा: Google के क्रॉलर आपके सर्वर को ओवरलोड किए बिना कितने कनेक्शन खुले रख सकते हैं। यह सीमा तब बढ़ती है जब आपकी साइट स्वस्थ रहती है और तब घटती है जब रिस्पॉन्स धीमे होते हैं या 5xx या 429 एरर लौटते हैं। दूसरा है क्रॉल माँग, जो आपकी साइट के आकार, उसकी सामग्री कितनी बार बदलती है, उसकी गुणवत्ता और उसके पेजों की लोकप्रियता पर निर्भर करती है।

Google इस विषय को बड़ी साइटों के लिए एक उन्नत गाइड के रूप में प्रस्तुत करता है। इसकी मोटी सीमाएँ हैं: 10 लाख या अधिक अनूठे पेज वाली साइटें जिनकी सामग्री लगभग हर हफ़्ते बदलती है, और 10000 या अधिक अनूठे पेज वाली साइटें जिनकी सामग्री हर दिन बदलती है। वे साइटें भी दायरे में आती हैं जिनमें कई URL "Discovered - currently not indexed" स्थिति में हैं। छोटी साइटें आमतौर पर एक अद्यतन साइटमैप और Page Indexing रिपोर्ट की नियमित जाँच पर निर्भर रह सकती हैं। इससे लॉग उनके लिए बेकार नहीं हो जाते। जब क्रॉलिंग में कुछ गड़बड़ होती है, तो लॉग ही यह सबसे तेज़ी से दिखाता है कि गड़बड़ी ठीक कहाँ है।

अगर आपकी साइट उस दायरे में है, तो सवाल यह नहीं है कि लॉग पढ़ें या नहीं, बल्कि यह है कि कितनी बार पढ़ें। एक बार का ऑडिट आज की बर्बादी दिखाता है, और मासिक एक्सपोर्ट दिखाता है कि आपके सुधारों ने Googlebot के समय का उपयोग बदला या नहीं। शब्दावली की पृष्ठभूमि के लिए क्रॉल बजट ग्लॉसरी एंट्री बुनियादी बातें समझाती है, और Discovered, currently not indexed गाइड वह स्थिति समझाती है जो आमतौर पर इस तरह की समीक्षा शुरू करती है।

तरीका, चरण दर चरण

नीचे दी गई प्रक्रिया किसी भी सर्वर और किसी भी टूल के साथ काम करती है। बाद के हिस्से हर चरण को विस्तार से समझाते हैं और वे कमांड देते हैं जिन्हें आप आज ही कच्ची लॉग फ़ाइल पर चला सकते हैं।

सही लेयर से लॉग प्राप्त करें

अपने डेवलपर या होस्टिंग प्रदाता से वेब सर्वर (Apache, Nginx या IIS) के कच्चे एक्सेस लॉग माँगें। शुरू करने से पहले तीन बातें जाँचें: लॉग फ़ॉर्मेट, टाइमज़ोन और रिटेंशन अवधि। आपके सेटअप के अनुसार पुराने लॉग कुछ दिनों या हफ़्तों बाद हटाए जा सकते हैं, इसलिए एक्सपोर्ट अभी माँगें, बाद में नहीं।

यह लेयर उतनी ही मायने रखती है जितना लोग सोचते हैं। अगर कोई CDN किसी अनुरोध का जवाब अपनी कैश से देता है, तो आपका ओरिजिन सर्वर उसे कभी नहीं देखता। Googlebot ऐसे URL को क्रॉल कर सकता है जो ओरिजिन लॉग में कभी दिखाई नहीं देता, इसलिए केवल ओरिजिन का एक्सपोर्ट कैश्ड सामग्री पर क्रॉल गतिविधि को कम करके आँकता है। CDN के लॉग भी एक्सपोर्ट करें, और किसी भी कुल पर भरोसा करने से पहले कुछ URL के लिए दोनों स्रोतों की तुलना करें।

कुछ कमांड से Googlebot को फ़िल्टर और गिनें

combined फ़ॉर्मेट के लॉग में स्टेटस कोड 9वाँ फ़ील्ड है और URL पाथ 7वाँ। ये दो कॉलम ज़्यादातर पहले सवालों के जवाब दे देते हैं। यह कमांड स्टेटस कोड के हिसाब से Googlebot अनुरोध गिनता है:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

यह कमांड सबसे ज़्यादा माँगे गए 20 पाथ दिखाता है, क्वेरी स्ट्रिंग हटाकर, ताकि फ़िल्टर के वैरिएंट एक साथ समूहित हों:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

पहला कमांड यूज़र एजेंट का टेक्स्ट पढ़ता है, जिसे कोई भी नकली बना सकता है। अगला हिस्सा पूरा करने तक इसके आउटपुट को उम्मीदवारों की सूची मानें। साथ ही, अगर आपका लॉग कस्टम फ़ॉर्मेट में है, तो फ़ील्ड नंबर बदल जाएँगे, इसलिए कॉलम पर भरोसा करने से पहले एक लाइन खुद देख लें।

Google के वर्णन के अनुसार Googlebot को सत्यापित करें

यह पुष्टि करने का Google का अपना तरीका कि कोई विज़िटर Googlebot है, DNS का उपयोग करता है। अपने लॉग के IP पते पर रिवर्स DNS लुकअप चलाएँ, जाँचें कि होस्टनेम googlebot.com, google.com या googleusercontent.com पर खत्म होता है, फिर उस होस्टनेम पर फ़ॉरवर्ड लुकअप चलाएँ और जाँचें कि वह मूल IP लौटाता है। Google के दस्तावेज़ में यह उदाहरण है, जहाँ 66.249.66.1 का रिवर्स रिज़ॉल्व crawl-66-249-66-1.googlebot.com होता है:

host 66.249.66.1

फ़ॉरवर्ड जाँच दूसरा कमांड है, और उसे वही IP लौटाना चाहिए:

host crawl-66-249-66-1.googlebot.com

अगर आप लाखों लाइनें प्रोसेस करते हैं, तो DNS लुकअप धीमे हो जाते हैं। Google अपने क्रॉलर की IP रेंज की JSON फ़ाइलें भी प्रकाशित करता है, जिसमें Googlebot के लिए common-crawlers.json शामिल है। उन रेंज से मिलान तेज़ है, और आधिकारिक सत्यापन गाइड दोनों तरीकों का वर्णन Googlebot सत्यापन पर Google की गाइड में करता है।

ग्रुप करें, मापें और परिणाम पढ़ें

URL-दर-URL कच्ची गिनती पर काम करना मुश्किल है। पहले URL को टेम्पलेट के हिसाब से ग्रुप करें, क्योंकि कोई सुधार आमतौर पर एक पेज पर नहीं, बल्कि टेम्पलेट पर लागू होता है। फिर हर ग्रुप के लिए चार चीज़ें मापें: आपके व्यवसाय के लिए उसकी अहमियत की तुलना में उसे कितने Googlebot हिट मिलते हैं, स्टेटस कोड का मिश्रण, प्रकाशन के बाद नए पेजों को पहला हिट कितनी जल्दी मिलता है, और क्या हिट उन पेजों पर केंद्रित हैं जिन्हें आप रैंक कराना चाहते हैं।

परिणामों को एक अकेली संख्या के बजाय पैटर्न के रूप में पढ़ें। अगर ज़्यादातर Googlebot हिट फ़िल्टर URL पर जाते हैं और प्रोडक्ट पेजों पर बहुत कम, तो क्रॉल बजट लीक हो रहा है, और समस्या शायद प्रोडक्ट पेजों में नहीं, बल्कि आंतरिक लिंक या पैरामीटर हैंडलिंग में है। अगला हिस्सा उन संकेतों की सूची देता है जिन्हें देखना है।

लॉग में छिपे सात संकेत

एक बार Googlebot की लाइनें सत्यापित और ग्रुप हो जाएँ, तो सात संकेत ज़्यादातर क्रॉल समस्याएँ समझा देते हैं। तालिका वह पैटर्न देती है जिसे देखना है और आम तौर पर लागू होने वाला सुधार। हर सुधार साइट में बदलाव है, इसलिए उसकी पुष्टि अगले एक्सपोर्ट में करें।

संकेत	लॉग क्या दिखाते हैं	क्या करें
क्रॉल बर्बादी	फ़िल्टर, सॉर्ट क्रम, इंटरनल सर्च और सेशन URL पर Googlebot हिट	canonical से समेकित करें, इन URL के आंतरिक लिंक हटाएँ, और जहाँ समेकित न हो सके वहाँ बेकार वैरिएंट को robots.txt में ब्लॉक करें
रीडायरेक्ट	301 या 302 रिस्पॉन्स पर हिट, और दो या अधिक हॉप की चेन	सीधे अंतिम URL से लिंक करें। 301 बनाम 302 गाइड सही रीडायरेक्ट प्रकार चुनने में मदद करती है
एरर	404 या 410 पर बार-बार हिट, और 5xx रिस्पॉन्स में उछाल	जो पेज अब भी मायने रखते हैं उन्हें बहाल या रीडायरेक्ट करें, और सर्वर एरर ठीक करें, क्योंकि 5xx रिस्पॉन्स Google के क्रॉल की मात्रा घटाते हैं
छूटे हुए क्रॉल	महत्वपूर्ण URL जिन पर इस अवधि में कोई Googlebot हिट नहीं	आंतरिक लिंक, साइटमैप एंट्री और robots.txt नियम जाँचें जो क्रॉलर को उनसे दूर रख सकते हैं
डुप्लिकेट	एक ही सामग्री कई URL पर हिट हो रही है, जैसे आख़िरी स्लैश, बड़े अक्षर या पैरामीटर के साथ	एक कैनोनिकल URL चुनें और हर जगह उसी से लिंक करें
पहले क्रॉल तक का समय	प्रकाशन और किसी नए पेज पर पहले Googlebot हिट के बीच का समय	अक्सर क्रॉल होने वाले पेजों से नए पेजों को लिंक करें, और अपना साइटमैप साफ़ रखें
रिस्पॉन्स समय	उन टेम्पलेट पर धीमे रिस्पॉन्स जिन्हें Googlebot सबसे ज़्यादा हिट करता है	पहले इन टेम्पलेट को तेज़ करें, क्योंकि Google कहता है कि धीमे रिस्पॉन्स से वह कम क्रॉल करता है

"छूटे हुए क्रॉल" वाली पंक्ति वह है जिसे लोग अक्सर छोड़ देते हैं, और अक्सर वही सबसे महँगी होती है। जो पेज लॉग में कभी दिखाई नहीं देता, वह सामग्री अच्छी होने पर भी शायद कभी रैंक नहीं करेगा। अगर कोई URL आपके साइटमैप में है पर लॉग में कभी नहीं आता, तो वह पेज शायद केवल ऐसे रास्ते से पहुँचा जा सकता है जिसे क्रॉलर फ़ॉलो नहीं करते। Crawled, currently not indexed गाइड उस दूसरी स्थिति को कवर करती है, जब Googlebot पेज पर जाता है लेकिन फिर भी उसे इंडेक्स नहीं करता।

विश्लेषण चलाने के तीन तरीके, तुलना में

आप लॉग विश्लेषण स्क्रिप्ट, डेस्कटॉप एप्लिकेशन या प्लेटफ़ॉर्म से चला सकते हैं। हर एक अलग मात्रा और अलग टीम के लिए उपयुक्त है। सही विकल्प साइट के आकार से कम और इस पर ज़्यादा निर्भर करता है कि आपको जवाब कितनी बार चाहिए और उसे कौन पढ़ेगा।

कमांड लाइन: grep, awk और Python

सिद्धांत: आप स्क्रिप्ट से कच्ची फ़ाइलें पार्स करते हैं और परिणाम किसी फ़ाइल या स्प्रेडशीट में लिखते हैं। कब उपयोग करें: एक बार की जाँच, छोटी साइटें, या ऐसा डेवलपर जिसे पूरा नियंत्रण चाहिए। फ़ायदे: यह मुफ़्त है, आप हर लाइन देखते हैं, और इसे शेड्यूल्ड जॉब से ऑटोमेट किया जा सकता है। सीमाएँ: इसे लिखने और बनाए रखने में समय लगता है, यह आपकी मशीन जितनी तेज़ चलता है, इसमें चार्ट नहीं होते, और बॉट्स को आपको खुद सत्यापित करना पड़ता है।

उदाहरण: तरीके वाले हिस्से के कमांड, जो हर महीने एक ही एक्सपोर्ट पर चलाए जाएँ, Googlebot का स्टेटस कोड मिश्रण और शीर्ष पाथ देते हैं। एक छोटी Python स्क्रिप्ट यही काम कर सकती है और DNS जाँच भी जोड़ सकती है, जो धीमी है लेकिन ज़्यादा सटीक।

डेस्कटॉप टूल: Screaming Frog Log File Analyser

सिद्धांत: आप कच्चे लॉग को एक डेस्कटॉप प्रोजेक्ट में इम्पोर्ट करते हैं, और टूल बॉट्स को ग्रुप करता है, उनकी पहचान जाँचता है और चार्ट बनाता है। कब उपयोग करें: ऐसा कंसल्टेंट या इन-हाउस एनालिस्ट जो दसियों हज़ार URL वाली साइट पर काम कर रहा हो। फ़ायदे: यह W3C Extended फ़ॉर्मेट में Apache, IIS और Nginx लॉग पढ़ता है, सर्च इंजन बॉट्स को सत्यापित करता है, और बड़े या धीमे पेजों को चिह्नित करता है। सीमाएँ: मुफ़्त संस्करण की सीमा है, और आप कितना डेटा लोड कर सकते हैं यह आपकी हार्ड ड्राइव पर निर्भर करता है।

खरीदने से पहले Screaming Frog का Log File Analyser पेज पढ़ें। उसके साथ चलने वाले क्रॉलर की पूरी जानकारी के लिए हमारी Screaming Frog SEO Spider गाइड देखें। लॉग एनालाइज़र एक ऐसा काम करता है जो क्रॉलर नहीं कर सकता: वह दिखाता है कि बॉट्स ने असल दुनिया में क्या माँगा, न कि आपके लिंक क्या संकेत देते हैं।

प्लेटफ़ॉर्म: लगातार लॉग मॉनिटरिंग

सिद्धांत: प्लेटफ़ॉर्म शेड्यूल पर आपके लॉग प्राप्त करता है, अक्सर CDN या सर्वर से, और उन्हें आपकी साइट के क्रॉल और इंडेक्सिंग डेटा के साथ जोड़ता है। कब उपयोग करें: बड़ी ईकॉमर्स साइटें या एंटरप्राइज़ टीमें जो कई बाज़ारों में हर हफ़्ते क्रॉलिंग मॉनिटर करती हैं। फ़ायदे: यह बहुत बड़े लॉग तक स्केल करता है, इतिहास रखता है, और कई टीमों को डैशबोर्ड साझा करने देता है। सीमाएँ: यह ज़्यादा महँगा है, ऑनबोर्डिंग में समय लगता है, और वेंडर-लॉक-इन असली है, इसलिए प्रतिबद्ध होने से पहले जाँचें कि आप अपना डेटा कैसे एक्सपोर्ट कर सकते हैं। इस श्रेणी के वेंडरों में Oncrawl और Botify शामिल हैं, और हर एक से पूछना उपयोगी है कि वह बॉट्स को कैसे सत्यापित करता है।

मानदंड	कमांड लाइन	डेस्कटॉप टूल	प्लेटफ़ॉर्म
लागत	मुफ़्त	1000 लॉग इवेंट तक मुफ़्त, पूरे लाइसेंस के लिए सालाना £99	सब्सक्रिप्शन, कीमत मात्रा पर निर्भर
सेटअप	आप स्क्रिप्ट लिखते और बनाए रखते हैं	इंस्टॉल, इम्पोर्ट, शुरू	कनेक्टर और ऑनबोर्डिंग
मात्रा	आपकी मशीन तक सीमित	हार्ड ड्राइव और लाइसेंस तक सीमित	बहुत बड़े लॉग के लिए बना
बॉट सत्यापन	मैन्युअल, DNS या IP रेंज जाँच के साथ	अंतर्निहित	वेंडर से पूछें
किसके लिए सबसे अच्छा	एक बार की जाँच और छोटी साइटें	कंसल्टेंट और मध्यम आकार की साइटें	साप्ताहिक मॉनिटरिंग वाली एंटरप्राइज़ और ईकॉमर्स टीमें

Google की Crawl Stats रिपोर्ट: उपयोगी, पर काफ़ी नहीं

कोई भी लॉग एक्सपोर्ट करने से पहले Search Console में Crawl Stats रिपोर्ट खोलें। यह कुल क्रॉल अनुरोध, कुल डाउनलोड आकार, औसत रिस्पॉन्स समय, प्रकार के हिसाब से ग्रुप किए गए रिस्पॉन्स, फ़ाइल प्रकार, क्रॉल का उद्देश्य और हर अनुरोध करने वाले Googlebot का प्रकार दिखाती है। ट्रेंड जाँचने के लिए यह आपके पास सबसे तेज़ दृश्य है, और Google Search Console ट्यूटोरियल समझाता है कि इसे कहाँ ढूँढें।

इसकी सीमाएँ बताती हैं कि लॉग अब भी क्यों मायने रखते हैं। यह रिपोर्ट केवल डोमेन प्रॉपर्टी और रूट-स्तर URL-prefix प्रॉपर्टी के लिए उपलब्ध है। यह केवल Google के क्रॉलर को कवर करती है, इसलिए GPTBot, ClaudeBot और अन्य बॉट इसमें नहीं हैं। यह हर URL की सूची देने के बजाय डेटा ग्रुप करती है, इसलिए यह बता सकती है कि क्रॉल अनुरोध गिरे, पर यह नहीं बताती कि किन टेम्पलेट ने वे खोए। इसका उपयोग यह पहचानने के लिए करें कि कुछ बदला है, फिर यह जानने के लिए लॉग का उपयोग करें कि क्या बदला।

Google की Crawl Stats सहायता पेज हर ग्रुपिंग का वर्णन करता है। जब चार्ट और आपका लॉग एक्सपोर्ट असहमत हों, तो समय-सीमा और सत्यापन चरण जाँचने से पहले किसी पर भरोसा न करें। इन असहमतियों में से ज़्यादातर अलग समय-सीमा, कैश से जवाब देने वाले CDN, या ऐसी बॉट गिनती से आती हैं जिसमें असत्यापित अनुरोध शामिल हैं।

क्रॉल बर्बादी दिखने पर उसे ठीक करना

सुधार संकेतों से निकलते हैं। उनमें से ज़्यादातर तीन कदमों पर आते हैं: उन पेजों पर क्रॉलर भेजना बंद करें जो मायने नहीं रखते, जब कोई पेज चला गया हो तो क्रॉलर को सीधे अंतिम URL पर भेजें, और जो पेज मायने रखते हैं उन्हें लोड होने में तेज़ बनाएँ।

फ़ेसेटेड नेविगेशन। फ़िल्टर और सॉर्ट क्रम लगभग एक जैसी सामग्री वाले कई URL बनाते हैं। जहाँ संभव हो उन्हें canonical से समेकित करें, और उन वैरिएंट के आंतरिक लिंक हटाएँ जिनका खोज में कोई मूल्य नहीं है। जहाँ वैरिएंट को समेकित नहीं किया जा सकता और उसे क्रॉल से बाहर रहना है, वहाँ उसे robots.txt में ब्लॉक करें। यहाँ Google का मार्गदर्शन स्पष्ट है: इसके लिए noindex का उपयोग न करें, क्योंकि Google को टैग देखने से पहले अब भी पेज माँगना पड़ता है। यह उस प्रकार का नियम है जिसे जाँचना चाहिए:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

robots.txt के बदलाव में संतुलन रखें। Google कहता है कि URL ब्लॉक करने से आपके बाकी पेजों के लिए क्रॉल बजट मुक्त नहीं होता, जब तक साइट पहले से अपनी क्षमता सीमा तक न पहुँच रही हो। ब्लॉकिंग उन URL के लिए है जिनका कोई मूल्य नहीं, न कि बजट को अपने सर्वोत्तम पेजों की ओर धकेलने के लिए। हमारी robots.txt ग्लॉसरी एंट्री समझाती है कि फ़ाइल कैसे पढ़ी जाती है।

रीडायरेक्ट चेन। जब कोई पेज दो बार स्थानांतरित हुआ हो, तो क्रॉलर हर बार दोनों रीडायरेक्ट से गुज़रता है। आंतरिक लिंक को अंतिम URL की ओर इशारा करने के लिए अपडेट करें, फिर बाहरी लिंक के लिए पुराने रीडायरेक्ट रहने दें। स्थायी और अस्थायी रीडायरेक्ट के बीच चुनाव भी उसी कारण से मायने रखता है, और 301 बनाम 302 गाइड इसे विस्तार से समझाती है।

हटाए गए पेज। जो पेज स्थायी रूप से हटा दिए गए हैं, उनके लिए 404 या 410 लौटाएँ। Google कहता है कि soft 404 लगातार क्रॉल होते रहते हैं और क्रॉल बजट बर्बाद करते हैं, इसलिए 200 स्टेटस के साथ दिया गया "पेज नहीं मिला" संदेश असली 404 से भी बुरा है।

रिस्पॉन्स समय और कैशिंग। Google कहता है कि धीमे या असफल रिस्पॉन्स उसे कम क्रॉल करने पर मजबूर करते हैं। 304 (Not Modified) रिस्पॉन्स का समर्थन करें, ताकि अपरिवर्तित पेज कैश से दिए जा सकें। फिर उन टेम्पलेट को देखें जिन्हें सबसे ज़्यादा Googlebot हिट मिलते हैं, और उनके रिस्पॉन्स पहले तेज़ करें।

सबसे ज़्यादा नुकसान करने वाली गलतियाँ, और उनसे कैसे बचें

जो लॉग विश्लेषण गलत हो जाते हैं, उनमें से ज़्यादातर गलतियों के एक छोटे समूह में से कोई एक करते हैं। नीचे हर गलती का एक लक्षण है जिसे आप डेटा में पहचान सकते हैं, और एक सुधार है जिसे आप उसी हफ़्ते लागू कर सकते हैं।

यूज़र एजेंट स्ट्रिंग पर भरोसा करना

यह क्या है: हर उस अनुरोध को Google का क्रॉल गिनना जो खुद को "Googlebot" बताता है। इसे कैसे पहचानें: ऐसे IP पतों से Googlebot हिट जो Google के होस्टनेम पर रिवर्स रिज़ॉल्व नहीं होते, या किसी एक पते से अचानक उछाल। इसे कैसे ठीक करें: कुछ भी गिनने से पहले तरीके वाले हिस्से का सत्यापन चलाएँ, और असत्यापित हिट को अलग श्रेणी में रखें, ताकि स्क्रैपर गतिविधि भी दिखती रहे।

केवल 200 रिस्पॉन्स पढ़ना

यह क्या है: 200 लौटाने वाले पेजों पर ध्यान देना और बाकी को अनदेखा करना। इसे कैसे पहचानें: आपकी रिपोर्ट में कोई 3xx, 4xx या 5xx सेक्शन नहीं है, या स्टेटस कोड मिश्रण पर कभी चर्चा नहीं होती। इसे कैसे ठीक करें: हमेशा स्टेटस कोड वितरण से शुरू करें। 404 हिट में वृद्धि टूटे आंतरिक लिंक को उजागर कर सकती है, और 5xx हिट में वृद्धि सर्वर की ऐसी समस्या को, जो पूरे क्रॉल को धीमा करती है।

ऐसा पेज ब्लॉक करना जिसे इंडेक्स से हटाना है

यह क्या है: उस पेज पर robots.txt नियम जोड़ना जिस पर noindex टैग भी है। इसे कैसे पहचानें: पेज इंडेक्स में बना रहता है, और लॉग में कोई Googlebot हिट नहीं दिखता, क्योंकि क्रॉलर को उसे माँगने से ब्लॉक किया गया है। इसे कैसे ठीक करें: ब्लॉक हटाएँ ताकि Google noindex टैग पढ़ सके, पेज के इंडेक्स से बाहर होने का इंतज़ार करें, और अगर अब भी ज़रूरत हो तो ब्लॉक वापस लगाएँ। Blocked by robots.txt गाइड उस Search Console स्थिति को समझाती है जो इस मामले में दिखती है।

अलग-अलग लंबाई की समय-सीमाओं की तुलना

यह क्या है: सुधार से पहले के 3 दिन के एक्सपोर्ट की तुलना सुधार के बाद के 30 दिन के एक्सपोर्ट से करना। इसे कैसे पहचानें: कुल संख्याएँ बहुत हिलती हैं, लेकिन हर टेम्पलेट का हिस्सा नहीं हिलता। इसे कैसे ठीक करें: जहाँ संभव हो, एक ही दिनों की संख्या और साल के एक ही समय की तुलना करें, और जब मात्रा बदले तो कच्चे कुल के बजाय हिस्सों की तुलना करें।

मूल्य के बजाय हिट मापना

यह क्या है: यह जाँचे बिना Googlebot हिट बढ़ने का जश्न मनाना कि क्या वे इंडेक्स होने वाले पेजों तक पहुँचते हैं। इसे कैसे पहचानें: हिट उन URL पर केंद्रित हैं जो इंडेक्स नहीं हैं या कभी ट्रैफ़िक नहीं लाते। इसे कैसे ठीक करें: अपने लॉग ग्रुप को Search Console के URL Inspection टूल से मिली इंडेक्सिंग स्थिति के साथ जोड़ें, और किसी सुधार को तभी जीत मानें जब क्रॉल उन पेजों की ओर बढ़े जो मायने रखते हैं।

उन्हीं लॉग में AI बॉट्स कहाँ आते हैं

वही लॉग दिखाते हैं कि AI क्रॉलर आपकी साइट पर क्या करते हैं, और तरीका वही है: उन्हें ग्रुप करें, जहाँ वेंडर सत्यापन का तरीका देता है वहाँ सत्यापित करें, और स्टेटस कोड पढ़ें। AI क्रॉलर लॉग गाइड बताती है कि कौन से बॉट देखने हैं और वे Googlebot से कैसे अलग हैं। यह लेख Googlebot के तरीके को गहराई से कवर करता है, और नीचे का हिस्सा दिखाता है कि दोनों को एक रिपोर्ट में कैसे मिलाएँ।

बॉट प्रकार	उदाहरण	लॉग में क्या जाँचें	और कहाँ पढ़ें
सर्च क्रॉलर	Googlebot	टेम्पलेट के हिसाब से हिट, स्टेटस कोड मिश्रण, नए पेजों के पहले क्रॉल तक का समय	इस लेख के ऊपर के हिस्से
ट्रेनिंग क्रॉलर	GPTBot, ClaudeBot, CCBot	क्या वे आपकी सामग्री माँगते भी हैं, और क्या वे robots.txt का सम्मान करते हैं	AI क्रॉलर के लिए Robots.txt
रिट्रीवल क्रॉलर	ChatGPT-User, PerplexityBot	उपयोगकर्ता के सवालों से जुड़ी छोटी विज़िट की बौछारें, और वे बौछारें जिन पेजों तक पहुँचती हैं	AI क्रॉलर लॉग

ट्रेनिंग और रिट्रीवल का अंतर इस बात से आता है कि AI क्रॉलर को कैसे दस्तावेज़ित किया गया है। ट्रेनिंग क्रॉलर मॉडल के लिए सामग्री इकट्ठा करते हैं, और रिट्रीवल क्रॉलर तब पेज लाते हैं जब कोई उपयोगकर्ता सवाल पूछता है। आपकी रिपोर्ट को इन दोनों को अलग रखना चाहिए, क्योंकि एक के लिए नीति का फ़ैसला दूसरे पर अपने आप लागू नहीं होता।

अगर आप इन सुधारों को लागू करते समय Google ट्रैफ़िक और AI ट्रैफ़िक को साथ-साथ देखना चाहते हैं, तो Sorank का GEO / SEO डैशबोर्ड दोनों को एक ही दृश्य में दिखाता है। यह जाँचने के लिए उसका उपयोग करें कि लॉग से लिए गए बदलाव केवल क्रॉल गिनती नहीं, बल्कि ट्रैफ़िक भी बदलते हैं या नहीं।