Screaming Frog SEO Spider: इसे कैसे सेट करें और पूरा ऑडिट कैसे चलाएँ

संक्षेप में: Screaming Frog SEO Spider एक डेस्कटॉप क्रॉलर है जो किसी साइट के हर URL पर वैसे ही जाता है जैसे सर्च इंजन का बॉट जाता है, फिर स्टेटस कोड, टाइटल, meta descriptions, हेडिंग, canonical, डायरेक्टिव, रीडायरेक्ट और लिंक को सॉर्ट होने वाली टेबल में सूचीबद्ध करता है। मुफ़्त संस्करण 500 URL तक क्रॉल करता है; सालाना लाइसेंस (€245 या £199 प्रति उपयोगकर्ता, अक्टूबर 2026 में जाँचा गया) सीमा हटाता है और उन्नत फ़ीचर खोलता है। तकनीकी SEO ऑडिट के लिए यह मानक टूल है: यह समस्याएँ ढूँढता है, और उन्हें आप अपने CMS में ठीक करते हैं।

Screaming Frog SEO Spider Windows, macOS और Linux पर चलता है और आपके कंप्यूटर से काम करता है, इसलिए इसकी गति आपकी मशीन की मेमोरी पर निर्भर है। वेंडर की यूज़र गाइड हर सेटिंग का दस्तावेज़ है। यह गाइड उन बातों को समझाती है जो पहले उपयोगी ऑडिट के लिए मायने रखती हैं।

Screaming Frog SEO Spider क्या करता है?

यह एक URL से शुरू करता है, मिले हर लिंक को फ़ॉलो करता है, और दर्ज करता है कि हर पेज पर बॉट क्या देखता है। इस प्रक्रिया को क्रॉलिंग कहते हैं। हर URL के लिए आपको मिलता है:

• HTTP स्टेटस कोड (200, 301, 404, 500...) और रिस्पॉन्स टाइम;
• टाइटल टैग, meta description, H1 और H2, उनकी लंबाई के साथ;
• canonical टैग, meta robots और X-Robots-Tag डायरेक्टिव, hreflang;
• अंदरूनी और बाहरी लिंक, एंकर, क्रॉल गहराई;
• इमेज, उनका साइज़ और alt टेक्स्ट;
• structured data, शब्द संख्या और पेज साइज़।

असली फ़ायदा बड़े पैमाने के दृश्य में है: 10'000 पेज, समस्या के हिसाब से सॉर्ट किए हुए, कुछ मिनटों में, जबकि हाथ से जाँच में हफ़्ते लगते।

मुफ़्त संस्करण या पेड लाइसेंस: आपको कौन-सा चाहिए?

छोटी साइट या किसी सेक्शन की त्वरित जाँच के लिए मुफ़्त संस्करण काफ़ी है। जैसे ही कोई साइट 500 URL पार करती है, या आपको JavaScript रेंडर करना हो, या समय के साथ निगरानी करनी हो, लाइसेंस अपना खर्च निकाल देता है।

पहले क्रॉल से पहले कौन-सी सेटिंग बदलें?

1. क्रॉल मोड चुनें

Spider mode एक शुरुआती URL से क्रॉल करता है। List mode केवल वे URL क्रॉल करता है जो आप चिपकाते या अपलोड करते हैं; यह sitemap, माइग्रेशन से पहले पुराने URL की सूची, या बैकलिंक लक्ष्यों के सेट की जाँच के लिए उपयोगी है।

2. डेटाबेस स्टोरेज इस्तेमाल करें

सेटिंग्स में मेमोरी से डेटाबेस स्टोरेज पर जाएँ, जो SSD पर हो। इससे बड़े क्रॉल संभव होते हैं और वे अपने आप सेव हो जाते हैं।

3. अगर साइट को ज़रूरत हो तो JavaScript रेंडरिंग चालू करें

अगर कंटेंट या लिंक JavaScript से डाले जाते हैं (React, Vue, कुछ Shopify या Webflow थीम), तो रेंडरिंग को JavaScript पर सेट करें। तब टूल Google के रेंडरर जैसा headless Chromium ब्राउज़र इस्तेमाल करता है। रॉ HTML और रेंडर किए गए HTML की तुलना करें, ताकि वह कंटेंट पहचान सकें जो केवल रेंडरिंग के बाद मौजूद है।

4. APIs जोड़ें

Google Search Console, GA4 और PageSpeed Insights कनेक्ट करें। तब हर URL के साथ क्लिक, इंप्रेशन और Core Web Vitals दिखते हैं, और जो URL उन स्रोतों में मिलते हैं पर क्रॉल में नहीं, वे ऑर्फ़न पेज उजागर करते हैं।

5. कस्टम एक्सट्रैक्शन सेट करें

XPath, CSS सेलेक्टर या regex से कोई भी एलिमेंट निकालें: प्रकाशन की तारीख़, लेखक, कीमत, स्टॉक स्थिति, schema का प्रकार। बड़े पैमाने पर टेम्पलेट ऑडिट के लिए उपयोगी।

6. सर्वर का ध्यान रखें

कमज़ोर होस्टिंग पर गति (threads या URL प्रति सेकंड) घटाएँ, और यूज़र एजेंट को केवल तभी Googlebot पर सेट करें जब साइट अज्ञात बॉट को ब्लॉक न करती हो।

ज़रूरी ऑडिट चरण दर चरण कैसे चलाएँ?

Google समझाता है कि वह HTTP स्टेटस कोड और canonical URL को कैसे लेता है: रीडायरेक्ट या समेकन तय करने से पहले दोनों पढ़ लें।

नतीजे कैसे एक्सपोर्ट और साझा करें?

हर टैब CSV, Excel या Google Sheets में एक्सपोर्ट होता है। संयुक्त डेटा (4xx पेजों के सभी इनलिंक, बिना alt टेक्स्ट वाली सारी इमेज) के लिए Bulk Export इस्तेमाल करें, और रीडायरेक्ट शृंखलाओं या canonical त्रुटियों के लिए Reports मेनू। किसी क्लाइंट या डेवलपर के लिए, केवल फ़िल्टर की गई समस्याओं की सूची निर्यात करें, पेज URL और समस्या के स्रोत के साथ: 40 टूटे लिंक उनके स्रोत पेजों सहित ठीक हो जाते हैं, 10'000 पंक्तियों की फ़ाइल नहीं। लाइसेंस के साथ साप्ताहिक क्रॉल शेड्यूल करें, और हर रिलीज़ के बाद क्या बदला यह देखने के लिए क्रॉल तुलना इस्तेमाल करें।

क्रॉल SEO और AI विज़िबिलिटी में कैसे मदद करता है?

एक क्रॉलर आपकी साइट वैसे देखता है जैसे Googlebot, Bingbot और AI क्रॉलर (GPTBot, ClaudeBot, PerplexityBot) देखते हैं। जो पेज वे पहुँच नहीं सकते, जो त्रुटि लौटाता है, या जो सात क्लिक गहराई पर बैठा है, वह crawl budget बर्बाद करता है और Google द्वारा इंडेक्स होने या ChatGPT और Perplexity द्वारा प्राप्त होने की कम संभावना रखता है। एक साफ़ क्रॉल (200 स्टेटस कोड, एक canonical, उथली गहराई, असली अंदरूनी लिंक) किसी भी तकनीकी SEO ऑडिट का आधार है, कंटेंट और लिंक से पहले।

एक-एक पेज के लिए आपको हमेशा क्रॉलर की ज़रूरत नहीं: मुफ़्त ऑन-पेज SEO ऑडिट और मुफ़्त Sorank Chrome एक्सटेंशन आपके देखे जा रहे पेज की सुधार सलाह कुछ सेकंड में दिखाते हैं।

Screaming Frog SEO Spider पूरी साइट की तकनीकी समस्याएँ मिनटों में ढूँढता है; ट्रैफ़िक लाने वाला काम तब शुरू होता है जब आप उन्हें असर के क्रम में ठीक करते हैं। आधार साफ़ होने के बाद, Sorank ऑप्टिमाइज़्ड, अंदरूनी लिंक वाले लेख autopilot पर प्रकाशित करता है, ताकि साइट बढ़ती रहे, Google पर और AI में।