आपकी गोपनीयता हमारे लिए महत्वपूर्ण है, इसलिए आपके पास कुछ प्रकार के स्टोरेज को बंद करने का विकल्प है जो वेबसाइट के बुनियादी कामकाज के लिए ज़रूरी नहीं हो सकते। कुछ श्रेणियों को बंद करने से वेबसाइट पर आपके अनुभव पर असर पड़ सकता है। अधिक जानकारी
Common Crawl एक मुफ़्त, खुला archive है जिसमें 300 अरब से ज़्यादा वेब पेज हैं और जिसका इस्तेमाल AI रिसर्च और मॉडल ट्रेनिंग में होता है। यह कैसे काम करता है, CCBot क्या है, और इसे अनुमति दें या ब्लॉक करें।
टूल
AI से इस लेख का सार देखें
त्वरित क्विज़
आपकी साइट के तकनीकी पहलू कौन ठीक करे?
आपके लिए हमारी सलाह
मुफ़्त Google टूल से खुद जांचें
Search Console उन पेजों की सूची देता है जिन्हें Google पढ़ नहीं पाता, और PageSpeed Insights गति जांचता है। कई छोटी समस्याएं आपके वेबसाइट बिल्डर की सेटिंग से ठीक हो जाती हैं।
आपके लिए हमारी सलाह
एक वेब डेवलपर
आपकी समस्या कोड या सर्वर में है: SEO जानने वाला डेवलपर सही व्यक्ति है। उसे Search Console की गलतियों की सूची दें।
आपके लिए हमारी सलाह
तकनीकी ऑडिट टूल
आपकी साइट पर कई पेज हैं: एक क्रॉलर उन सबको Google की तरह पढ़ता है और हर पेज के हिसाब से ठीक करने वाली गलतियों की पूरी सूची देता है।
आपके लिए हमारी सलाह
स्वचालित ऑडिट, फिर कंटेंट
आपकी साइट चलती है, लेकिन कम विज़िटर लाती है: तकनीकी समस्याएं शायद ही कभी कारण होती हैं। Sorank साइट का ऑडिट करता है, फिर वे पेज लिखता है जो ट्रैफ़िक लाते हैं।
संक्षेप में: Common Crawl एक गैर-लाभकारी संस्था है, जिसकी स्थापना 2007 में हुई। यह वेब को क्रॉल करती है और 300 अरब से ज़्यादा पेजों का मुफ़्त, खुला archive प्रकाशित करती है, जिसमें हर महीने 3 से 5 अरब नए पेज जुड़ते हैं। शोधकर्ता और AI कंपनियाँ इसे ट्रेनिंग डेटा के स्रोत के रूप में इस्तेमाल करती हैं; उदाहरण के लिए, Common Crawl का एक फ़िल्टर्ड संस्करण GPT-3 के ट्रेनिंग मिश्रण का ज़्यादातर हिस्सा था। इसका क्रॉलर CCBot है, जिसे robots.txt में अनुमति दी जा सकती है या ब्लॉक किया जा सकता है। अनुमति देने से आपकी सामग्री भाषा मॉडल के सीखने वाले हिस्से का हिस्सा बन सकती है; ब्लॉक करने से आपके पेज भविष्य के archive से बाहर रहते हैं।
Common Crawl SEO की चर्चाओं में शायद ही आता है, फिर भी यह सार्वजनिक वेब की सामग्री के भाषा मॉडल तक पहुँचने के मुख्य तरीकों में से एक है। GEO पर काम करने वाले ब्रांडों के लिए (AI असिस्टेंट द्वारा सही तरीके से उद्धृत और वर्णित होना), यह समझना कि यह कैसे काम करता है, तय करने में मदद करता है कि क्या अनुमति दें, क्या ब्लॉक करें और खुले वेब पर एक जैसी जानकारी क्यों ज़रूरी है। स्रोत: commoncrawl.org।
Common Crawl, अमेरिकी कर श्रेणी 501(c)(3) वाला एक गैर-लाभकारी संगठन है, जो 2007 से वेब को क्रॉल कर रहा है और अपना डेटा मुफ़्त उपलब्ध कराता है। उसकी वेबसाइट के अनुसार, इस corpus में 15 साल में फैले 300 अरब से ज़्यादा पेज हैं, यह हर महीने 3 से 5 अरब पेज बढ़ता है, और इसे 10,000 से ज़्यादा शोध पत्रों में उद्धृत किया गया है। हर क्रॉल को कच्चे पेज डेटा, मेटाडेटा और निकाले गए टेक्स्ट के रूप में प्रकाशित किया जाता है, जिसे कोई भी डाउनलोड कर सकता है।
| बिंदु | तथ्य |
|---|---|
| स्थिति | गैर-लाभकारी, 2007 में स्थापित |
| Corpus | 15 साल में फैले 300 अरब से ज़्यादा पेज |
| नए पेज | हर महीने 3 से 5 अरब |
| पहुँच | मुफ़्त और खुली |
| क्रॉलर | CCBot |
| शोध में उपयोग | 10,000 से ज़्यादा पेपरों में उद्धृत |
बड़े भाषा मॉडल टेक्स्ट की विशाल मात्रा से सीखते हैं, और Common Crawl सबसे बड़े सार्वजनिक स्रोतों में से एक है। GPT-3 का पेपर, Language Models are Few-Shot Learners (2020), बताता है कि Common Crawl का एक फ़िल्टर्ड संस्करण उसके ट्रेनिंग डेटा का सबसे बड़ा हिस्सा था, जिसका ट्रेनिंग मिश्रण में 60% भार था। बाद के कई मॉडल और खुले डेटासेट भी Common Crawl से बने हैं, आम तौर पर गुणवत्ता और डुप्लिकेट के लिए भारी फ़िल्टरिंग के बाद। इस विषय पर हमारी ग्लॉसरी प्रविष्टियाँ देखें: LLM और AI ट्रेनिंग डेटा।
नोट
ट्रेनिंग डेटा तय करता है कि मॉडल डिफ़ॉल्ट रूप से क्या जानता है, यानी ब्रांडों और तथ्यों की उसकी “याददाश्त”। लाइव वेब सर्च (ChatGPT search, Perplexity, AI Overviews) वाले जवाब इसके बजाय ताज़ा रिट्रीवल पर निर्भर करते हैं। GEO दोनों पर काम करता है: खुले वेब पर अच्छी तरह मौजूद रहना और अभी खोजे जा सकना।
CCBot, Common Crawl का क्रॉलर है। Common Crawl के CCBot पेज के अनुसार, यह अपनी पहचान user agent CCBot/2.0 से देता है, प्रकाशित IP रेंज से चलता है जिनमें reverse DNS होता है ताकि आप असली अनुरोधों की पुष्टि कर सकें, और robots.txt से इसे रोका जा सकता है:
User-agent: CCBotDisallow: /हमारी robots.txt और AI क्रॉलर गाइड CCBot को GPTBot, ClaudeBot, PerplexityBot और Google-Extended के साथ कवर करती है, और AI क्रॉलर की ग्लॉसरी प्रविष्टि उन्हें सूचीबद्ध करती है। मुफ़्त robots.txt चेकर दिखाता है कि आपकी फ़ाइल क्या अनुमति देती है।
| CCBot को अनुमति दें अगर | CCBot को ब्लॉक करें अगर |
|---|---|
| आप चाहते हैं कि भविष्य के AI मॉडलों में आपका ब्रांड, प्रोडक्ट और विशेषज्ञता शामिल हो | आपकी सामग्री ही आपका प्रोडक्ट है (पेड कंटेंट, मालिकाना डेटा) |
| आप मार्केटिंग और शैक्षिक सामग्री छापते हैं जो ज़्यादा से ज़्यादा पढ़ी जाने के लिए है | आपके पास दोबारा इस्तेमाल को सीमित करने के लाइसेंसिंग या कानूनी कारण हैं |
| आप AI जवाबों में GEO और ब्रांड दृश्यता पर काम करते हैं | क्रॉल का बोझ आपके सर्वर के लिए असली समस्या है |
ज़्यादातर व्यवसाय, जिनकी सामग्री मार्केटिंग, दस्तावेज़ीकरण या शिक्षा है, खुले वेब corpus में होने से फ़ायदा उठाते हैं। ऐसे प्रकाशक जिनकी कमाई विशेष सामग्री पर टिकी है, अक्सर इसे ब्लॉक करते हैं। ब्लॉकिंग भविष्य के क्रॉल पर लागू होती है; यह पुराने archive या पहले से ट्रेन हो चुके मॉडलों से पेज नहीं हटाती।
सुझाव
आप चुनिंदा हो सकते हैं: अपने ब्लॉग, गाइड और प्रोडक्ट पेजों पर CCBot को अनुमति दें, और निजी या कम महत्व वाले सेक्शन को Disallow करें। यही तर्क दूसरे AI क्रॉलर पर भी लागू होता है।
सावधान रहें
मार्केटिंग सामग्री को “बचाने” के लिए हर AI क्रॉलर को ब्लॉक करना उल्टा पड़ सकता है: तब असिस्टेंट आपके ब्रांड का वर्णन वही करेंगे जो दूसरी साइटें कहती हैं, जिस पर आपका नियंत्रण कम है।
Common Crawl वह खुला archive है जिससे कई AI मॉडल सीखते हैं; आपकी सार्वजनिक मार्केटिंग सामग्री पर CCBot को अनुमति देने से आपका ब्रांड उस याददाश्त में मौजूद रहता है। इसे ऐसी सामग्री के साथ जोड़ें जिसे लाइव AI सर्च खोज और उद्धृत कर सके (देखें GEO बनाम SEO और LLM SEO)। Sorank, SEO और GEO का सॉफ़्टवेयर जो autopilot पर चलता है, साफ़ और स्रोत वाली सामग्री प्रकाशित करता है और AI मेंशन ट्रैकिंग से देखता है कि ChatGPT, Claude और Gemini आपके ब्रांड का ज़िक्र कैसे करते हैं; Sorank की योजनाएँ देखें, 3 दिन का मुफ़्त ट्रायल है।
OpenAI का GPT-3 पेपर (2020) बताता है कि Common Crawl का एक फ़िल्टर्ड संस्करण उसके ट्रेनिंग डेटा का सबसे बड़ा हिस्सा था। OpenAI अपने नए मॉडलों का पूरा ट्रेनिंग डेटा प्रकाशित नहीं करता, लेकिन Common Crawl भाषा मॉडल ट्रेन करने के लिए सबसे ज़्यादा इस्तेमाल होने वाले सार्वजनिक स्रोतों में से एक बना हुआ है।
नहीं। robots.txt में CCBot को ब्लॉक करने से भविष्य के क्रॉल रुकते हैं, लेकिन यह आपके पेज पहले के Common Crawl archive से या उन पर पहले से ट्रेन हो चुके मॉडलों से नहीं हटाता। लाइव वेब सर्च करने वाले असिस्टेंट अपने अलग क्रॉलर इस्तेमाल करते हैं, जिन्हें आप अलग से नियंत्रित करते हैं।
नहीं। Common Crawl Google से स्वतंत्र है, और CCBot को अनुमति देने या ब्लॉक करने का Google Search पर कोई असर नहीं पड़ता। Google खोज के लिए Googlebot इस्तेमाल करता है और कुछ AI उपयोगों के लिए Google-Extended टोकन।
हम आपके प्रतिस्पर्धियों, आपकी वेबसाइट और आपकी AI दृश्यता का विश्लेषण करते हैं, ताकि मुफ़्त में आपके लिए एक अनुकूल कंटेंट योजना बनाई जा सके।
AI कंटेंट ब्रीफ़ जनरेटर
FAQ स्कीमा जेनरेटर
AI ब्लॉग पोस्ट आइडिया जेनरेटर
Structured Data वैलिडेटर (Schema वैलिडेटर)
Alt टेक्स्ट चेकर
आंतरिक लिंक विश्लेषक
बैकलिंक चुनौती
AI meta description जनरेटर
AI ब्लॉग title जनरेटर
Google इंडेक्सेबिलिटी जाँचक
AI ब्लॉग आउटलाइन जनरेटर
UTM लिंक बिल्डर
कीवर्ड क्लस्टरिंग टूल
Canonical टैग चेकर
XML साइटमैप जेनरेटर
ब्रोकन लिंक चेकर
AI SEO टाइटल जेनरेटर
शीर्षक विश्लेषक
SERP पूर्वावलोकन टूल
रीडायरेक्ट चेकर
Hreflang टैग जेनरेटर
हेडिंग स्ट्रक्चर एनालाइज़र
HTTP Headers Checker
Favicon एक्सट्रैक्टर
SERP CTR कैलकुलेटर
SEO बनाम पेड सर्च बचत कैलकुलेटर
SEO दृश्यता हिस्सेदारी कैलकुलेटर
SEO ROI कैलकुलेटर
SEO Traffic और राजस्व फ़ोरकास्ट कैलकुलेटर
SEO बजट कैलकुलेटर
SEO ब्रेक-ईवन कैलकुलेटर
SaaS SEO ROI कैलकुलेटर
ROAS कैलकुलेटर
पढ़ने के समय का कैलकुलेटर
रैंकिंग लाभ सिम्युलेटर
ऑर्गेनिक ट्रैफ़िक मूल्य कैलकुलेटर
ऑर्गेनिक ट्रैफ़िक अनुमानक और वेबसाइट ट्रैफ़िक चेकर
LTV से CAC अनुपात कैलकुलेटर
लोकल SEO ROI कैलकुलेटर
लिंक बिल्डिंग लागत कैलकुलेटर
कीवर्ड मूल्य कैलकुलेटर
कीवर्ड अवसर स्कोर कैलकुलेटर
कीवर्ड घनत्व कैलकुलेटर
GEO ROI कैलकुलेटर
GEO कंटेंट इन्वेस्टमेंट कैलकुलेटर
ईकॉमर्स SEO ROI कैलकुलेटर
ग्राहक लाइफटाइम वैल्यू कैलकुलेटर
ग्राहक अधिग्रहण लागत कैलकुलेटर
CTR कैलकुलेटर
प्रति लेख लागत कैलकुलेटर
कन्वर्ज़न रेट कैलकुलेटर
कंटेंट मार्केटिंग ROI कैलकुलेटर
ChatGPT रेफ़रल ट्रैफ़िक अनुमानक
बाउंस रेट कैलकुलेटर
बैकलिंक ROI कैलकुलेटर
AI दृश्यता स्कोर कैलकुलेटर
AI ट्रैफ़िक मूल्य कैलकुलेटर
AI share of voice कैलकुलेटर
AI अदृश्यता लागत कैलकुलेटर
AI उद्धरण दर कैलकुलेटर
llms.txt सत्यापक
AI Overview जाँचकर्ता और AI Overviews रैंक जाँचकर्ता
Robots.txt जाँचकर्ता
AI SEO ऑडिट
LLM रीडेबिलिटी चेकर
SearchGPT तैयारी चेकर
स्ट्रक्चर्ड डेटा LLM ऑडिट
वेबसाइट क्रॉलेबिलिटी AI ऑडिट
ChatGPT मेरी वेबसाइट की सिफ़ारिश क्यों नहीं कर रहा है
Gemini रैंकिंग टूल
Perplexity रैंकिंग जाँचक
LLM उद्धरण जाँचक
AEO ऑडिट
GEO ऑडिट
AI खोज दृश्यता परीक्षण
ChatGPT दृश्यता जाँचक
llms.txt जनरेटर
URL एक्सट्रैक्टर
वेबपेज से Markdown
साइटमैप जाँचकर्ता
SERP उतार-चढ़ाव सेंसर
पेज आकार जाँचकर्ता
शब्द गणक
slug जनरेटर
स्कीमा जनरेटर
robots.txt जनरेटर
OG प्रीव्यू
मेटा टैग जनरेटर
इमेज कंप्रेसर
favicon जनरेटर
ऑन-पेज SEO ऑडिट: SEO चेकर और SEO एनालाइज़र
बैकलिंक विश्लेषण टूल
कीवर्ड रिसर्च टूल
डोमेन अथॉरिटी चेकरआपसे पहले लोगों ने Sorank आज़माया है
“मैंने Sorank को एक असली क्लाइंट की साइट पर आज़माया और यह कमाल का है। यह वह सब कुछ करता है जिसके लिए एक एजेंसी आपसे हर महीने $1500 वसूलती है। अब उस क्लाइंट के लिए इसे प्रोडक्शन में डाला जा रहा है।”
Guillaume Guersanguersanguillaume.com“हम एक Ads एजेंसी हैं और हम अपने SEO को एक बार और हमेशा के लिए सही रास्ते पर लाना चाहते थे। Sorank ने हमें हमारी साइट की साफ तस्वीर दी, ऑप्टिमाइज़ेशन को प्राथमिकता देने में मदद की, और हमारे कंटेंट को सही तरीके से व्यवस्थित किया। टूल इस्तेमाल में आसान है, टीम के लिए अच्छी तरह डिज़ाइन किया गया है, और कई प्लेटफ़ॉर्म के बीच भागदौड़ किए बिना ट्रैकिंग को एक जगह रखने के लिए बहुत व्यावहारिक है। नए सिरे से SEO शुरू करने के लिए एक बहुत मज़बूत आधार।”
Gaspard MadouiAds एजेंसी
“मैंने बस Sorank सॉफ़्टवेयर को अपना काम करने दिया, और अब मेरा DR 25 है और मेरा पेज ऊपर रैंक कर रहा है।”
Lucas Flandrefoundertrace.fr“Sorank की बदौलत मैं GEO में विशेषज्ञ बन गई। GEO रैंकिंग मुझे ChatGPT पर क्लाइंट्स को उनकी प्रतियोगियों के मुकाबले उनकी पोज़िशन दिखाने देती है। यह एक असली व्यावसायिक अंतर है।”
Mélanieफ्रीलांस SEO“बेहतरीन सेवा है, हमारी वेबसाइट के लिए अच्छा काम करती है, और यह समझने में मदद करती है कि इसे कैसे सुधारें ताकि Google और दूसरी जगहों पर बेहतर रैंक हो। बधाई, ऐसे ही आगे बढ़ते रहिए। इसकी सिफ़ारिश है।”
Hugo T.E-commerce व्यापारी
