Known Agents, Dark Visitors का नया नाम है। यह एक ऐसा टूल है जो AI क्रॉलर्स की सार्वजनिक सूची के रूप में शुरू हुआ था और robots.txt के ज़रिए उन्हें ब्लॉक करने का तरीका देता था। Bit Flip LLC द्वारा प्रकाशित, अब यह खुद को AI एजेंट्स और बॉट्स को ट्रैक करने, नियंत्रित करने और उनके लिए ऑप्टिमाइज़ करने का toolkit बताता है, और कहता है कि इसका उपयोग 5,000 से ज़्यादा वेबसाइटें करती हैं। इसका आधार सीधा है: वेब ट्रैफ़िक का एक बड़ा हिस्सा अब इंसानों का नहीं रहा, और साइट के मालिक शायद ही देख पाते हैं कि कौन से बॉट उनके पेज पढ़ते हैं, उनके कंटेंट पर ट्रेनिंग करते हैं या उपयोगकर्ताओं की ओर से काम करते हैं।
यह प्रोडक्ट उन प्रकाशकों को लक्षित करता है जो AI ट्रेनिंग स्क्रेपर्स से चिंतित हैं, ई-कॉमर्स और ट्रैवल साइटों को, जिनके प्रोडक्ट और उपलब्धता अब AI एजेंट्स पढ़ते हैं, मार्केटप्लेस को, और टेक कंपनियों को, जिनके डॉक्स AI कोडिंग एजेंट्स इस्तेमाल करते हैं। हाल की जोड़ों में The Agentic Web Index शामिल है, जो 5,000+ वेबसाइटों पर बॉट गतिविधि का सार्वजनिक दृश्य देता है, साथ ही AI चैट रेफ़रल ट्रैकिंग और प्रोजेक्ट रिपोर्ट के लिए MCP एक्सेस। Known Agents मापता है कि AI सिस्टम किसी साइट पर कैसे आते हैं और वहाँ ट्रैफ़िक कैसे भेजते हैं; यह नहीं ट्रैक करता कि AI जवाबों में ब्रांड का वर्णन कैसे होता है।
Known Agents क्या करता है
Known Agents आपकी वेबसाइट से एक प्लेटफ़ॉर्म कनेक्टर, WordPress प्लगइन या बैकएंड कोड से API कॉल के ज़रिए जुड़ता है। अक्टूबर 2026 में इसकी वेबसाइट पर दिखने वाले फ़ीचर इस प्रकार हैं:
- Agent Analytics: क्रॉलर्स, स्क्रेपर्स और AI एजेंट्स की वास्तविक समय विज़िट, पेज और श्रेणी के अनुसार (AI सहायक, AI सर्च क्रॉलर्स, AI डेटा स्क्रेपर्स, कोडिंग एजेंट्स, SEO क्रॉलर्स, सर्च इंजन क्रॉलर्स और अन्य)।
- Agent Directory: 2,000 से ज़्यादा ज्ञात बॉट और एजेंट्स की सूची।
- AI Chat Referral Tracking: वे मानव विज़िट जो ChatGPT, Claude, Gemini, Copilot, Perplexity, Meta AI, DeepSeek, Mistral और अन्य AI चैट से आती हैं।
- Automatic Robots.txt: एक पूर्ण-कवरेज फ़ाइल, जो नए बॉट मिलने पर अपडेट होती है।
- WordPress पर नियम लागू करना, ताकि वे एजेंट्स ब्लॉक हों जो robots.txt नियमों को नज़रअंदाज़ करते हैं।
- Agent Identification API, जिससे जाँचा जा सके कि कौन सा एजेंट अनुरोध भेज रहा है और अपने कोड से एक्सेस नीतियाँ लागू हों, साथ ही कस्टम डैशबोर्ड के लिए Reporting API।
- रिपोर्ट के लिए MCP एक्सेस, ताकि AI सहायक प्रोजेक्ट रिपोर्ट, CSV एक्सपोर्ट और टीम के सदस्यों से जुड़ सकें।
- The Agentic Web Index, सेटअप गाइड और एक मुफ़्त AI Bot Robots.txt Checker।
Known Agents की कीमतें 2026 में
Known Agents सेल्फ़-सर्विस है और अमेरिकी डॉलर में मासिक बिल करता है, कीमतें अक्टूबर 2026 में जाँची गईं। Free प्लान की कीमत $0 है और इसमें 1 प्रोजेक्ट, प्रति माह 100K इवेंट और बुनियादी फ़ीचर शामिल हैं, जो कंपनी के अनुसार ज़्यादातर वेबसाइटों के लिए काफ़ी है। Startup की कीमत $29 प्रति माह है, जिसमें 3 प्रोजेक्ट, 1M इवेंट और प्रीमियम फ़ीचर हैं। Growth की कीमत $299 प्रति माह है, जिसमें 10 प्रोजेक्ट, 10M इवेंट और प्रीमियम फ़ीचर हैं। Enterprise की कीमत कोटेशन पर तय होती है, जिसमें असीमित प्रोजेक्ट, उपयोग के आधार पर इवेंट, कस्टम फ़ीचर और API, और समर्पित लाइव सपोर्ट शामिल हैं।
इवेंट का मतलब है एक API कॉल, जैसे एक ट्रैक की गई विज़िट। वार्षिक कीमत नहीं दिखाई गई है, और एक रेफ़रल प्रोग्राम उपलब्ध है।
Known Agents के फ़ायदे और कमियाँ
फ़ायदे
- एक मुफ़्त प्लान जो ज़्यादातर अकेली वेबसाइटों को कवर करता है।
- पहचाने गए बॉट्स और AI एजेंट्स की बड़ी डायरेक्टरी, जो साफ़ श्रेणियों में बँटी है।
- एक ही दृश्य में कई AI चैट प्लेटफ़ॉर्म से रेफ़रल ट्रैकिंग।
- स्वचालित robots.txt, और WordPress पर उन एजेंट्स को ब्लॉक करना जो उसे नज़रअंदाज़ करते हैं।
- डेवलपर APIs, MCP एक्सेस और एक सार्वजनिक डेटा इंडेक्स।
कमियाँ
- AI जवाबों के भीतर ब्रांड के ज़िक्र या उद्धरणों का कोई ट्रैकिंग नहीं।
- कोई SEO फ़ीचर नहीं: कोई ऑडिट, keyword रिसर्च, रैंक ट्रैकिंग या कंटेंट नहीं।
- $29 के Startup और $299 के Growth के बीच बड़ा अंतर।
- इवेंट के आधार पर कीमत, जो ट्रैफ़िक बढ़ने के साथ बढ़ती है।
- AI दृश्यता सीधे बढ़ाने का कोई तरीका नहीं: यह मापता है और एक्सेस नियंत्रित करता है।
सर्वश्रेष्ठ Known Agents विकल्प
1. 
Sorank
Sorank उस सवाल का जवाब देता है जो Known Agents के बाद आता है: जब आप जान गए कि ChatGPT और Claude आपके पेज देखते हैं और आपको ट्रैफ़िक भेजते हैं, तो आप उनके जवाबों में ज़्यादा बार ज़िक्र कैसे पाएँ? हर महीने Sorank AI से वे सवाल पूछता है जो आपके ग्राहक पूछते हैं (Essential में ChatGPT, Claude और Gemini पर 10 प्रॉम्प्ट, Pro में Grok जुड़ने पर 20 प्रॉम्प्ट, Business में 50) और दिखाता है कि आपके ब्रांड का ज़िक्र होता है या नहीं, उसकी जगह कौन से ब्रांड उद्धृत होते हैं और AI कौन से स्रोत इस्तेमाल करता है। इसका डैशबोर्ड Search Console, Analytics और AI से आने वाला ट्रैफ़िक एक जगह इकट्ठा करता है।
इसके बाद Sorank एक SEO और GEO autopilot सॉफ़्टवेयर की तरह काम करता है: यह keywords ढूँढता है, topic clusters बनाता है, फिर लेख लिखता है, उनके लिए चित्र बनाता है और आपके CMS पर प्रकाशित करता है (10 से ज़्यादा CMS, जिनमें WordPress, Shopify और Webflow शामिल हैं), साथ में internal linking, anti-cannibalization और फ़ैक्ट चेकिंग। यह 5,000 से ज़्यादा उपयोगकर्ताओं की साइटों के बीच सीधे, एक-तरफ़ा लिंक से backlinks लाता है, जहाँ लिंक होस्ट करने से क्रेडिट मिलते हैं और लिंक पाने में खर्च होते हैं (Pro में हर माह 100 क्रेडिट, Business में 300), और हर हफ़्ते आपके चुने हुए 5 तक प्रतिस्पर्धियों का प्रकाशित कंटेंट पढ़ता है। आप MCP कनेक्टर के ज़रिए इसे Claude या ChatGPT से चला सकते हैं, व्हाइट लेबल के साथ इसे क्लाइंट्स को दे सकते हैं, और मुफ़्त SEO टूल तथा Chrome एक्सटेंशन इस्तेमाल कर सकते हैं। प्लान की कीमत $99, $249 और $499 प्रति माह है (20, 60 और 120 लेख), या सालाना बिल में $49, $129 और $249 प्रति माह, 3 दिन का मुफ़्त ट्रायल और 90 दिन में नतीजे न मिलने पर पैसे वापस की गारंटी के साथ।
2. 
Profound
Profound AI दृश्यता ट्रैकिंग को AI क्रॉलर गतिविधि, share of voice और कंटेंट की कमियों के साथ जोड़ता है। यह उन ब्रांड्स के लिए ठीक है जो बॉट डेटा और जवाब ट्रैकिंग, दोनों एक ही enterprise प्लेटफ़ॉर्म पर चाहते हैं।
3. 
Promptwatch
Promptwatch AI जवाबों में ब्रांड दृश्यता ट्रैक करता है और क्रॉलर लॉग तथा विज़िटर एनालिटिक्स जोड़ता है। जो टीमें enterprise कीमत के बिना दोनों नज़रिए चाहती हैं, उनके लिए यह एक करीबी विकल्प है।
4. 
Scrunch AI
Scrunch AI ब्रांड्स को यह देखने में मदद करता है कि AI एजेंट क्या कहते और करते हैं, और अपनी वेब मौजूदगी को एजेंट्स के अनुरूप ढालता है। जो कंपनियाँ बॉट्स को सिर्फ़ ब्लॉक करने से आगे बढ़कर यह ऑप्टिमाइज़ करना चाहती हैं कि उन्हें क्या मिलता है, उनके लिए यह ठीक है।
5. 
Botify
Botify बड़ी साइटों के लिए log फ़ाइलों का विश्लेषण करता है, जिनमें OpenAI जैसे AI क्रॉलर्स भी शामिल हैं, और एजेंट्स को पूरा कंटेंट देता है। यह तकनीकी SEO टीमों वाली बड़ी ई-कॉमर्स और मीडिया साइटों के लिए उपयुक्त है।
6. 
Otterly AI
Otterly AI ChatGPT, Perplexity और Google AI Overviews में ब्रांड उल्लेख और उद्धरणों पर नज़र रखता है। यह वह जवाब ट्रैकिंग देता है जो Known Agents में नहीं है।
Known Agents और Sorank में से कैसे चुनें
Known Agents उन प्रकाशकों, ऑनलाइन स्टोर्स, ट्रैवल साइटों और डेवलपर प्लेटफ़ॉर्म के लिए ठीक है जिन्हें देखना और नियंत्रित करना है कि बॉट्स और AI एजेंट्स उनकी साइट पर क्या करते हैं: कौन कंटेंट स्क्रैप करता है, कौन प्रोडक्ट पेज या डॉक्स पढ़ता है, AI चैट कितने विज़िटर भेजती हैं, और किन एजेंट्स को ब्लॉक या वेरिफ़ाई करना है। अगर आपकी प्राथमिकता एक्सेस नियंत्रण और बॉट एनालिटिक्स है, तो इसका मुफ़्त प्लान या $29 का Startup प्लान वह दृश्य जल्दी दे देता है।
Sorank उन कंपनियों के लिए है जो सिर्फ़ AI विज़िट मापने के बजाय Google और AI जवाबों में अपनी मौजूदगी बढ़ाना चाहती हैं। अगर आपको जानना है कि ChatGPT, Claude और Gemini आपका ज़िक्र कहाँ करते हैं, और फिर वे लेख प्रकाशित करने हैं व वे one-way लिंक लाने हैं जो इसे बेहतर करें, तो Sorank $99 प्रति माह ($49 सालाना बिल पर) से यह कवर करता है, नतीजे आम तौर पर 2 से 4 महीनों में दिखने लगते हैं। दोनों टूल साथ-साथ चल सकते हैं।
