रिट्रीवल कवरेज मापता है कि RAG सिस्टम किसी जवाब के लिए ज़रूरी सारी प्रासंगिक जानकारी ला पाता है या नहीं। जानें इसे कैसे मापें और सुधारें।

इस पेज पर
रिट्रीवल कवरेज वह हद है जहाँ तक कोई रिट्रीवल सिस्टम किसी क्वेरी के लिए मौजूद सारी प्रासंगिक जानकारी पकड़ता है, न कि सिर्फ़ उसका कुछ हिस्सा। रिट्रीवल ऑगमेंटेड जेनरेशन पाइपलाइन में यह एक बुनियादी सवाल का जवाब देता है: आपके नॉलेज बेस के उन सभी अंशों में से जो सवाल का जवाब देने में मदद कर सकते थे, रिट्रीवर ने वास्तव में कितने खींचे? कवरेज बाकी सब कुछ की पूर्व-शर्त है, क्योंकि मॉडल सिर्फ़ उसी पर तर्क कर सकता है जो उसे दिया गया हो।
यह इसलिए मायने रखता है कि AI जवाब उतना ही पूरा होता है जितना उसके पीछे का प्रमाण। अगर रिट्रीवल कोई अहम स्रोत छोड़ देता है, तो मॉडल उसे कभी देखता ही नहीं, और मॉडल कितना भी सक्षम हो, जवाब अधूरा या गलत रहता है। जो कोई RAG सिस्टम पर काम करता है या चाहता है कि उसके स्रोतों का हवाला दिया जाए, उसके लिए जवाब की गुणवत्ता रिट्रीवल कवरेज से ही शुरू होती है।
रिट्रीवल कवरेज बताता है कि कोई रिट्रीवर किसी क्वेरी के लिए प्रासंगिक सामग्री को कितनी पूरी तरह इकट्ठा करता है। यह रिकॉल और प्रिसिशन, दोनों की नींव है: कवरेज के बिना दोनों में से कोई सफल नहीं हो सकता, क्योंकि स्कोर करने के लिए कुछ प्रासंगिक होता ही नहीं। रिट्रीवल ऑगमेंटेड जेनरेशन सिस्टम में कवरेज तय करता है कि जनरेटर के पास सटीक जवाब बनाने के लिए ज़रूरी ज्ञान है या नहीं।
यह विचार सहज है। कल्पना कीजिए कि एक नॉलेज बेस में किसी सवाल से जुड़े 10 अंश हैं। मज़बूत कवरेज वाला रिट्रीवर उनमें से ज़्यादातर या सभी सामने लाता है, जबकि कमज़ोर कवरेज वाला सिर्फ़ 2 या 3 लौटाता है और बाकी छोड़ देता है। मॉडल फिर एक अधूरे दृश्य से लिखता है, और यही वह तरीका है जिससे आत्मविश्वास भरे पर अधूरे जवाब बनते हैं, भले ही सही जानकारी डेटाबेस में मौजूद थी।
कवरेज को मापने का मुख्य तरीका रिकॉल है। AutoRAG के अनुसार रिकॉल वह अनुपात है जिसमें लाए गए प्रासंगिक दस्तावेज़ डेटासेट में मौजूद कुल प्रासंगिक दस्तावेज़ों से तुलना किए जाते हैं, और यह सिस्टम की सारे प्रासंगिक दस्तावेज़ ढूँढने की क्षमता मापता है। 0.5 का रिकॉल स्कोर बताता है कि रिट्रीवर उपलब्ध प्रासंगिक सामग्री का सिर्फ़ आधा पकड़ता है, जो असली जानकारी के नुकसान का संकेत है।
व्यवहार में इसे recall at k के रूप में मापा जाता है, यानी प्रासंगिक दस्तावेज़ों का वह हिस्सा जो शीर्ष k परिणामों में दिखता है। Redis एक साफ़ उदाहरण देता है: अगर 10 प्रासंगिक दस्तावेज़ हैं और शीर्ष 10 में 7 दिखते हैं, तो recall at 10 है 0.7, यानी 70%। ऊँचा रिकॉल का मतलब है कि मॉडल के लिए ज़रूरी संदर्भ छूटने की संभावना कम है, और कवरेज का असल यही मतलब है।
कवरेज और प्रिसिशन अलग दिशाओं में खींचते हैं। प्रिसिशन लाए गए दस्तावेज़ों में से असल में प्रासंगिक दस्तावेज़ों का अनुपात है, जबकि रिकॉल, यानी कवरेज का पैमाना, सभी प्रासंगिक दस्तावेज़ों में से आपने कितने ढूँढे, उसका अनुपात है। AutoRAG प्रिसिशन को लौटाए गए नतीजों की सटीकता और रिकॉल को मिली जानकारी की पूर्णता के रूप में देखता है, और दोनों को अक्सर उनके हार्मोनिक माध्य F1 स्कोर से एक साथ सारांशित किया जाता है।
यह खिंचाव असली और व्यावहारिक है। Redis बताता है कि चंक का आकार प्रिसिशन और रिकॉल के बीच व्यापार-विनिमय मजबूर करता है: छोटे चंक शोर घटाते हैं, पर जानकारी को कई नतीजों में बिखेर सकते हैं, जिससे पूरा कवरेज मुश्किल होता है, जबकि बड़े चंक ज़्यादा संदर्भ बचाते हैं। अधिकतम कवरेज के पीछे भागने से मॉडल हाशिये के अंशों से भर सकता है, इसलिए लक्ष्य इतना कवरेज है कि जवाब पूरा हो, पर मुख्य बात दबे नहीं। यह संतुलन रिट्रीवल मूल्यांकन के केंद्र में है।
साधारण रिकॉल की एक अंधी जगह है। चूँकि प्रासंगिकता आम तौर पर एक समय में एक दस्तावेज़ को देखकर तय होती है, इसलिए दो अंश प्रासंगिक माने जा सकते हैं भले ही वे एक ही बात कहते हों। इसलिए उच्च रिकॉल यह गारंटी नहीं देता कि सवाल का हर अलग पहलू कवर हुआ है। इसी कारण कवरेज को कभी-कभी दस्तावेज़ों के बजाय विचारों के स्तर पर मापा जाता है।
सबटॉपिक रिकॉल इस कमी को दूर करता है, और शीर्ष k लाए गए दस्तावेज़ों द्वारा कवर किए गए अलग-अलग सबटॉपिक्स का अनुपात मापता है, जो केवल प्रासंगिक दस्तावेज़ गिनने से ज़्यादा बारीक दृष्टि है। किसी व्यापक सवाल पर असली कवरेज का मतलब है हर सार्थक पहलू को सामने लाना, न कि एक ही पहलू पर दस लगभग एक जैसे अंश। सबटॉपिक्स के इर्द-गिर्द कंटेंट और रिट्रीवल डिज़ाइन करना, ठीक एक मज़बूत टॉपिक क्लस्टर की तरह, कवरेज के इस गहरे रूप को बेहतर बनाता है।
कई पाइपलाइन चुनाव कवरेज को आकार देते हैं। सबसे पहले चंकिंग आती है: अगर सीमाएँ एक सुसंगत विचार को टुकड़ों में काटती हैं, तो रिट्रीवर एक टुकड़ा उठा सकता है और बाकी छोड़ सकता है, इसलिए सोच-समझकर की गई कंटेंट चंकिंग सीधे तय करती है कि जानकारी कितनी पूरी तरह मिल सकती है। एम्बेडिंग मॉडल भी मायने रखता है, क्योंकि कमज़ोर एम्बेडिंग्स संबंधित अंशों को वेक्टर स्पेस में बहुत दूर रख देती हैं और रिकॉल घटा देती हैं।
रिट्रीवल का तरीका दूसरा बड़ा लीवर है। शुद्ध वेक्टर सर्च सटीक शब्द मिलानों को छोड़ सकता है, इसीलिए कीवर्ड और सिमेंटिक सर्च को जोड़ने वाले हाइब्रिड तरीके कवरेज सुधारते हैं। Redis बताता है कि हाइब्रिड सर्च अकेले तरीकों की तुलना में रिकॉल में 15 से 30% सुधार देता है। k बढ़ाने से भी कवरेज बढ़ता है, पर विलंब और प्रिसिशन की कीमत पर, इसलिए उसे अधिकतम करने के बजाय ट्यून करना पड़ता है।
AI अपने जवाब उन अंशों से बनाते हैं जिन्हें वे रिट्रीव करते हैं, इसलिए कवरेज वह द्वार है जिससे आपके कंटेंट को दिखने के लिए गुज़रना पड़ता है। अगर इंजन का रिट्रीवल सेट कभी आपका पेज शामिल ही नहीं करता, तो आपका हवाला नहीं दिया जा सकता, उद्धृत या सुझाया नहीं जा सकता, चाहे आपका कंटेंट कितना भी अधिकृत हो। इंजन की ओर से मज़बूत कवरेज ही वह मौका है जिसमें आपका कंटेंट इकट्ठा किए गए स्रोतों में शामिल हो सकता है।
यह अनुकूलन को हर प्रासंगिक क्वेरी और सबटॉपिक के लिए रिट्रीवल योग्य होने के इर्द-गिर्द नए सिरे से परिभाषित करता है। किसी विषय को व्यापक रूप से, साफ़ और स्व-निहित अंशों में समझाने वाला कंटेंट वह चंक बनने की ज़्यादा संभावना रखता है जो कवरेज का अंतर भरे। यह व्यवहार में जनरेटिव इंजन ऑप्टिमाइज़ेशन है, और इसे अनुशासित कीवर्ड रिसर्च और कंटेंट प्लानिंग के साथ जोड़ने से आप उन सबटॉपिक्स का नक्शा बना पाते हैं जिन्हें इंजन को कवर करना है।
सिस्टम की तरफ़ से, चंकिंग और एम्बेडिंग्स से शुरुआत करें, फिर हाइब्रिड रिट्रीवल जोड़ें ताकि वे मिलान पकड़े जाएँ जो अकेला वेक्टर सर्च छोड़ देता। कवरेज पर्याप्त होने तक k बढ़ाएँ, और क्वेरी एक्सपैंशन पर विचार करें ताकि एक यूज़र का सवाल उन कई वाक्यांशों से जुड़ सके जिनमें आपके प्रासंगिक अंश लिखे हो सकते हैं। लेबल किए गए सेट पर recall at k मापने से पता चलता है कि ये बदलाव सचमुच कमियाँ भरते हैं या नहीं।
कंटेंट की तरफ़ से, ऐसा लिखें कि आपके पेज पूरी तरह आसानी से रिट्रीव हो सकें। अलग सबटॉपिक्स को साफ़ तौर पर कवर करें, हर अंश को केंद्रित और स्व-निहित रखें, और मुख्य तथ्यों को लंबे, मिश्रित हिस्सों में दबाने से बचें, जिन्हें चंक ठीक से नहीं बाँट पाते। इस तरह AI ग्राउंडिंग को मज़बूत करने का मतलब है कि जब कोई इंजन प्रमाण ढूँढे, तो आपका कंटेंट ढूँढे जाने लायक ढाँचे में हो।
बिना ग्राउंड ट्रुथ के कवरेज मापना कठिन है। रिकॉल के लिए प्रासंगिक दस्तावेज़ों का पूरा सेट जानना ज़रूरी है, जिसे लेबल करना महँगा और अक्सर व्यक्तिपरक होता है, इसलिए कवरेज के स्कोर मूल्यांकन सेट की गुणवत्ता पर निर्भर करते हैं। एक पतले टेस्ट सेट पर अच्छा दिखने वाला रिकॉल नंबर प्रोडक्शन की असली कमियाँ छिपा सकता है।
प्रिसिशन के साथ भी कोई मुफ़्त भोजन नहीं है। अधिकतम कवरेज का पीछा अक्सर हाशिये के अंश खींच लाता है, जो शोर और लागत बढ़ाते हैं। Redis बताता है कि रिट्रीवल पहले टोकन के आने तक के विलंब का लगभग आधा समय ले सकता है, और अक्सर पाँच बेहद प्रासंगिक अंश बीस हाशिये के अंशों से बेहतर साबित होते हैं। व्यावहारिक लक्ष्य हर ज़रूरी सबटॉपिक का पर्याप्त कवरेज है, जिसे एप्लिकेशन को चाहिए प्रिसिशन और रफ़्तार के मुकाबले संतुलित किया जाए।
रिट्रीवल कवरेज मापता है कि कोई रिट्रीवर किसी क्वेरी के लिए ज़रूरी सारी प्रासंगिक जानकारी ढूँढता है या नहीं, इसे मुख्य रूप से रिकॉल से और ज़्यादा बारीकी से सबटॉपिक कवरेज से मापा जाता है। यह RAG की गुणवत्ता की नींव है, क्योंकि मॉडल सिर्फ़ उसी से जवाब दे सकता है जो उसे दिया गया हो, और यह चंकिंग, एम्बेडिंग्स, रिट्रीवल के तरीके और k से आकार लेता है।
इसे और आगे ले जाने के लिए इसे रिट्रीवल मूल्यांकन और व्यापक रिट्रीवल ऑगमेंटेड जेनरेशन आर्किटेक्चर से जोड़ें, और इंजन जो सबटॉपिक्स रिट्रीव करते हैं उन्हें कवर करने के लिए Sorank के रिसर्च और कंटेंट प्लानिंग टूल्स का इस्तेमाल करें। संदर्भ स्रोत: Redis, Meilisearch, और AutoRAG।
स्रोत
कवरेज, जिसे रिकॉल से मापा जाता है, पूछता है कि क्या आपने मौजूद सारी प्रासंगिक जानकारी ढूँढी है। प्रिसिशन पूछता है कि आपने जो ढूँढा वह असल में प्रासंगिक है या नहीं। अगर कोई सिस्टम कुछ साफ़ नतीजे लौटाता है पर बाकी ज़रूरी अंश छोड़ देता है, तो उसकी प्रिसिशन ऊँची और कवरेज कम हो सकती है। अच्छे RAG को मॉडल को पूरी तस्वीर देने लायक कवरेज चाहिए, जिसे प्रिसिशन के साथ संतुलित किया जाए ताकि मॉडल शोर में न डूबे।
मानक पैमाना रिकॉल है, अक्सर recall at k, यानी शीर्ष k में लाए गए प्रासंगिक दस्तावेज़ों की संख्या को कुल प्रासंगिक दस्तावेज़ों से भाग देना। अगर 10 प्रासंगिक दस्तावेज़ हैं और सिस्टम शीर्ष 10 में 7 लाता है, तो recall at 10 है 0.7। सबटॉपिक रिकॉल इसे आगे बढ़ाकर पूछता है कि लाए गए सेट में कितने अलग सबटॉपिक्स कवर होते हैं, यानी कवरेज का ज़्यादा बारीक दृश्य।
AI अपने जवाब उन अंशों से बनाते हैं जिन्हें वे रिट्रीव करते हैं, इसलिए अगर आपका कंटेंट उस रिट्रीव्ड सेट में कभी नहीं आता, तो उसका हवाला नहीं दिया जा सकता। इंजन की ओर से मज़बूत कवरेज का मतलब है कि वह प्रासंगिक स्रोतों की पूरी रेंज इकट्ठा करता है, और यहीं आपको उनमें से एक बनने का मौका मिलता है। साफ़, पूरा और अच्छी तरह व्यवस्थित कंटेंट लिखना, जो अलग-अलग सबटॉपिक्स को संबोधित करे, रिट्रीव होने की संभावना बढ़ाता है।
आपसे पहले लोगों ने Sorank आज़माया है
