Pokrytí vyhledávání měří, zda systém RAG načte všechny relevantní informace, které odpověď potřebuje. Zjistěte, jak ho měřit a zlepšit.

Na této stránce
Shrnutí
Pokrytí vyhledávání měří, zda systém vyhledávání najde všechny relevantní informace, které dotaz potřebuje. Obvykle se kvantifikuje jako recall, tedy podíl relevantních dokumentů, které vyhledávač z celé dostupné sady skutečně vynese.
Chcete jít dál? Zeptejte se
Pokrytí vyhledávání je míra, v jaké systém vyhledávání zachytí všechny relevantní informace, které pro daný dotaz existují, a ne jen některé z nich. V pipeline generování s podporou vyhledávání odpovídá na zásadní otázku: ze všech pasáží ve vaší znalostní databázi, které mohou na otázku pomoci, kolik jich vyhledávač skutečně vytáhl? Pokrytí je předpokladem všeho dalšího, protože model může uvažovat jen nad tím, co dostane.
To je důležité, protože odpověď AI je jen tak úplná, jak úplné jsou důkazy za ní. Pokud vyhledávání mine klíčový zdroj, model ho nikdy neuvidí a odpověď bude neúplná nebo chybná, bez ohledu na to, jak schopný model je. Pro každého, kdo pracuje na systémech RAG nebo se snaží být jimi citován, je pokrytí vyhledávání místem, kde začíná kvalita odpovědi.
Pokrytí vyhledávání popisuje, jak důkladně vyhledávač shromažďuje relevantní materiál k dotazu. Je základem jak pro recall, tak pro preciznost (precision): bez pokrytí nemůže uspět ani jedno, protože není co hodnotit. V systému generování s podporou vyhledávání pokrytí určuje, zda generátor má základní znalosti potřebné k přesné odpovědi.
Ten koncept je intuitivní. Představte si, že znalostní databáze obsahuje deset pasáží, které se k otázce vztahují. Vyhledávač se silným pokrytím vynese většinu nebo všechny, zatímco slabý vrátí jen dvě nebo tři a zbytek nechá stranou. Model pak píše z částečného pohledu, a tak vznikají sebevědomé, ale neúplné odpovědi, i když správné informace ležely v databázi.
Hlavní způsob, jak pokrytí kvantifikovat, je recall. Podle AutoRAG je recall poměr vyhledaných relevantních dokumentů k celkovému počtu relevantních dokumentů v datové sadě a měří schopnost systému najít všechny relevantní dokumenty. Skóre recall 0,5 znamená, že vyhledávač zachytí jen polovinu dostupného relevantního materiálu, což signalizuje skutečnou ztrátu informací.
V praxi se to měří jako recall at k, tedy podíl relevantních dokumentů, které se objeví mezi prvními k výsledky. Redis uvádí přehledný příklad: pokud existuje deset relevantních dokumentů a sedm se objeví v top deseti, recall at ten je 0,7, tedy 70 %. Vysoký recall znamená, že je menší pravděpodobnost, že modelu unikne důležitý kontext, a o to přesně jde u pokrytí.
Pokrytí a preciznost táhnou opačným směrem. Preciznost je podíl vyhledaných dokumentů, které jsou skutečně relevantní, zatímco recall, tedy míra pokrytí, je podíl všech relevantních dokumentů, které se podařilo vyhledat. AutoRAG popisuje preciznost jako správnost vrácených výsledků a recall jako úplnost toho, co jste našli. Obě čísla se často shrnují dohromady pomocí skóre F1, což je jejich harmonický průměr.
Napětí je reálné a praktické. Redis upozorňuje, že velikost úseků vynucuje kompromis mezi precizností a recallem: menší úseky snižují šum, ale mohou informace roztříštit do mnoha výsledků, takže úplné pokrytí je těžší, zatímco větší úseky zachovají víc kontextu. Tlak na maximální pokrytí může zahltit model okrajovými pasážemi, takže cílem je dost pokrytí, aby byl výsledek úplný, aniž by signál zapadl. Tato rovnováha je v srdci vyhodnocování vyhledávání (retrieval evaluation).
Samotný recall má slepou skvrnu. Relevance se obvykle posuzuje po jednotlivých dokumentech, takže dvě pasáže mohou být označeny jako relevantní, i když říkají totéž. Vysoký recall proto nezaručuje, že je pokryt každý odlišný úhel pohledu na otázku. Proto se pokrytí někdy měří na úrovni myšlenek, a ne dokumentů.
Recall dílčích témat (subtopic recall) to řeší tím, že měří podíl odlišných dílčích témat pokrytých mezi prvními k vyhledanými dokumenty, což je jemnější pohled, než jen počítat relevantní dokumenty. U široké otázky znamená skutečné pokrytí zachytit každý smysluplný aspekt, a ne deset téměř duplicitních pasáží o jediném aspektu. Navrhování obsahu i vyhledávání kolem odlišných dílčích témat, podobně jako budování silného tematického clusteru, zlepšuje tuto hlubší formu pokrytí.
Pokrytí ovlivňuje několik voleb v pipeline. Na začátku stojí dělení na úseky: pokud hranice rozdělí souvislou myšlenku na kusy, vyhledávač může vzít jeden úryvek a zbytek minout, takže pečlivé dělení obsahu na úseky (chunking) přímo ovlivňuje, jak úplně lze informace najít. Záleží i na embedding modelu, protože slabé embeddingy umisťují související pasáže ve vektorovém prostoru daleko od sebe a snižují recall.
Druhou velkou pákou je metoda vyhledávání. Čisté vektorové vyhledávání může minout přesné shody termínů, a proto hybridní přístupy, které kombinují klíčová slova a sémantické vyhledávání, pokrytí zlepšují. Redis uvádí, že hybridní vyhledávání přináší oproti jedné metodě zlepšení recall o 15 až 30 %. Zvyšování k také zvyšuje pokrytí, ale za cenu latence a preciznosti, takže je třeba jej ladit, a ne maximalizovat.
AI systémy skládají odpovědi z pasáží, které vyhledají, takže pokrytí je brána, kterou musí váš obsah projít, aby byl vidět. Pokud vyhledávací sada systému nikdy nezahrnuje vaši stránku, nemůžete být citováni, shrnuti ani doporučeni, bez ohledu na to, jak autoritativní je váš obsah. Silné pokrytí na straně systému je příležitost, aby byl váš obsah mezi shromážděnými zdroji.
To přeformuluje optimalizaci kolem toho být vyhledatelný pro celou škálu relevantních dotazů a dílčích témat. Obsah, který téma komplexně pokrývá v jasných a samostatných pasážích, je pravděpodobněji tím úsekem, který zaplní mezeru v pokrytí. Je to generativní optimalizace v praxi a spojení s pečlivým výzkumem klíčových slov a plánováním obsahu pomůže zmapovat dílčí témata, která systém potřebuje pokrýt.
Na straně systému začněte dělením na úseky a embeddingy, potom přidejte hybridní vyhledávání, které zachytí shody, jež by samotné vektorové vyhledávání minulo. Zvyšujte k, dokud pokrytí nebude dostatečné, a zvažte rozšiřování dotazu, aby se jedna uživatelova otázka namapovala na několik formulací, které mohou relevantní pasáže používat. Měření recall at k na označené sadě ukáže, zda tyto změny skutečně mezery zavírají.
Na straně obsahu pište tak, aby se vaše stránky daly vyhledat celé. Pokrývejte odlišná dílčí témata explicitně, udržujte každou pasáž soustředěnou a samostatnou a nezakopávejte klíčová fakta do dlouhých, smíšených sekcí, které se špatně dělí. Když tímto způsobem posílíte ukotvení v AI, je váš obsah strukturován tak, aby byl nalezen, až systém bude hledat důkazy.
Pokrytí se těžko měří bez referenčních dat. Recall vyžaduje znát celou sadu relevantních dokumentů, což je drahé označovat a často subjektivní, takže skóre pokrytí závisí na kvalitě vyhodnocovací sady. Lichotivé číslo recall na chudé testovací sadě může v produkci skrývat skutečné mezery.
S precizností také nelze nic získat zadarmo. Honba za maximálním pokrytím obvykle přitáhne okrajové pasáže, které přidávají šum a náklady, a Redis upozorňuje, že vyhledávání může tvořit téměř polovinu latence do prvního tokenu, přičemž pět vysoce relevantních pasáží často porazí dvacet okrajových. Praktickým cílem je přiměřené pokrytí každého důležitého dílčího tématu, vyvážené precizností a rychlostí, které aplikace potřebuje.
Pokrytí vyhledávání měří, zda vyhledávač najde všechny relevantní informace, které dotaz potřebuje, a kvantifikuje se hlavně přes recall a přemýšleně přes pokrytí dílčích témat. Je to základ kvality RAG, protože model může odpovídat jen z toho, co dostane, a utváří ho dělení na úseky, embeddingy, metoda vyhledávání a hodnota k.
Pro další kroky propojte toto s vyhodnocováním vyhledávání a širší architekturou generování s podporou vyhledávání a využijte nástroje Sorank pro výzkum a plánování obsahu, abyste pokryli dílčí témata, která systémy vyhledávají. Referenční zdroje: Redis, Meilisearch a AutoRAG.
Zdroje
Pokrytí, měřené přes recall, se ptá, zda jste našli všechny relevantní informace, které existují. Preciznost se ptá, zda je to, co jste našli, skutečně relevantní. Systém může mít vysokou preciznost a nízké pokrytí, pokud vrátí několik čistých výsledků, ale mine další důležité pasáže. Dobrý systém RAG potřebuje dost pokrytí, aby modelu dal celý obraz, vyvážený precizností, aby se neutopil v šumu.
Standardní mírou je recall, často recall at k, tedy počet relevantních dokumentů vyhledaných mezi prvními k výsledky, dělený celkovým počtem relevantních dokumentů. Pokud existuje deset relevantních dokumentů a systém vyhledá sedm v top deseti, je recall at ten 0,7. Recall dílčích témat jde dál a ptá se, kolik odlišných dílčích témat vyhledaná sada pokrývá, což je jemnější pohled na pokrytí.
AI systémy skládají odpovědi z úseků, které vyhledají, takže pokud váš obsah v této vyhledané sadě nikdy není, nemůže být citován. Silné pokrytí na straně systému znamená, že shromažďuje široký rozsah relevantních zdrojů, a to je vaše příležitost být jedním z nich. Psaní jasného, úplného a dobře strukturovaného obsahu, který pokrývá odlišná dílčí témata, zvyšuje šanci, že bude vyhledán.
VYZKOUŠELI SORANK PŘED VÁMI
