Повнота пошуку (retrieval coverage) показує, чи знаходить система RAG усю інформацію, потрібну для відповіді. Дізнайтеся, як її вимірювати й покращувати.

Коротко
повнота пошуку вимірює, чи знаходить пошукова система всю відповідну інформацію, потрібну запиту. Зазвичай її кількісно виражають через повноту (recall): частку відповідних документів, які пошук успішно виявляє з усього доступного.
Хочете дізнатися більше? Запитайте
Повнота пошуку (retrieval coverage) це ступінь, до якого пошукова система охоплює всю відповідну інформацію, що існує за запитом, а не лише її частину. У конвеєрі генерації з доповненням пошуком вона відповідає на фундаментальне питання: з усіх фрагментів у вашій базі знань, які могли б допомогти відповісти на запитання, скільки насправді знайшов пошук? Повнота є передумовою для всього подальшого, бо модель може міркувати лише над тим, що їй надано.
Це важливо, бо відповідь ШІ настільки повна, наскільки повні докази за нею. Якщо пошук пропускає ключове джерело, модель його ніколи не бачить, і відповідь неповна чи хибна, хоч яка здібна модель. Для всіх, хто працює із системами RAG або прагне, щоб вони його цитували, повнота пошуку це місце, де починається якість відповіді.
Повнота пошуку описує, наскільки ретельно пошук збирає відповідні матеріали за запитом. Вона є основою і для повноти (recall), і для точності: без охоплення жодна з них не може бути успішною, бо нема чого оцінювати. У системі генерації з доповненням пошуком охоплення визначає, чи має генератор необхідні знання, щоб створити точну відповідь.
Концепція інтуїтивна. Уявіть, що в базі знань десять фрагментів, які стосуються запитання. Пошук із сильним охопленням знаходить більшість або всі, а зі слабким повертає лише два-три і лишає решту. Модель тоді пише з часткового погляду, і саме так виникають впевнені, але неповні відповіді, навіть коли потрібна інформація лежала в базі.
Основний спосіб кількісно виразити охоплення це recall. За даними AutoRAG, recall це відношення знайдених відповідних документів до загальної кількості відповідних документів у наборі даних, і він вимірює здатність системи знаходити всі відповідні документи. Оцінка recall 0,5 означає, що пошук охоплює лише половину наявних відповідних матеріалів, що сигналізує про реальну втрату інформації.
На практиці це вимірюють як recall at k, частку відповідних документів, що з'являються в top k результатів. Redis наводить чіткий приклад: якщо існує десять відповідних документів і сім з'являються в топ-10, то recall at 10 дорівнює 0,7, або 70%. Високий recall означає, що ви з меншою ймовірністю пропустите важливий контекст для моделі, а саме про це й йдеться в охопленні.
Повнота і точність тягнуть у різні боки. Точність (precision) це частка знайдених документів, які справді відповідні, а recall, міра охоплення, це частка всіх відповідних документів, які вам вдалося знайти. AutoRAG трактує точність як влучність того, що ви повернули, а recall як повноту того, що ви знайшли, і ці дві величини часто підсумовують разом оцінкою F1, їхнім гармонічним середнім.
Це напруження реальне й практичне. Redis зазначає, що розмір фрагмента змушує шукати компроміс між точністю та recall: менші фрагменти зменшують шум, але можуть розпорошувати інформацію по багатьох результатах, ускладнюючи повне охоплення, тоді як більші зберігають більше контексту. Прагнення до максимального охоплення може завалити модель маргінальними фрагментами, тож мета це достатнє охоплення, щоб бути повним, не поховавши сигнал. Цей баланс лежить у серці оцінювання пошуку.
Простий recall має сліпу пляму. Оскільки релевантність зазвичай оцінюють по одному документу, два фрагменти можуть бути позначені як відповідні, навіть якщо кажуть одне й те саме, тож високий recall не гарантує, що кожен окремий ракурс запитання охоплено. Саме тому охоплення іноді вимірюють на рівні ідей, а не документів.
Subtopic recall вирішує це, вимірюючи частку окремих підтем, охоплених top k знайдених документів, і це тонший погляд, ніж підрахунок лише відповідних документів. Для широкого запитання справжнє охоплення означає показ кожної значущої грані, а не десяти майже однакових фрагментів про одну грань. Проєктування контенту й пошуку навколо окремих підтем, подібно до побудови сильного тематичного кластера, покращує цю глибшу форму охоплення.
Охоплення формує кілька рішень у конвеєрі. Перше це розбиття на фрагменти: якщо межі розділяють цілісну ідею між частинами, пошук може схопити один фрагмент і пропустити решту, тож продумане розбиття контенту на фрагменти безпосередньо впливає на те, наскільки повно можна знайти інформацію. Важлива й модель векторних подань, бо слабкі векторні подання (embeddings) розташовують пов'язані фрагменти далеко один від одного у векторному просторі й знижують recall.
Метод пошуку це другий великий важіль. Чистий векторний пошук може пропускати збіги точних термінів, тому гібридні підходи, що поєднують пошук за ключовими словами та семантичний, покращують охоплення. Redis повідомляє, що гібридний пошук дає покращення recall на 15-30% порівняно з окремими методами. Збільшення k також підвищує охоплення, але коштом затримки та точності, тож його треба налаштовувати, а не максимізувати.
Системи ШІ складають відповіді з фрагментів, які знаходять, тож охоплення це ворота, крізь які має пройти ваш контент, щоб його побачили. Якщо набір результатів пошуку системи ніколи не включає вашу сторінку, вас не можна процитувати, підсумувати чи порекомендувати, хоч який авторитетний ваш контент. Сильне охоплення з боку системи це можливість для вашого контенту опинитися серед зібраних джерел.
Це переорієнтовує оптимізацію на те, щоб бути знайденим для всього спектра відповідних запитів і підтем. Контент, що всебічно розкриває тему чіткими самодостатніми фрагментами, з більшою ймовірністю стане тим фрагментом, що заповнює прогалину в охопленні. Це оптимізація під генеративні пошукові системи на практиці, а поєднання її з дисциплінованим підбором ключових слів і плануванням контенту допоможе відобразити підтеми, які потрібно охопити системі.
З боку системи почніть із розбиття на фрагменти та векторних подань, а потім додайте гібридний пошук, щоб ловити збіги, які пропустив би самий лише векторний пошук. Збільшуйте k, доки охоплення не стане достатнім, і розгляньте розширення запиту, щоб одне запитання користувача зіставлялося з кількома формулюваннями, які можуть вживати ваші відповідні фрагменти. Вимірювання recall at k на розміченому наборі покаже, чи ці зміни справді закривають прогалини.
З боку контенту пишіть так, щоб ваші сторінки було легко знайти повністю. Явно охоплюйте окремі підтеми, тримайте кожен фрагмент сфокусованим і самодостатнім та уникайте ховання ключових фактів усередині довгих змішаних розділів, що погано розбиваються. Таке посилення ШІ-обґрунтування (AI grounding) означає, що коли система тягнеться за доказами, ваш контент структурований так, щоб його знайшли.
Охоплення важко виміряти без еталонних даних. Recall вимагає знати повний набір відповідних документів, а це дорого розмічати і часто суб'єктивно, тож оцінки охоплення залежать від якості оцінювального набору. Лестне значення recall на бідному тестовому наборі може приховувати реальні прогалини в робочому середовищі.
З точністю теж немає безкоштовного обіду. Прагнення до максимального охоплення зазвичай втягує маргінальні фрагменти, які додають шум і витрати, а Redis зазначає, що пошук може становити майже половину затримки до першого токена, причому п'ять високорелевантних фрагментів часто краще за двадцять маргінальних. Практична мета це достатнє охоплення кожної важливої підтеми, збалансоване з точністю та швидкістю, які потрібні застосунку.
Повнота пошуку вимірює, чи знаходить пошукова система всю відповідну інформацію, потрібну запиту, і кількісно виражається переважно через recall, а тонше через охоплення підтем. Вона є основою якості RAG, бо модель може відповідати лише з того, що їй надано, і формується розбиттям на фрагменти, векторними поданнями, методом пошуку та значенням k.
Щоб піти далі, пов'яжіть це з оцінюванням пошуку та ширшою архітектурою генерації з доповненням пошуком, а інструменти дослідження й планування контенту Sorank допоможуть охопити підтеми, які знаходять системи. Джерела: Redis, Meilisearch і AutoRAG.
Джерела
Охоплення, яке вимірюється через recall, питає, чи ви знайшли всю відповідну інформацію, що існує. Точність питає, чи те, що ви знайшли, справді відповідне. Система може мати високу точність, але низьке охоплення, якщо повертає кілька чистих результатів, проте пропускає інші важливі фрагменти. Хороший RAG потребує достатнього охоплення, щоб дати моделі повну картину, збалансованого з точністю, щоб модель не потонула в шумі.
Стандартна міра це recall, часто recall at k: кількість відповідних документів, знайдених у top k, поділена на загальну кількість відповідних документів. Якщо існує десять відповідних документів і система знаходить сім у топ-10, recall at 10 дорівнює 0,7. Subtopic recall розширює це, питаючи, скільки окремих підтем охоплює знайдений набір, і дає тонше уявлення про охоплення.
Системи ШІ синтезують відповіді з фрагментів, які знаходять, тож якщо ваш контент ніколи не потрапляє до знайденого набору, його неможливо процитувати. Сильне охоплення з боку системи означає, що вона збирає повний спектр відповідних джерел, і це ваша можливість бути одним із них. Чіткий, повний, добре структурований контент, що розкриває окремі підтеми, підвищує ваші шанси бути знайденим.
ВОНИ ПРОБУВАЛИ SORANK ДО ВАС
