A cobertura de recuperação mede se um sistema RAG obtém toda a informação relevante de que uma resposta precisa. Saiba como medi-la e melhorá-la.

A cobertura de recuperação é o grau em que um sistema de recuperação capta toda a informação relevante que existe para uma consulta, em vez de apenas parte dela. Num pipeline de geração aumentada por recuperação, responde a uma pergunta fundamental: de todas as passagens da sua base de conhecimento que poderiam ajudar a responder à pergunta, quantas é que o recuperador realmente puxou? A cobertura é o pré-requisito para tudo o que vem a jusante, porque um modelo só pode raciocinar sobre aquilo que lhe é dado.
Isto importa porque uma resposta de IA só é tão completa quanto as provas que a sustentam. Se a recuperação falhar uma fonte crucial, o modelo nunca a vê, e a resposta fica incompleta ou errada por mais capaz que o modelo seja. Para quem trabalha em sistemas RAG ou procura ser citado por eles, a cobertura de recuperação é onde a qualidade da resposta começa.
A cobertura de recuperação descreve quão exaustivamente um recuperador reúne o material relevante para uma consulta. É fundamental tanto para o recall como para a precisão: sem cobertura, nenhum deles pode ter sucesso, porque não há nada de relevante para pontuar. Num sistema de geração aumentada por recuperação, a cobertura determina se o gerador tem o conhecimento essencial de que precisa para produzir uma resposta precisa.
O conceito é intuitivo. Imagine que uma base de conhecimento contém dez passagens que dizem respeito a uma pergunta. Um recuperador com forte cobertura revela a maioria ou a totalidade delas, enquanto um com cobertura fraca devolve apenas duas ou três e deixa as restantes para trás. O modelo escreve então a partir de uma visão parcial, e é assim que surgem respostas confiantes mas incompletas, mesmo quando a informação certa estava na base de dados.
A principal forma de quantificar a cobertura é o recall. Segundo a AutoRAG, o recall é o rácio entre os documentos relevantes recuperados e o número total de documentos relevantes no conjunto de dados, medindo a capacidade do sistema de encontrar todos os documentos relevantes. Uma pontuação de recall de 0,5 significa que o recuperador capta apenas metade do material relevante disponível, sinalizando uma perda real de informação.
Na prática, isto é medido como recall em k, a proporção de documentos relevantes que aparecem nos k melhores resultados. A Redis dá um exemplo claro: se existirem dez documentos relevantes e sete aparecerem nos dez melhores, o recall em dez é 0,7, ou 70 por cento. Um recall elevado significa que é menos provável que perca contexto importante para o modelo, que é exatamente do que se trata a cobertura.
A cobertura e a precisão puxam em direções diferentes. A precisão é a fração de documentos recuperados que são realmente relevantes, enquanto o recall, a medida de cobertura, é a fração de todos os documentos relevantes que conseguiu recuperar. A AutoRAG enquadra a precisão como a exatidão do que devolveu e o recall como a completude do que encontrou, e os dois são muitas vezes resumidos em conjunto pela pontuação F1, a sua média harmónica.
A tensão é real e prática. A Redis observa que o tamanho do fragmento força um compromisso entre precisão e recall: fragmentos mais pequenos reduzem o ruído mas podem fragmentar a informação por muitos resultados, tornando a cobertura completa mais difícil, enquanto fragmentos maiores preservam mais contexto. Procurar a cobertura máxima pode inundar o modelo com passagens marginais, por isso o objetivo é cobertura suficiente para ser completo sem soterrar o sinal. Este equilíbrio está no cerne da avaliação de recuperação.
O recall simples tem um ponto cego. Como a relevância é normalmente julgada um documento de cada vez, duas passagens podem ser marcadas como relevantes mesmo que digam o mesmo, por isso um recall elevado não garante que todos os ângulos distintos de uma pergunta estão cobertos. É por isso que a cobertura é por vezes medida ao nível das ideias e não dos documentos.
O recall de subtópicos resolve isto ao medir a fração de subtópicos distintos cobertos pelos k documentos recuperados do topo, uma visão mais matizada do que contar apenas documentos relevantes. Para uma pergunta ampla, a verdadeira cobertura significa revelar cada faceta relevante, e não dez passagens quase duplicadas sobre uma única faceta. Conceber o conteúdo e a recuperação em torno de subtópicos distintos, à semelhança de construir um cluster de tópicos forte, melhora esta forma mais profunda de cobertura.
Várias escolhas do pipeline moldam a cobertura. A fragmentação vem primeiro: se os limites dividirem uma ideia coerente por várias peças, o recuperador pode agarrar um fragmento e falhar o resto, por isso uma fragmentação de conteúdo cuidadosa afeta diretamente quão completamente a informação pode ser encontrada. O modelo de embedding também importa, uma vez que embeddings fracos colocam passagens relacionadas longe umas das outras no espaço vetorial e baixam o recall.
O método de recuperação é a outra grande alavanca. A pesquisa vetorial pura pode falhar correspondências de termos exatos, e é por isso que as abordagens híbridas que combinam pesquisa por palavras-chave e semântica melhoram a cobertura. A Redis reporta que a pesquisa híbrida proporciona uma melhoria de recall de 15 a 30 por cento face aos métodos isolados. Aumentar k também aumenta a cobertura, embora à custa de latência e precisão, por isso deve ser afinado e não maximizado.
Os motores de resposta de IA compõem respostas a partir das passagens que recuperam, por isso a cobertura é a porta pela qual o seu conteúdo tem de passar para ser visto. Se o conjunto de recuperação do motor nunca incluir a sua página, não pode ser citado, resumido nem recomendado, por mais autoridade que o seu conteúdo tenha. Uma forte cobertura do lado do motor é a oportunidade de o seu conteúdo estar entre as fontes reunidas.
Isso reformula a otimização em torno de ser recuperável para toda a gama de consultas e subtópicos relevantes. Conteúdo que aborda um tema de forma abrangente, em passagens claras e autossuficientes, é mais provável que seja o fragmento que preenche uma lacuna de cobertura. Isto é a otimização de motores generativos na prática, e combiná-la com uma pesquisa de palavras-chave e planeamento de conteúdo disciplinados ajuda-o a mapear os subtópicos que um motor precisa de cobrir.
Do lado do sistema, comece pela fragmentação e pelos embeddings, e depois acrescente recuperação híbrida para apanhar correspondências que a pesquisa vetorial sozinha falharia. Aumente k até a cobertura ser suficiente, e considere a expansão de consultas para que uma única pergunta do utilizador corresponda às várias formulações que as suas passagens relevantes possam usar. Medir o recall em k face a um conjunto rotulado diz-lhe se estas alterações realmente fecham lacunas.
Do lado do conteúdo, escreva de forma a que as suas páginas sejam fáceis de recuperar por completo. Cubra subtópicos distintos de forma explícita, mantenha cada passagem focada e autossuficiente, e evite enterrar factos-chave dentro de secções longas e misturadas que se fragmentam mal. Reforçar a fundamentação de IA desta forma significa que, quando um motor procura provas, o seu conteúdo está estruturado para ser encontrado.
A cobertura é difícil de medir sem verdade de referência. O recall exige conhecer o conjunto completo de documentos relevantes, o que é caro de rotular e muitas vezes subjetivo, por isso as pontuações de cobertura dependem da qualidade do conjunto de avaliação. Um número de recall lisonjeiro face a um conjunto de teste pobre pode esconder lacunas reais em produção.
Também não há almoço grátis com a precisão. Perseguir a cobertura máxima tende a atrair passagens marginais que acrescentam ruído e custo, e a Redis observa que a recuperação pode representar quase metade da latência até ao primeiro token, com cinco passagens altamente relevantes a superarem muitas vezes vinte passagens marginais. O objetivo prático é uma cobertura adequada de cada subtópico importante, equilibrada com a precisão e a velocidade de que a aplicação precisa.
A cobertura de recuperação mede se um recuperador encontra toda a informação relevante de que uma consulta precisa, quantificada sobretudo pelo recall e, de forma mais subtil, pela cobertura de subtópicos. É a base da qualidade da RAG, porque um modelo só pode responder a partir do que lhe é dado, e é moldada pela fragmentação, pelos embeddings, pelo método de recuperação e por k.
Para ir mais longe, ligue isto à avaliação de recuperação e à mais ampla arquitetura de geração aumentada por recuperação, e use as ferramentas de pesquisa e planeamento de conteúdo da Sorank para cobrir os subtópicos que os motores recuperam. Fontes de referência: Redis, Meilisearch e AutoRAG.
A cobertura, medida pelo recall, pergunta se encontrou toda a informação relevante que existe. A precisão pergunta se o que encontrou é de facto relevante. Um sistema pode ter precisão elevada mas cobertura baixa se devolver alguns resultados limpos mas falhar outras passagens essenciais. Uma boa RAG precisa de cobertura suficiente para dar ao modelo o quadro completo, equilibrada com a precisão para que não se afogue em ruído.
A medida padrão é o recall, muitas vezes o recall em k, que é o número de documentos relevantes recuperados nos k melhores dividido pelo número total de documentos relevantes. Se existirem dez documentos relevantes e o sistema recuperar sete nos dez melhores, o recall em dez é 0,7. O recall de subtópicos amplia isto para perguntar quantos subtópicos distintos o conjunto recuperado cobre, uma visão mais matizada da cobertura.
Os motores de resposta de IA sintetizam respostas a partir dos fragmentos que recuperam, por isso, se o seu conteúdo nunca estiver nesse conjunto recuperado, não pode ser citado. Uma forte cobertura do lado do motor significa que ele reúne toda a gama de fontes relevantes, que é a sua oportunidade de ser uma delas. Escrever conteúdo claro, completo e bem estruturado, que aborde subtópicos distintos, aumenta as suas hipóteses de ser recuperado.