Hentingsdekning måler om et RAG-system henter all relevant informasjon et svar trenger. Lær hvordan du måler og forbedrer den.

På denne siden
Sammendrag
Hentingsdekning måler om et hentingssystem finner all relevant informasjon en spørring trenger, vanligvis målt som recall, andelen relevante dokumenter hentingsmotoren klarer å løfte fram av alt som finnes.
Vil du vite mer? Spør
Hentingsdekning er i hvilken grad et hentingssystem fanger opp all relevant informasjon som finnes for en spørring, og ikke bare noe av den. I en RAG-prosess svarer den på et grunnleggende spørsmål: av alle avsnittene i kunnskapsbasen din som kunne hjulpet med å besvare spørsmålet, hvor mange trakk hentingen faktisk fram? Dekning er forutsetningen for alt som kommer etterpå, fordi en modell bare kan resonnere over det den får.
Dette betyr noe fordi et AI-svar bare er så fullstendig som beviset bak det. Hvis hentingen går glipp av en sentral kilde, ser aldri modellen den, og svaret blir ufullstendig eller feil uansett hvor god modellen er. For alle som jobber med RAG-systemer, eller prøver å bli sitert av dem, er hentingsdekning der svarkvaliteten starter.
Hentingsdekning beskriver hvor grundig en henter samler relevant materiale for en spørring. Den er grunnleggende for både recall og presisjon: uten dekning kan ingen av dem lykkes, fordi det ikke finnes noe relevant å poengsette. I et gjenfinningsforsterket generering-system avgjør dekningen om generatoren har den nødvendige kunnskapen den trenger for å gi et nøyaktig svar.
Ideen er intuitiv. Tenk deg at en kunnskapsbase inneholder ti avsnitt som berører et spørsmål. En henter med sterk dekning finner de fleste eller alle, mens en med svak dekning bare returnerer to eller tre og lar resten ligge. Modellen skriver da ut fra et delvis bilde, og det er slik man får sikre, men ufullstendige svar selv når riktig informasjon lå i databasen.
Den viktigste måten å kvantifisere dekning på er recall. Ifølge AutoRAG er recall forholdet mellom hentede relevante dokumenter og det totale antallet relevante dokumenter i datasettet, og den måler systemets evne til å finne alle relevante dokumenter. En recall-skår på 0.5 betyr at hentemotoren bare fanger halvparten av det tilgjengelige relevante materialet, et tydelig tegn på reelt informasjonstap.
I praksis måles dette som recall at k, andelen relevante dokumenter som dukker opp i de øverste k resultatene. Redis gir et greit eksempel: finnes det ti relevante dokumenter og syv av dem dukker opp blant de ti øverste, er recall at ti 0.7, eller 70 prosent. Høy recall betyr at modellen mindre sannsynlig går glipp av viktig kontekst, og det er nettopp det dekning handler om.
Dekning og presisjon trekker i ulike retninger. Presisjon er andelen hentede dokumenter som faktisk er relevante, mens recall, altså dekningsmålet, er andelen av alle relevante dokumenter du klarte å hente. AutoRAG beskriver presisjon som treffsikkerheten i det du returnerte og recall som fullstendigheten i det du fant, og de to oppsummeres ofte sammen med F1-skåren, det harmoniske gjennomsnittet av dem.
Spenningen er reell og praktisk. Redis påpeker at størrelsen på bitene tvinger fram en avveining mellom presisjon og recall: mindre biter gir mindre støy, men kan splitte informasjon på mange resultater og gjøre full dekning vanskeligere, mens større biter bevarer mer kontekst. Å presse på for maksimal dekning kan oversvømme modellen med marginale avsnitt, så målet er nok dekning til å være fullstendig uten å begrave signalet. Denne balansen står i hjertet av evaluering av henting.
Ren recall har en blindsone. Fordi relevans vanligvis vurderes ett dokument om gangen, kan to avsnitt merkes som relevante selv om de sier det samme, så høy recall garanterer ikke at hver særskilte vinkel på et spørsmål er dekket. Derfor måles dekning noen ganger på nivå med ideer i stedet for dokumenter.
Delemne-recall tar tak i dette ved å måle andelen av særskilte delemner som dekkes av de øverste k hentede dokumentene, et mer nyansert bilde enn å telle relevante dokumenter alene. For et bredt spørsmål betyr ekte dekning at hver meningsfull side av emnet kommer fram, ikke ti nesten like avsnitt om én side. Å utforme innhold og henting rundt tydelige delemner, omtrent som når man bygger et sterkt emnekluster, forbedrer denne dypere formen for dekning.
Flere valg i prosessen former dekningen. Oppdeling i tekstbiter kommer først: hvis grensene deler en sammenhengende idé i flere biter, kan hentemotoren ta ett fragment og gå glipp av resten, så gjennomtenkt oppdeling av innhold i tekstbiter påvirker direkte hvor fullstendig informasjon kan finnes. Embeddingmodellen betyr også noe, siden svake embeddinger plasserer beslektede avsnitt langt fra hverandre i vektorrommet og senker recall.
Hentemetoden er den andre store spaken. Ren vektorsøk kan gå glipp av eksakte treff på ord, og derfor forbedrer hybride løsninger som kombinerer nøkkelord- og semantisk søk dekningen. Redis rapporterer at hybridsøk gir en forbedring i recall på 15 til 30 prosent sammenlignet med enkeltmetoder. Å øke k øker også dekningen, men på bekostning av forsinkelse og presisjon, så den må finjusteres i stedet for maksimeres.
AI-ene setter sammen svar ut fra avsnittene de henter, så dekning er porten innholdet ditt må gjennom for å bli sett. Hvis motorens hentesett aldri inkluderer siden din, kan du ikke bli sitert, oppsummert eller anbefalt, uansett hvor autoritativt innholdet er. Sterk dekning på motorsiden er muligheten for at innholdet ditt havner blant kildene som samles inn.
Det flytter optimaliseringen mot å kunne hentes for hele spekteret av relevante spørringer og delemner. Innhold som dekker et emne grundig, i klare og selvstendige avsnitt, er mer sannsynlig å være biten som fyller et dekningshull. Dette er generativ motoroptimalisering i praksis, og kombinert med nøye søkeordsresearch og innholdsplanlegging hjelper det deg å kartlegge delemnene en motor trenger å dekke.
På systemsiden starter du med oppdeling i tekstbiter og embeddinger, og legger deretter til hybridhenting for å fange treff som ren vektorsøk alene ville gått glipp av. Juster k oppover til dekningen er tilstrekkelig, og vurder utvidelse av spørringen slik at ett brukerspørsmål kobles til de flere formuleringene de relevante avsnittene kan bruke. Å måle recall at k mot et merket testsett forteller deg om endringene faktisk lukker hullene.
På innholdssiden skriver du slik at sidene dine er lette å hente fullstendig. Dekk særskilte delemner eksplisitt, hold hvert avsnitt fokusert og selvstendig, og unngå å gjemme sentrale fakta i lange, blandede avsnitt som deles dårlig opp. Å styrke AI-forankring på denne måten betyr at når en motor søker etter bevis, er innholdet ditt strukturert slik at det blir funnet.
Dekning er vanskelig å måle uten fasit. Recall krever kunnskap om hele settet av relevante dokumenter, og det er kostbart å merke og ofte subjektivt, så dekningsskårer avhenger av kvaliteten på evalueringssettet. Et flatterende recall-tall mot et tynt testsett kan skjule reelle hull i produksjon.
Presisjon har også sin pris. Jakten på maksimal dekning drar gjerne inn marginale avsnitt som legger til støy og kostnad, og Redis påpeker at henting kan stå for nesten halvparten av forsinkelsen til første token, og at fem svært relevante avsnitt ofte slår tjue marginale. Det praktiske målet er tilstrekkelig dekning av hvert viktig delemne, balansert mot den presisjonen og hastigheten applikasjonen trenger.
Hentingsdekning måler om en henter finner all relevant informasjon en spørring trenger, kvantifisert først og fremst gjennom recall og mer subtilt gjennom dekning av delemner. Den er fundamentet for RAG-kvalitet, fordi en modell bare kan svare ut fra det den får, og den formes av oppdeling i tekstbiter, embeddinger, hentemetode og k.
For å gå videre kan du koble dette med evaluering av henting og den bredere arkitekturen for gjenfinningsforsterket generering, og bruke Soranks research- og innholdsplanleggingsverktøy for å dekke delemnene motorene henter. Kildehenvisninger: Redis, Meilisearch og AutoRAG.
Kilder
Dekning, målt med recall, spør om du fant all relevant informasjon som finnes. Presisjon spør om det du fant faktisk er relevant. Et system kan ha høy presisjon men lav dekning hvis det returnerer noen få rene resultater, men går glipp av andre sentrale avsnitt. God RAG trenger nok dekning til å gi modellen hele bildet, balansert mot presisjon slik at den ikke drukner i støy.
Standardmålet er recall, ofte recall at k, som er antallet relevante dokumenter hentet i de øverste k delt på totalt antall relevante dokumenter. Finnes det ti relevante dokumenter og systemet henter syv av dem blant de ti øverste, er recall at ti 0.7. Recall for delemner utvider dette til å spørre hvor mange særskilte delemner det hentede settet dekker, et mer nyansert syn på dekning.
AI-ene setter sammen svar ut fra biter de henter, så hvis innholdet ditt aldri er med i det hentede settet, kan det ikke siteres. Sterk dekning på motorsiden betyr at den samler hele spekteret av relevante kilder, og det er din mulighet til å være blant dem. Å skrive klart, fullstendig og godt strukturert innhold som tar for seg særskilte delemner øker sjansene dine for å bli hentet.
DE PRØVDE SORANK FØR DEG
