A visszakeresés-kiegészített generálás (RAG) az LLM-válaszokat lekért adatokhoz köti. Ismerd meg az architektúrát, a darabolást, a beágyazásokat és a visszakeresési folyamatot.

Ezen az oldalon
Összefoglaló
A visszakeresés-kiegészített generálás (RAG) olyan AI-architektúra, amely a generálás elé egy visszakeresési lépést iktat be: releváns dokumentumokat tölt le egy külső tudásbázisból, azokat kontextusként a promptba illeszti, és a nyelvi modell válaszát valós adatokhoz köti, nem csak a memóriájához.
Szeretnél többet megtudni? Kérdezd meg
A visszakeresés-kiegészített generálás (RAG) egy olyan keretrendszer, amely egy nagy nyelvi modellt külső tudásbázishoz köt, így a válaszai visszakeresett, naprakész információn alapulnak, nem csak a tanítási adatain. Ahelyett, hogy a modellt arra kérné, hogy a súlyaiból idézzen fel tényeket, a RAG-rendszer először dokumentumtárat keres, megtalálja a kérdéshez legrelevánsabb részleteket, és kontextusként a promptba illeszti őket. A modell ebből a bizonyítékból állítja össze a választ, gyakran olyan forrásmegjelölésekkel, amelyeket egy ember ellenőrizni tud.
Ez a cikk a RAG tényleges felépítésének részletes bemutatása. A fogalom rövidebb, közérthető áttekintéséhez olvasd el a kapcsolódó RAG szócikket. Itt az architektúra a fókusz: az indexelési folyamat, a darabolás, a beágyazások, a vektortár, a visszakeresés és az újrarangsorolás, valamint az, hogy az egyes tervezési döntések mit jelentenek a pontosság és az AI-keresési láthatóság szempontjából.
A RAG olyan rendszertervezés, amelyben egy LLM generáló lépését egy visszakeresési lépés előzi meg: ez releváns dokumentumokat tölt le egy külső tudásbázisból, és a promptba illeszti őket. A Weka szerint a Meta kutatói egy 2020-as tanulmányban mutatták be a RAG-et, hogy kezeljék a kizárólag statikus tanítási adatokra támaszkodó modellek korlátait, a visszakeresés pontosságát a generatív folyékonysággal ötvözve. Az eredmény egy hibrid rendszer, amely az imént kikeresett bizonyítékok alapján gondolkodik.
Az indok egyszerű. A modell paraméteres tudása a tanítás idején befagy, és nem fedi le egy szervezet privát adatait vagy a tegnapi híreket. A RAG ezt a rést újratanítás nélkül zárja be. A Databricks szerint a szervezetek több mint 60%-a épít RAG-eszközöket éppen azért, mert megbízható válaszokra van szükségük, amelyek saját vagy aktuális információn alapulnak, nem kitalált feltételezéseken.
Magas szinten a RAG-rendszer két fázisban fut. Először a visszakeresés: a felhasználó kérdését kódolják, a rendszer szemantikusan hasonló tartalmat keres egy külső tudásbázisban, és visszaadja a legrelevánsabb részleteket. Másodszor a generálás: ezeket a részleteket összefűzik az eredeti lekérdezéssel, és elküldik a nyelvi modellnek, amely megalapozott választ szintetizál. Ez a minta különbözteti meg a RAG-et a puszta modelltől, amely egyszerűen a memóriájából jósol.
Éles környezetben ez két külön folyamatra oszlik. Egy offline indexelési folyamat előre betölti a dokumentumokat egy vektoradatbázisba, egy online lekérdezési folyamat pedig a kérdés érkezésekor keres és állít össze kontextust. A nehéz munka offline tartása teszi lehetővé, hogy a visszakeresés ezredmásodpercek alatt megtörténjen, amikor a felhasználó ténylegesen kérdez.
Az offline folyamat készíti elő a tudást a gyors keresésre. A BigData Boutique szerint három szakaszból áll. A dokumentumokat szegmensekre, jellemzően 256-1024 tokenes darabokra bontják. Minden darabot sűrű vektorrá alakítanak egy beágyazó modellel, például egy modern OpenAI- vagy Cohere-beágyazó modellel. A vektorokat ezután olyan adatbázisban tárolják, mint a Pinecone, a Weaviate, a Qdrant, az OpenSearch vagy az Elasticsearch, a forrásoldal szerinti metaadatokkal együtt.
A kulcs a hatékonyság, és ez előre, egyszer történik meg. Ahelyett, hogy a lekérdezéskor teljes dokumentumokat végigpásztázna, a rendszer már kisebb, indexelt darabokra bontott mindent, így amikor a felhasználó kérdez, csak a legrelevánsabb részekben keres, ezredmásodpercek alatt. Ennek a folyamatnak a minősége nagyrészt meghatározza az utána következő összes válasz minőségét.
A darabolás a legjobban alulbecsült tényező egy éles RAG-folyamatban. Ha a darabhatárok átvágják a jelentést, még a legjobb beágyazó modell is nehezen fogja megtalálni a megfelelő kontextust. A leggyakoribb megközelítés az előzetes darabolás, amely a dokumentumokat fix részekre bontja a beágyazás előtt. Ehhez előre kell dönteni a darabméretről és az átfedésről, cserébe viszont gyors a visszakeresés, mert minden előre ki van számítva.
A fix méretű darabok csak a kiindulópont. A BigData Boutique megjegyzi, hogy a szemantikus darabolás, a szülő-gyermek stratégiák és az átfedő csúszóablakok egyre inkább felváltják a naiv, fix felosztást, hogy megőrizzék a dokumentum kontextusát és csökkentsék a visszakeresési hibákat. A helyes stratégia a tartalomtól függ: a hosszú műszaki dokumentumok, a rövid támogatási cikkek és a táblázatos adatok eltérő határokból profitálnak. A jó tartalom-darabolás dönti el, hogy nyer vagy veszít a visszakeresés minősége.
A beágyazások hidat képeznek a nyelv és a keresés között. Egy beágyazó modell szöveget magas dimenziós számábrázolássá alakít, amely megragadja a szemantikus jelentést, így ugyanarról az ötletről szóló szövegrészek a vektortérben közel kerülnek egymáshoz akkor is, ha más szavakat használnak. A Weka szerint ezeket a vektorokat gyakran transzformer-alapú modellek, például a BERT vagy az SBERT állítják elő, ugyanabból a technikacsaládból, amely a szemantikus keresés mögött áll.
Ezek a beágyazások egy vektoradatbázisban élnek, amelyet a nagy léptékű hasonlósági keresésre terveztek. Olyan rendszerek, mint a FAISS, a Pinecone és az Elasticsearch, több millió vektort indexelnek, és hozzávetőleges legközelebbi szomszéd keresés révén gyorsan visszaadják a legközelebbi találatokat. Ez az infrastruktúra működteti a vektoros keresést, és ez teszi lehetővé, hogy a RAG kulcsszavas egyezés nélkül is megtalálja a releváns kontextust.
Lekérdezéskor a folyamat tükrözi a betöltést. A felhasználó szövegét ugyanazzal a modellel normalizálják és beágyazzák, amellyel az indexelés történt, majd a hozzávetőleges legközelebbi szomszéd keresés visszaadja a legtöbb hasonló, top-k darabot, gyakran öt-tíz darabot. A fejlettebb rendszerek egy újrarangsorolási lépést is hozzáadnak: egy cross-encoder pontozza a jelölteket, hogy a valóban releváns részletek a modell elé kerülés előtt a lista élére kerüljenek.
A finomítások egymásra épülnek. A BigData Boutique szerint a kulcsszó-alapú BM25-öt sűrű vektorokkal ötvöző hibrid keresés 15-30%-os visszahívás-javulást hoz, a visszahívást nagyjából 0,72-ről 0,91-re emelve, a cross-encoderes újrarangsorolás pedig további 5-15%-os pontosságnövekedést ad. A kiválasztott darabokat ezután a promptba illesztik, a modell pedig megalapozott választ generál, ideális esetben megnevezve a használt forrásokat.
A RAG-et gyakran a finomhangolással hasonlítják össze, de más problémákat oldanak meg. A finomhangolás a modell súlyait változtatja meg, hogy stílust, formátumot vagy szűk képességeket tanítson meg, és drága újra elvégezni, valahányszor a tények változnak. A RAG érintetlenül hagyja a modellt, és a tudást lekérdezéskor cseréli ki, amit a Weka alkalmazkodóbbnak, költséghatékonyabbnak és a változó területekre, például a hírekre, a tudományra és a technológiára jobban illőnek tart.
A hosszú kontextusablakok egy másik alternatíva, mivel néhány modell ma már közvetlenül olvas nagyon hosszú dokumentumokat. Ha azonban mindent a promptba zsúfolunk, az drága, és szétszórja a figyelmet, a RAG viszont csak a relevánsat keresi vissza. A gyakorlatban sok rendszer ötvözi a megközelítéseket, a modern tervek pedig a visszakeresést olyan eszközként kezelik, amelyet egy ügynök meghívhat, ez a fejlődés köti a RAG-et az ügynök-alapú kereséshez.
A RAG áll a legtöbb AI-asszisztens mögött, ezért a generatív motoroptimalizálás központi eleme. Amikor egy asszisztens válaszol egy kérdésre, általában valahonnan szövegdarabokat keres vissza, és ezekre alapozza a választ. A visszakeresett és idézett tartalom az, amit a közönséged valójában lát, így a visszakereshetőség lett az új rangsorolhatóság.
Ez a tartalomtervezést a szövegdarab köré helyezi. Ahhoz, hogy te legyél az a részlet, amelyet a RAG-rendszer kiemel, az oldalaidnak világos, önállóan is megálló állításokra, pontos tényekre és olyan szerkezetre van szükségük, amely átvészeli a darabolást és a beágyazást. Az erős AI-megalapozás azokat a forrásokat részesíti előnyben, amelyeket könnyű kinyerni és ellenőrizni, így a tiszta, atomi tartalom párosítása a fegyelmezett kulcsszókutatással és tartalomtervezéssel közvetlenül javítja az esélyedet, hogy te legyél a megidézett forrás.
A RAG fő előnye a megalapozás. Azzal, hogy a válaszokat visszakeresett, naprakész tartalomhoz köti, csökkenti az AI-hallucináció esélyét, ami a legnagyobb súlyú a pontosságra érzékeny területeken, például az egészségügyben, a jogi és a vállalati ügyfélszolgálatban. Mivel a kimenetek tartalmazhatnak forrásokat, az emberek ellenőrizhetik az állításokat, nem kell vakon megbízniuk a modellben.
A felhasználási esetek ebből adódnak. A Databricks ügyfélszolgálati chatbotokat említ, amelyek a cég saját tudására építve válaszolnak, belső rendszereket HR- és megfelelőségi kérdésekre, valamint olyan keresési kiegészítést, amely az AI-válaszokat találatokkal párosítja. Mindegyik esetben a RAG lehetővé teszi, hogy a szervezet a saját, privát és aktuális adatait használja anélkül, hogy a modell újratanításának költségét és késését vállalnia kellene.
A RAG erős, de nem ingyenes. A visszakeresés késleltetést ad, ezért a folyamatot úgy kell hangolni, hogy ne lassítsa a válaszokat, a válaszok minősége pedig nagymértékben függ a tudásbázis frissességétől és teljességétől. A hibás bemenet továbbra is hibás kimenetet ad: ha a visszakeresés gyenge vagy irreleváns darabokat hoz felszínre, a modell akkor is magabiztos, de téves választ adhat.
Vannak finomabb hibamódok is. A kétértelmű lekérdezések rossz kontextust hozhatnak vissza, az érzékeny adatokhoz titkosítás és hozzáférés-szabályozás kell, a jelentést megtörő darabhatárok pedig csendben rontják az eredményeket. A RAG enyhíti a hallucinációt, de nem szünteti meg, ezért a visszakeresés minősége, az értékelés és az emberi felügyelet minden komoly bevezetés elengedhetetlen része.
A visszakeresés-kiegészített generálás a nyelvi modell kimenetét visszakeresett bizonyítékhoz köti: egy offline indexelési folyamatot egészít ki egy online visszakeresési és generálási lánccal. Minősége gyakorlati mérnöki munkán múlik: ésszerű darabolás, erős beágyazások, gyors vektortár, valamint okos visszakeresés és újrarangsorolás. Jól megvalósítva pontos, aktuális, idézhető válaszokat ad, amelyekre egy puszta modell nem képes.
Egy könnyedebb áttekintéshez olvasd el a kapcsolódó RAG szócikket, és a teljes kép érdekében kapcsold ehhez a beágyazásokat és a vektoros keresést. A Sorank kutatási és tartalomtervezési eszközeit használd arra, hogy megírd azt a kinyerhető tartalmat, amelyet ezek a rendszerek visszakeresnek. Forrásmegjelölések: BigData Boutique, Databricks és WEKA.
Források
A finomhangolás új tudást visz be a modell súlyaiba további tanítással, ami költséges, és elavul, amint a tények változnak. A RAG ezzel szemben érintetlenül hagyja a modellt, és lekérdezéskor friss, visszakeresett dokumentumokat ad neki, így a tudásbázis újratanítás nélkül frissíthető. A finomhangolás a stílus vagy a formátum tanítására a legjobb, a RAG pedig az aktuális, tényszerű és saját tudásra.
Nem, csökkenti őket. Azzal, hogy a válaszokat visszakeresett forrásszöveghez köti, és lehetővé teszi a forrásmegjelöléseket, a RAG valódi bizonyítékot ad a modellnek, ahelyett hogy a memóriájára kényszerítené. A modell azonban így is félreolvashat egy részletet, rosszul kapcsolhat össze forrásokat, vagy hallucinálhat, ha a visszakeresés gyenge vagy irreleváns darabokat ad. A visszakeresés minősége, a darabolás és az emberi ellenőrzés továbbra is fontos.
A RAG áll a legtöbb AI-asszisztens mögött, így az, amit visszakeresnek és idéznek, az a tartalom, amelyet a közönséged lát. Ahhoz, hogy te legyél az a szövegdarab, amelyet a RAG-rendszer kiemel, az oldalaidnak világos, önállóan is megálló részletekre, pontos tényekre és olyan tiszta szerkezetre van szükségük, amely átvészeli a darabolást és a beágyazást. A kinyerhető, jól szervezett tartalom írása közvetlenül javítja az esélyedet, hogy visszakeressék és megidézzék.
A TE ELŐTTED PRÓBÁLTÁK KI A SORANKOT
