A Geração Aumentada por Recuperação (RAG) fundamenta as respostas dos LLM em dados recuperados. Conheça a arquitetura, a fragmentação, os embeddings e o pipeline.

A Geração Aumentada por Recuperação (RAG) é uma estrutura que liga um grande modelo de linguagem a uma base de conhecimento externa, para que as suas respostas sejam fundamentadas em informação recuperada e atualizada, em vez de apenas nos seus dados de treino. Em vez de pedir ao modelo que recorde factos a partir dos seus pesos, um sistema RAG pesquisa primeiro um repositório de documentos, encontra as passagens mais relevantes para a pergunta e insere-as na instrução como contexto. O modelo compõe então uma resposta a partir dessas provas, muitas vezes com citações que um humano pode verificar.
Este artigo é o aprofundamento sobre como a RAG é de facto construída. Para uma visão geral mais curta e em linguagem simples do conceito, consulte a entrada complementar RAG. Aqui o foco é a arquitetura: o pipeline de indexação, a fragmentação, os embeddings, o repositório de vetores, a recuperação e a reordenação, e o que cada escolha de design significa para a precisão e para a visibilidade na pesquisa por IA.
A RAG é um design de sistema em que o passo de geração de um LLM é precedido por um passo de recuperação que obtém documentos relevantes de uma base de conhecimento externa e os injeta na instrução. Segundo a Weka, investigadores da Meta introduziram a RAG num artigo de 2020 para responder aos limites dos modelos que dependem apenas de dados de treino estáticos, combinando a precisão da recuperação com a fluência generativa. O resultado é um sistema híbrido que raciocina sobre provas que acabou de consultar.
A motivação é simples. O conhecimento paramétrico de um modelo está congelado no momento do treino e não pode cobrir os dados privados de uma organização nem as notícias de ontem. A RAG fecha essa lacuna sem reformar o treino. A Databricks reporta que mais de 60 por cento das organizações estão a construir ferramentas RAG precisamente porque precisam de respostas fiáveis fundamentadas em informação proprietária ou atual, em vez de suposições fabricadas.
A um nível geral, um sistema RAG funciona em duas fases. Primeiro, a recuperação: a pergunta do utilizador é codificada, o sistema pesquisa uma base de conhecimento externa por conteúdo semanticamente semelhante e devolve as passagens mais relevantes. Segundo, a geração: essas passagens são combinadas com a consulta original e enviadas ao modelo de linguagem, que sintetiza uma resposta fundamentada. Este padrão é o que separa a RAG de um modelo puro que simplesmente prevê a partir da memória.
Em produção, isto divide-se em dois fluxos distintos. Um pipeline de indexação offline ingere documentos para uma base de dados de vetores com antecedência, e um pipeline de consulta online recupera e compõe o contexto no momento em que uma pergunta chega. Manter o trabalho pesado offline é o que permite que a recuperação aconteça em milissegundos quando um utilizador realmente pergunta algo.
O pipeline offline prepara o seu conhecimento para uma pesquisa rápida. Segundo a BigData Boutique, tem três fases. Os documentos são fragmentados em segmentos, normalmente de 256 a 1024 tokens. Cada fragmento é convertido num vetor denso usando um modelo de embedding, como um modelo de embedding moderno da OpenAI ou da Cohere. Os vetores são depois armazenados numa base de dados como o Pinecone, o Weaviate, o Qdrant, o OpenSearch ou o Elasticsearch, juntamente com metadados como a página de origem.
Fazer isto uma vez, com antecedência, é a chave da eficiência. Em vez de analisar documentos inteiros no momento da consulta, o sistema já dividiu tudo em peças pequenas e indexadas, por isso, quando um utilizador faz uma pergunta, pesquisa apenas as partes mais relevantes em milissegundos. A qualidade deste pipeline determina em grande medida a qualidade de todas as respostas que se seguem.
A fragmentação é a alavanca mais subestimada num pipeline RAG de produção. Se os limites dos fragmentos cortarem o significado, mesmo o melhor modelo de embedding terá dificuldade em recuperar o contexto certo. A abordagem mais comum é a pré-fragmentação, que divide os documentos em peças fixas antes do embedding, exigindo decisões antecipadas sobre o tamanho do fragmento e a sobreposição, mas permitindo uma recuperação rápida porque tudo está pré-calculado.
Os fragmentos de tamanho fixo são apenas o ponto de partida. A BigData Boutique observa que a fragmentação semântica, as estratégias de pai e filho e as janelas deslizantes com sobreposição substituem cada vez mais as divisões fixas ingénuas para preservar o contexto do documento e reduzir os erros de recuperação. A estratégia certa depende do seu conteúdo: documentos técnicos longos, artigos de apoio curtos e dados tabulares beneficiam, cada um, de limites diferentes. Uma boa fragmentação de conteúdo é onde a qualidade da recuperação se ganha ou se perde.
Os embeddings são a ponte entre a linguagem e a pesquisa. Um modelo de embedding transforma texto numa representação numérica de alta dimensão que capta o significado semântico, para que passagens sobre a mesma ideia fiquem perto umas das outras no espaço vetorial, mesmo quando usam palavras diferentes. A Weka observa que estes vetores são muitas vezes produzidos por modelos baseados em transformadores, como o BERT ou o SBERT, a mesma família de técnicas por trás da pesquisa semântica.
Esses embeddings vivem numa base de dados de vetores construída para pesquisas de similaridade em escala. Sistemas como o FAISS, o Pinecone e o Elasticsearch indexam milhões de vetores e devolvem as correspondências mais próximas rapidamente usando pesquisa aproximada do vizinho mais próximo. Esta é a infraestrutura que alimenta a pesquisa vetorial, e é o que permite à RAG encontrar contexto relevante sem depender de correspondências exatas de palavras-chave.
No momento da consulta, o fluxo espelha a ingestão. O texto do utilizador é normalizado e transformado em embedding com o mesmo modelo usado para a indexação, e depois a pesquisa aproximada do vizinho mais próximo devolve os k fragmentos mais semelhantes do topo, muitas vezes cinco a dez. Os sistemas avançados acrescentam um passo de reordenação, pontuando esses candidatos com um codificador cruzado para empurrar as passagens verdadeiramente relevantes para o topo antes de algo chegar ao modelo.
Os refinamentos compõem-se. A BigData Boutique reporta que a pesquisa híbrida que combina o BM25 baseado em palavras-chave com vetores densos proporciona uma melhoria de recall de 15 a 30 por cento, elevando o recall de cerca de 0,72 para 0,91, enquanto a reordenação por codificador cruzado acrescenta mais 5 a 15 por cento de precisão. Os fragmentos selecionados são então injetados na instrução e o modelo gera uma resposta fundamentada, idealmente citando as fontes que usou.
A RAG é frequentemente comparada com a afinação, mas resolvem problemas diferentes. A afinação altera os pesos do modelo para ensinar estilo, formato ou competências específicas, e é cara de repetir sempre que os factos mudam. A RAG deixa o modelo intocado e troca o conhecimento no momento da consulta, o que a Weka destaca como mais adaptável, mais económico e mais adequado a domínios em evolução, como notícias, ciência e tecnologia.
As janelas de contexto longas são outra alternativa, uma vez que alguns modelos conseguem agora ler documentos muito grandes diretamente. Mas enfiar tudo na instrução é caro e dilui a atenção, ao passo que a RAG recupera apenas o que é relevante. Na prática, muitos sistemas combinam abordagens, e os designs modernos chegam a tratar a recuperação como uma ferramenta que um agente pode invocar, uma evolução que liga a RAG à pesquisa agêntica.
A RAG é a arquitetura por trás da maioria dos motores de resposta de IA, o que a torna central para a otimização de motores generativos. Quando um assistente responde a uma pergunta, está normalmente a recuperar fragmentos de algum lado e a fundamentar a sua resposta neles. O conteúdo que é recuperado e citado é o conteúdo que o seu público realmente vê, por isso ser recuperável é o novo ser classificável.
Isto reformula o design de conteúdo em torno do fragmento. Para ser a passagem que um sistema RAG puxa, as suas páginas precisam de afirmações claras e autossuficientes, factos precisos e estrutura que sobreviva à fragmentação e ao embedding. Uma forte fundamentação de IA favorece as fontes que são fáceis de extrair e verificar, por isso combinar conteúdo limpo e atómico com uma pesquisa de palavras-chave e planeamento de conteúdo disciplinados melhora diretamente as suas probabilidades de ser a fonte citada.
O benefício de destaque da RAG é a fundamentação. Ao ligar as respostas a conteúdo recuperado e atualizado, reduz a probabilidade de alucinação de IA, o que mais importa em domínios de alta precisão como a saúde, o jurídico e o apoio empresarial. Como os resultados podem incluir citações, os humanos podem verificar as alegações em vez de confiar cegamente no modelo.
Os casos de uso seguem-se naturalmente. A Databricks aponta para chatbots de apoio ao cliente que respondem com conhecimento específico da empresa, motores internos para perguntas de recursos humanos e conformidade, e o reforço da pesquisa que combina respostas de IA com resultados. Em cada caso, a RAG permite a uma organização pôr os seus próprios dados privados e atuais a trabalhar, sem o custo e o atraso de reformar o treino de um modelo.
A RAG é poderosa, mas não é gratuita. A recuperação acrescenta latência, por isso o pipeline tem de ser afinado para evitar respostas mais lentas, e a qualidade da resposta depende muito da atualidade e da completude da base de conhecimento. Lixo à entrada continua a significar lixo à saída: se a recuperação revelar fragmentos fracos ou irrelevantes, o modelo pode ainda assim produzir uma resposta confiante mas errada.
Há também modos de falha mais subtis. As consultas ambíguas podem recuperar o contexto errado, os dados sensíveis exigem encriptação e controlos de acesso, e os limites de fragmentos que dividem o significado degradam silenciosamente os resultados. A RAG atenua a alucinação em vez de a eliminar, por isso a qualidade da recuperação, a avaliação e a supervisão humana continuam a ser partes essenciais de qualquer implementação séria.
A Geração Aumentada por Recuperação fundamenta o resultado do modelo de linguagem em provas recuperadas, combinando um pipeline de indexação offline com um fluxo de recuperação e geração online. A sua qualidade assenta em engenharia prática: fragmentação sensata, embeddings fortes, um repositório de vetores rápido e recuperação e reordenação inteligentes. Bem feita, produz respostas precisas, atuais e citáveis que um modelo puro não consegue.
Para uma visão mais leve, leia a entrada complementar RAG, e ligue isto aos embeddings e à pesquisa vetorial para completar o quadro. Use as ferramentas de pesquisa e planeamento de conteúdo da Sorank para escrever o conteúdo extraível que estes sistemas recuperam. Fontes de referência: BigData Boutique, Databricks e WEKA.
A afinação incorpora novo conhecimento nos pesos de um modelo através de treino adicional, o que é caro e fica desatualizado à medida que os factos mudam. A RAG, em vez disso, deixa o modelo intocado e alimenta-o com documentos frescos e recuperados no momento da consulta, para que possa atualizar a base de conhecimento sem reformar o treino. A afinação é melhor para ensinar estilo ou formato, enquanto a RAG é melhor para conhecimento atual, factual e proprietário.
Não, reduz-as. Ao fundamentar as respostas em texto de origem recuperado e ao permitir citações, a RAG dá ao modelo provas reais em vez de o forçar a depender da memória. Mas o modelo pode ainda interpretar mal uma passagem, combinar fontes de forma incorreta ou alucinar quando a recuperação devolve fragmentos fracos ou irrelevantes. A qualidade da recuperação, a fragmentação e a verificação humana continuam todas a ser importantes.
A RAG é a arquitetura por trás da maioria dos motores de resposta de IA, por isso o conteúdo que eles recuperam e citam é o conteúdo que o seu público vê. Para ser o fragmento que um sistema RAG puxa, as suas páginas precisam de passagens claras e autossuficientes, factos precisos e uma estrutura limpa que sobreviva à fragmentação e ao embedding. Escrever conteúdo extraível e bem organizado melhora diretamente as suas probabilidades de ser recuperado e citado.