검색 평가는 RAG 시스템이 올바른 맥락을 얼마나 잘 찾아 활용하는지 측정합니다. 핵심 지표, RAG 트라이어드, 모범 사례를 알아보세요.
도구
요약
검색 평가(retrieval evaluation)는 검색 시스템이 올바른 문서를 얼마나 잘 찾는지, 그리고 모델이 그 문서를 얼마나 충실하게 활용하는지를 측정하는 작업으로, recall@k, precision@k, MRR, NDCG, 충실도(faithfulness) 같은 지표로 RAG 파이프라인의 품질을 판단합니다.
더 알아보고 싶다면 물어보세요
검색 평가는 검색 시스템이 올바른 정보를 찾아내는지, 그리고 생성된 답변이 그 정보를 실제로 잘 활용하는지를 측정하는 분야입니다. 검색 증강 생성 파이프라인에서 좋은 답변은 두 가지가 제대로 이루어져야 나옵니다. 검색기가 관련 맥락을 찾아야 하고, 모델이 그 맥락에 충실해야 합니다. 검색 평가는 이 두 가지를 수치화해 팀이 추측 대신 실패 원인을 진단하고 품질을 개선할 수 있게 합니다.
이것이 중요한 이유는 RAG 시스템이 조용히 실패할 수 있기 때문입니다. 답변이 유창하게 들려도 잘못된 구절에 근거하고 있을 수 있고, 검색기가 모델에 필요한 핵심 출처를 놓칠 수도 있습니다. RAG 시스템을 구축하는 사람이든, 그 시스템이 인용하는 출처가 되려는 사람이든, 이러한 시스템이 어떻게 평가되는지 이해하면 검색되기 좋은 우수한 콘텐츠가 어떤 모습인지 정확히 알 수 있습니다.
검색 평가는 RAG 파이프라인의 두 부분을 따로, 그리고 함께 평가합니다. 검색 부분은 시스템이 의미적으로 관련된 정보를 찾았는지를 묻습니다. 생성 부분은 응답이 의미 있고, 근거가 있으며, 주제에 맞는지를 묻습니다. 둘을 분리해 평가해야 검색 문제와 생성 문제를 구분할 수 있으며, 이것이 어느 쪽이든 해결하기 위한 첫 단계입니다.
검색 평가는 LLM 평가의 전문 분야입니다. 일반적인 모델 평가가 유창성이나 추론 능력을 판단한다면, 검색 평가는 근거에 집중합니다. 올바른 맥락이 검색되었는지, 그리고 모델이 그것을 존중했는지입니다. RAG 답변의 품질은 그 뒤에 있는 구절의 품질을 넘어설 수 없으므로, 이러한 근거 중심의 관점은 사람들이 신뢰할 수 있는 시스템을 만드는 데 필수적입니다.
검색 측면은 네 가지 지표를 기준으로 합니다. recall@k(재현율)는 전체 관련 문서 중 상위 k개 안에 포함된 비율로, langcopilot은 중요한 검색어에서 최소 80%를 목표로 할 것을 제안합니다. precision@k(정밀도)는 상위 k개 중 실제로 관련 있는 결과의 비율로, 정밀도가 높을수록 모델에 전달되는 노이즈가 줄어듭니다. 이 두 지표는 검색 커버리지와 품질을 측정하는 중추입니다.
순위 위치도 중요합니다. 평균 역순위(Mean Reciprocal Rank, MRR)는 첫 번째 관련 결과의 역순위를 평균한 값으로, 관련 결과가 1위면 1.0, 2위면 0.5, 깊이 묻혀 있으면 0에 가까운 점수를 주며, 질의응답 분야의 목표치는 0.7 이상입니다. 정규화 할인 누적 이득(Normalized Discounted Cumulative Gain, NDCG)은 등급화된 관련성을 다루고 순위에 따라 결과를 할인하므로, 1위의 관련 항목이 10위의 관련 항목보다 더 큰 가치를 가집니다. langcopilot은 잘 정의된 도메인에서 0.85 이상을 목표치로 제시합니다. 관련 답변이 여러 개인 구절 순위를 평가할 때는 NDCG가 자연스러운 선택입니다.
모델이 검색 결과를 잘못 활용하면 좋은 검색도 소용이 없으므로, 생성 측면에는 별도의 지표가 있습니다. 충실도(faithfulness)는 답변이 근거 없는 주장을 끼워 넣지 않고 검색된 근거에 얼마나 충실한지를 측정하며, 흔히 맥락으로 뒷받침되는 진술의 비율로 계산합니다. 의료나 법률처럼 위험도가 높은 분야에서는 근거 없는 주장이 잠재적인 AI 환각이 되므로 목표치가 100%에 가깝습니다.
답변 관련성(answer relevance)은 응답이 실제로 질문에 답하고 주제를 벗어나지 않는지를 물으며, 보통 답변과 검색어 사이의 임베딩 유사도나 언어 모델 평가자를 통해 측정합니다. 주장이 출처로 뒷받침되는지를 보는 인용 커버리지가 전체 그림을 완성합니다. 이 지표들이 함께 시스템이 검색을 잘하는 데 그치지 않고, 적절한 출처 인용과 함께 근거 있고 유용한 답변을 만들어 내도록 보장합니다.
실용적인 출발점은 RAG 트라이어드(RAG triad)입니다. Qdrant는 이를 검색 효과성, 응답 관련성, 일관성으로 정리하고, 다른 가이드들은 맥락 관련성, 충실도, 답변 관련성으로 표현합니다. 핵심은 이 세 가지 점검이 가장 흔한 실패 유형, 즉 잘못된 검색, 환각이 섞인 생성, 주제를 벗어난 답변을 잡아낸다는 것입니다.
세 가지를 함께 읽으면 진단이 가능합니다. 맥락 관련성이 낮으면 검색기가 문제입니다. 맥락은 좋은데 충실도가 낮으면 모델이 근거에서 벗어나고 있는 것입니다. 둘 다 괜찮은데 답변 관련성이 낮으면 시스템이 근거는 갖추었지만 사용자의 실제 의도를 놓치고 있는 것입니다. 이러한 분리 덕분에 트라이어드는 더 세분화된 지표를 추가하기 전에 쓰기 좋은 첫 번째 렌즈가 됩니다.
크게 두 가지 접근법이 있습니다. 정답 기반(ground truth) 평가는 원본 문서에서 질문과 답변 쌍을 만든 다음, 0에서 1 사이 척도의 유사도 및 정확도 점수로 생성된 응답을 기대 답변과 비교합니다. 엄밀하지만 무엇이 관련 있고 정확한지를 누군가 라벨링해야 하므로 노동 집약적입니다.
대안은 언어 모델을 평가자로 활용하는 것입니다. 프레임워크가 충실도, 관련성, 맥락 품질을 자동으로 채점하므로 수동 검토보다 훨씬 잘 확장됩니다. Qdrant는 응답 품질을 평가하기 위한 LLM 평가자(LLM-as-a-judge) 방법론을 설명하며, 실제로 팀들은 신뢰할 수 있는 벤치마크를 위한 라벨링된 핵심 세트와 폭넓고 잦은 점검을 위한 자동 평가를 혼합하는 경우가 많습니다.
RAGAS는 RAG 평가를 위해 특별히 만들어진 인기 오픈소스 프레임워크입니다. 맥락 정밀도, 맥락 재현율, 충실도, 답변 관련성 등 언어 모델 평가자로 계산하는 참조 불필요(reference-free) 지표를 제공하므로, 라벨링된 정답 데이터가 필요 없는 경우가 많습니다. 바로 사용할 수 있고 문서에서 합성 테스트 질의를 생성할 수도 있어, 체계적인 평가의 진입 장벽을 낮춰 줍니다.
RAGAS의 방식은 답변을 원자 단위의 진술로 나누고 각각을 검색된 맥락과 대조하는 것이며, 그래서 충실도를 매우 정밀하게 채점할 수 있습니다. langcopilot에 따르면 RAGAS 지표는 사람의 판단과 높은 상관관계를 보였으며, 일반 모델의 단순한 제로샷 채점보다 우수했습니다. 이러한 신뢰성 덕분에 RAGAS는 평가를 체계화하려는 많은 팀의 기본 출발점이 되었습니다.
RAG 시스템을 평가하는 지표는 여러분의 콘텐츠가 AI에 의해 발견되고 활용되는 방식도 설명합니다. 충실도는 엔진이 확신을 갖고 주장의 근거로 삼을 수 있는 출처에 보상하고, MRR과 NDCG 같은 순위 지표는 일찍, 명확하게 노출되는 콘텐츠에 보상합니다. 이러한 시스템이 무엇을 최적화하는지 이해하면 추출 가능하고 신뢰할 수 있는 콘텐츠가 내부에서 어떻게 보이는지 알 수 있습니다.
그래서 검색 평가는 생성형 엔진 최적화(GEO)의 숨은 설계도가 됩니다. 인용되는 구절이 되고 싶다면 엔진의 암묵적인 점검에서 좋은 점수를 받는 콘텐츠, 즉 정확하고, 독립적으로 완결되며, 출처를 밝히기 쉬운 콘텐츠를 작성하세요. 이러한 사고방식을 체계적인 키워드 리서치와 콘텐츠 기획과 결합하면 강력한 근거가 인용을 얻는 검색어를 겨냥할 수 있습니다.
평가는 데이터의 품질을 넘어설 수 없습니다. 정답 라벨은 비용이 많이 들고 주관적이며, 빈약하거나 편향된 테스트 세트는 실제 문제를 감추는 후한 점수를 낼 수 있습니다. 언어 모델 평가자는 그 비용을 줄이지만 고유한 편향을 가져오므로, 그 판정을 주기적으로 사람의 검토와 대조해야 합니다.
어떤 단일 수치도 전체를 말해 주지 않습니다. 시스템은 재현율은 높지만 충실도가 낮을 수도 있고, 관련 없는 답변에서 충실도가 높게 나올 수도 있으므로, 이 지표들은 점수판이 아니라 패널로 함께 사용됩니다. 더 넓은 AI 벤치마크 분야도 같은 주의가 필요합니다. 지표는 개선 방향을 안내하지만, 함께 해석되어야 하며 사람의 감독으로 정직하게 유지되어야 합니다.
검색 평가는 RAG 시스템이 올바른 맥락을 찾는지와 그 맥락을 충실하게 활용하는지를 모두 측정하며, 재현율, 정밀도, MRR, NDCG 같은 검색 지표와 충실도, 답변 관련성 같은 생성 지표를 결합합니다. RAG 트라이어드는 빠른 1차 진단을 제공하고, RAGAS 같은 프레임워크는 체계적인 평가를 쉽게 만들어 줍니다.
더 나아가려면 이를 검색 커버리지 및 더 넓은 검색 증강 생성 아키텍처와 연결하고, Sorank의 리서치 및 콘텐츠 기획 도구로 이러한 시스템이 검색하고 신뢰하는 콘텐츠를 만드세요. 참고 자료: Qdrant, LangCopilot, Redis.
출처
검색 측면의 핵심 지표는 recall@k(관련 문서를 찾았는가), precision@k(검색된 결과가 관련 있는가), MRR(첫 번째 관련 결과가 상위에 있는가), NDCG(위치에 따라 가중치를 둔 등급별 관련성)입니다. 생성 측면에서는 충실도와 답변 관련성이 가장 중요합니다. 많은 팀이 맥락 관련성, 충실도, 답변 관련성으로 이루어진 RAG 트라이어드로 시작합니다.
RAGAS는 RAG 시스템 평가를 위해 특별히 만들어진 오픈소스 프레임워크입니다. 언어 모델을 평가자로 활용해 계산하는 맥락 정밀도, 맥락 재현율, 충실도, 답변 관련성 같은 참조 불필요 지표를 제공하므로, 라벨링된 정답 데이터가 필요 없는 경우가 많습니다. 바로 사용할 수 있고 문서에서 합성 테스트 질문을 생성할 수 있으며, 그 점수는 사람의 판단과 높은 상관관계를 보였습니다.
AI는 콘텐츠를 검색하고 종합하며, 그 파이프라인을 평가하는 지표는 여러분의 콘텐츠가 발견되고 활용되는 방식도 설명합니다. 충실도는 엔진이 주장의 근거로 삼을 수 있는 콘텐츠에 보상하고, 순위 지표는 일찍, 명확하게 노출되는 콘텐츠에 보상합니다. 평가를 이해하면 검색되고 인용될 가능성이 더 높은, 추출 가능하고 정확하며 잘 구조화된 페이지를 작성하는 데 도움이 됩니다.
먼저 Sorank를 경험한 사람들
“2년 동안 제 고객의 100%는 LinkedIn에서 왔습니다. 매일 게시물을 올리고, 댓글을 달고, DM으로 후속 연락을 하고… 알고리즘에 완전히 의존하는 방식이었습니다. SEO를 해야 한다는 것은 알았지만 늘 미뤘습니다. 시간이 오래 걸리고, 너무 기술적이며, 제 일이 아니라고 생각했기 때문입니다. Sorank와 함께 드디어 첫걸음을 내디뎠습니다. 4개월 만에 아무것도 게시하지 않고도 매달 15건의 오가닉 리드를 확보하고 있습니다. 아직 LinkedIn과 50 대 50은 아니지만, 자동 운영으로 성장하는 두 번째 리드 채널이 생겼다는 사실에 훨씬 마음이 놓입니다.”
Valentin Thomy콜드메일 대행사“Sorank는 저희가 고객사에 제공하는 성과를 완전히 바꿔 놓았습니다. 이제 AI가 실제로 사용하는 키워드를 파악하고, 특정 경쟁사가 인용되는 이유를 이해하며, 이전에는 전혀 보지 못했던 기회를 발견합니다. 고객사는 더 빠른 순위 상승, AI 답변에서의 더 나은 가시성, 그리고 실행하는 모든 작업에 대한 더 명확한 ROI를 확인합니다.”
Benjamin Rouxovirank.com
“저는 마케터가 아니라 개발자입니다. 제 Shopify 테마는 입소문과 광고로만 팔리고 있었습니다. Sorank 덕분에 드디어 SEO를 어떻게 구조화하고 상위에 노출되는 글을 어떻게 써야 하는지 이해했습니다. 진단 결과 제품 페이지가 너무 느리다는 사실이 드러났습니다. 2개월 만에 오가닉 트래픽이 두 배가 되었고, 사람들이 Shopify 테마를 검색할 때 ChatGPT 답변에 등장하기 시작했습니다. 그 모든 것을 주당 약 2시간으로 해냈습니다.”
Thème FullStackthemefullstack.com“Sorank는 저희 SEO 대행사의 운영 방식을 완전히 바꿔 놓았습니다. 모든 것이 한곳에 모이고 자동화되어 고객사마다 들이는 시간이 훨씬 줄었습니다. 예전에 몇 시간씩 걸리던 작업이 이제 몇 분이면 끝나고, 덕분에 드디어 사업 안에서 일하는 것을 멈추고 사업 위에서 일하기 시작할 수 있게 되었습니다.”
Océane Bondismaison-leverage.com
