검색엔진은 어떻게 작동할까? 크롤링, 색인, 순위 결정과 AI 답변까지

검색엔진이 어떻게 작동하는지 이해하는 것은 모든 SEO 결정의 기초입니다. 크롤링되지 않은 페이지는 색인될 수 없고, 색인되지 않은 페이지는 순위를 얻을 수도, AI 어시스턴트에게 인용될 수도 없습니다. Google은 Google 검색 작동 방식에 대한 상세 가이드에서 이 과정을 설명합니다. 이 글은 같은 단계를 따라가면서 Bing의 차이점을 더하고, 파란 링크 목록 대신 ChatGPT, Gemini, Perplexity가 답할 때 무엇이 달라지는지 보여 줍니다.

검색엔진이란 무엇인가요?

검색엔진은 검색어에 맞는 웹페이지를 찾아 주는 소프트웨어입니다. 두 부분으로 이루어집니다. 이미 발견하고 분석한 페이지의 데이터베이스인 색인, 그리고 어떤 색인 페이지가 검색어에 가장 잘 답하는지, 어떤 순서로 보여 줄지 결정하는 순위 시스템입니다. 검색어를 입력할 때 검색엔진은 실시간 웹을 뒤지지 않고, 자신이 저장해 둔 웹의 사본을 검색합니다. 그래서 오늘 아침에 발행한 페이지가 며칠 동안 보이지 않을 수 있습니다.

대부분의 기술적 선택은 규모로 설명됩니다. Google에 따르면 Google 검색 색인은 수천억 개의 웹페이지를 포함하며 크기가 100,000,000GB를 훨씬 넘습니다(Google, How Search Works). 매일 모든 것을 다시 크롤링할 수 있는 검색엔진은 없기 때문에, 각 검색엔진은 무엇을 가져오고, 무엇을 보관하고, 무엇을 보여 줄지 우선순위를 정합니다. 대부분의 국가에서 Google이 압도적이지만 Bing, Yandex, Baidu, Naver, 개인정보 보호 중심 검색엔진도 같은 논리를 따릅니다. 자세한 내용은 Google 대체 검색엔진 목록에서 확인할 수 있습니다.

검색엔진은 단계별로 어떻게 작동하나요?

세 가지 고전적인 단계를 다섯 단계로 나누면, 단계마다 조정할 수 있는 요소가 분명해져 대응하기가 쉬워집니다.

1단계: 크롤링, 페이지 발견

크롤링은 발견 단계입니다. 크롤러라고 불리는 자동 프로그램(Google의 Googlebot, Bing의 Bingbot)은 이미 알고 있는 URL에서 출발해 링크를 따라가며 새 URL을 찾습니다. 사이트 소유자가 제출한 XML 사이트맵도 읽습니다. Google은 Googlebot이 알고리즘을 사용해 어떤 사이트를, 얼마나 자주, 사이트마다 몇 페이지를 가져올지 결정하며, 서버에 과부하를 주지 않도록 너무 빠르게 크롤링하지 않는다고 설명합니다.

크롤링을 막는 요인은 세 가지입니다. robots.txt 파일의 disallow 규칙, 로그인이 필요한 페이지, 그리고 서버 오류나 시간 초과입니다. 개선할 수 있는 요소는 고아 페이지가 없는 깔끔한 내부 링크 구조, 최신 상태의 XML 사이트맵, 빠르고 안정적인 서버입니다. 대형 사이트는 크롤링 예산, 즉 크롤러가 일정 기간 동안 해당 사이트에서 가져가려는 URL 수도 관리합니다.

2단계: 렌더링, 브라우저처럼 페이지 보기

많은 페이지가 JavaScript로 콘텐츠를 만듭니다. Google은 최신 버전의 Chrome으로 페이지를 렌더링하므로 스크립트를 실행해 방문자가 보는 내용을 그대로 볼 수 있습니다. 하지만 렌더링에는 자원이 들고 지연될 수 있으며, 클릭해야만 나타나는 콘텐츠나 오류가 나는 스크립트에 의존하는 콘텐츠는 끝내 보이지 않을 수 있습니다. 여러 AI 크롤러를 포함한 다른 많은 크롤러는 JavaScript를 전혀 실행하지 않습니다. 핵심 콘텐츠는 초기 HTML에 들어 있어야 합니다.

3단계: 색인, 이해하고 저장하기

색인은 분석 단계입니다. 검색엔진은 텍스트, 제목, 소제목, 이미지, 동영상, 구조화된 데이터를 읽고, 비슷한 콘텐츠의 페이지를 묶은 뒤 대표 URL 하나를 고릅니다. 이것이 검색 결과에 나타날 수 있는 버전인 표준 URL(canonical)입니다. 그리고 해당 페이지에 대한 신호, 즉 언어, 대상 국가, 최신성, 사용성을 저장합니다. Google은 자사 색인을 책 뒤쪽의 색인에 비유하며, 색인된 모든 페이지에 나온 모든 단어마다 항목이 있다고 설명합니다.

색인은 결코 보장되지 않습니다. Google은 처리한 모든 페이지가 색인되는 것은 아니라고 분명히 밝힙니다. 내용이 부실하거나 중복된 콘텐츠, noindex 지시어, 분석을 어렵게 만드는 디자인은 페이지를 색인에서 제외시킬 수 있습니다. Google에 페이지를 색인시키는 방법 가이드에서 해결책을 다루며, 무료 색인 가능성 검사 도구로 URL이 색인될 수 있는지 몇 초 만에 확인할 수 있습니다.

4단계: 순위 결정, 가장 좋은 답 고르기

검색어가 들어오면 검색엔진은 먼저 그것을 해석합니다. 철자, 동의어, 언어, 위치, 그리고 단어 뒤에 숨은 의도(정보 찾기, 비교, 구매, 특정 사이트 방문)입니다. 그다음 색인에서 후보 페이지를 가져와 함께 작동하는 여러 순위 시스템으로 정렬합니다. Google은 주요 요소를 검색어의 의미, 콘텐츠의 관련성, 품질, 페이지의 사용성, 그리고 위치와 설정 같은 검색 맥락으로 정리합니다. 다른 사이트에서 오는 링크는 여전히 권위의 신호입니다. 전체 내용은 Google 순위 요소 분석에서 확인하세요.

자주 오해하는 점이 두 가지 있습니다. 첫째, Google은 사이트를 더 자주 크롤링하거나 더 높은 순위에 올리는 대가로 돈을 받지 않는다고 밝힙니다. 광고는 별도로 판매되며 광고로 표시됩니다. 둘째, 검색 결과에는 개인 검색 기록보다 위치와 언어가 훨씬 큰 영향을 줍니다.

5단계: 결과 표시, 검색 결과 페이지 구성

마지막 단계에서 검색 결과 페이지가 만들어집니다. 예전의 파란 링크 10개는 이제 광고, 지역 결과, 이미지, 동영상, '관련 질문' 상자, 추천 스니펫, 그리고 많은 정보성 검색어에서는 AI Overview가 섞인 화면으로 바뀌었습니다. 표시되는 제목과 설명은 title 태그, 메타 설명, 페이지 콘텐츠에서 나오며, 구조화된 데이터는 페이지를 리치 결과 대상으로 만들 수 있습니다. 각 형식이 모두 노출될 추가 기회입니다.

Bing은 Google과 무엇이 다른가요?

Bing도 크롤링, 색인, 순위 결정이라는 같은 모델을 따르지만 실무적으로 몇 가지 차이가 있습니다. 가장 큰 차이는 IndexNow입니다. URL이 추가, 수정, 삭제되면 다음 크롤링을 기다리지 않고 즉시 검색엔진에 알릴 수 있는 프로토콜입니다. IndexNow.org에 따르면 이 프로토콜은 Microsoft Bing, Naver, Seznam.cz, Yandex, Yep이 지원하며, Google은 도입하지 않았습니다. Bing의 검색 결과는 Microsoft Copilot에도 활용됩니다. Bing의 점유율은 대부분의 국가에서 낮지만, Bing Webmaster Tools 설정은 몇 분이면 끝나고 두 번째 트래픽과 데이터 공급원을 열어 줍니다.

ChatGPT와 AI Overviews 같은 AI 어시스턴트는 콘텐츠를 어떻게 찾나요?

AI 답변은 검색엔진을 대체하기보다 그 위에서 작동합니다. 대부분은 검색 증강 생성(RAG)을 사용합니다. 시스템이 한 번 또는 여러 번 검색을 실행해 웹 색인에서 가장 관련성 높은 구절을 가져오고, 언어 모델이 그 출처 중 일부를 인용하는 답변을 작성합니다.

• Google AI Overviews와 AI 모드는 Google 자체 색인을 사용합니다. Google의 AI 기능과 웹사이트 안내 페이지에 따르면 페이지는 색인되어 있고 스니펫과 함께 표시될 수 있기만 하면 되며, 특별한 마크업이나 AI 전용 텍스트 파일은 필요하지 않습니다. 이 기능들은 'query fan-out'을 사용해 하위 주제별로 관련 검색을 여러 번 실행하고 근거가 되는 페이지를 모읍니다.
• ChatGPT search는 OpenAI의 크롤러 OAI-SearchBot으로 페이지를 가져옵니다. OpenAI의 크롤러 문서에 따르면 OAI-SearchBot을 차단한 사이트는 ChatGPT search 답변에서 제외되며, GPTBot은 모델 학습에 쓰이는 별도의 크롤러입니다.
• Gemini, Perplexity, Claude도 웹 검색과 생성을 결합합니다. Gemini는 Google 검색을, Perplexity와 Claude는 자체 크롤러(PerplexityBot, Claude-SearchBot)로 인용할 수 있는 페이지를 색인합니다.

결론적으로 AI에서의 노출도 여전히 고전적인 단계가 좌우합니다. 크롤링이 차단되었거나, 색인에 없거나, 순위가 한참 아래인 페이지는 검색되어 가져와질 가능성이 낮고, 따라서 인용될 가능성도 낮습니다. 달라지는 것은 마지막 선택입니다. AI는 페이지 전체가 아니라 구절을 고르며, 명확한 정의, 출처가 있는 수치, 직접적인 답을 선호합니다. ChatGPT가 인용하는 출처에 대한 연구에서 어떤 유형의 페이지가 인용을 얻는지 확인할 수 있습니다.

각 단계에서 무엇을 관리할 수 있나요?

단계를 순서대로 놓으면 Google, Bing, AI 어시스턴트 모두에 통하는 체크리스트가 됩니다.

1. 올바른 봇을 들여보내세요. robots.txt에 실수로 들어간 disallow 규칙이 없는지 확인하고, 어떤 AI 크롤러를 허용할지 의도적으로 정하세요.
2. 중요한 페이지는 모두 접근 가능하게 만드세요. 내부 링크로 세 번 이내의 클릭으로 도달할 수 있게 하고, 사이트맵에 포함하세요.
3. 콘텐츠를 HTML로 제공하세요. JavaScript에만 의존하지 말고, 빠르고 안정적인 서버 응답을 유지하세요.
4. 주제마다 표준 URL을 하나만 두세요. 신호를 분산시키는 거의 동일한 페이지는 피하세요.
5. 검색 의도에 맞추세요. 사람들이 실제로 입력하는 질문, 즉 키워드 리서치로 드러나는 질문에서 출발해 페이지 첫 줄에서 답하세요.
6. 권위를 쌓으세요. 관련 사이트의 링크와 언급을 얻으세요.
7. 인용하기 좋은 구절을 쓰세요. 정의 하나, 출처가 있는 수치 하나, 짧은 단계 목록 같은 것입니다.
8. 두 채널을 모두 측정하세요. Google은 Search Console로, ChatGPT, Gemini, Perplexity가 브랜드를 인용하는지는 AI 언급 추적으로 확인하세요.

검색엔진은 어떻게 발전해 왔나요?

1990년대 초기 검색엔진은 주로 키워드 일치로 페이지 순위를 매겼고, 조작하기 쉬웠습니다. 링크를 투표로 간주한 Google의 PageRank는 조작을 훨씬 어렵게 만들었고, 이후 수십 년 동안 BERT 같은 머신러닝 모델을 통한 언어 이해, 모바일 우선 색인, 스팸 대응, 품질 시스템이 더해졌습니다. Google의 역사는 일관된 패턴을 보여 줍니다. 큰 변화가 있을 때마다 사람을 위해 쓴 페이지는 보상받고 지름길은 불이익을 받았습니다. 생성형 답변은 가장 최근의 단계이며, 보상하는 대상도 같습니다. 명확하고 신뢰할 수 있으며 잘 구조화된 콘텐츠입니다.

크롤링에서 트래픽까지: 어디서 시작할까

검색엔진은 크롤링하고 이해하고 신뢰할 수 있는 페이지에 보상하며, AI 어시스턴트는 검색엔진이 이미 높은 순위를 준 페이지를 인용합니다. 먼저 접근성을, 다음으로 색인을, 그다음 관련성과 권위를 해결하세요. 이 작업을 매주 이어 가고 싶다면 Sorank가 autopilot으로 키워드를 찾고, 출처와 내부 링크를 갖춘 최적화 글을 발행하며, ChatGPT, Gemini, Perplexity가 브랜드를 인용하는지 추적합니다.