크롤링 예산: 검색 엔진이 사이트를 얼마나 자주 방문하는가

크롤링 예산은 검색 엔진이 여러분의 웹사이트에 얼마나 많은 크롤링 관심을 배분하는지를 나타냅니다. Googlebot은 인터넷의 모든 페이지를 똑같이, 또 끊임없이 크롤링하지 않습니다. 한정된 자원을 어디에 쓸지 경제적으로 선택합니다. 크롤링 예산은 여러분의 도메인에 대해 이루어진 이러한 선택의 실질적인 결과로, 일정 시간 동안 Google이 가져올 수 있고 가져오고자 하는 URL의 집합입니다.

Google은 크롤링 예산 수치를 공개하지 않으며 직접 설정하게 해 주지도 않습니다. 대신 Google의 크롤링 예산 문서는 크롤링 예산이 두 가지 기본 요인에서 비롯된다고 설명합니다. 이 요인을 이해하는 것이 페이지가 얼마나 꼼꼼하게, 얼마나 자주 크롤링되는지에 영향을 미치는 열쇠이며, 2026년에는 AI 크롤러가 서버 자원에 새로운 부담을 더하면서 더욱 그렇습니다.

두 가지 요인: 크롤링 용량과 크롤링 수요

크롤링 용량 한도는 Googlebot이 사이트를 크롤링할 때 사용하는 최대 동시 연결 수와 요청 간 지연 시간을 말합니다. 이는 서버의 상태에 따라 결정됩니다. 사이트가 빠르고 오류 없이 응답하면 Google은 한도를 높여 더 적극적으로 크롤링합니다. 서버가 느려지거나 5xx 오류를 반환하면 Google은 과부하를 피하기 위해 크롤링을 줄입니다.

크롤링 수요는 애초에 Google이 여러분의 페이지를 얼마나 크롤링하고 싶어 하는지를 나타냅니다. 인기도(트래픽과 링크를 끌어오는 URL), 인식된 인벤토리(Google이 판단하는 유용한 페이지의 수), 오래됨 정도(Google이 새로 고칠 필요가 있다고 보는 페이지)에 따라 높아집니다. 규모가 크고 자주 업데이트되며 권위 있는 사이트는 크롤링 수요가 높고, 작고 정적인 사이트는 수요가 낮습니다.

실제 크롤링 예산은 이 두 요인이 만나는 지점입니다. 용량이 높아도 수요가 낮으면 크롤링은 가볍게 이루어지고, 수요가 높아도 느린 서버로 제한되면 페이지가 누락됩니다. 두 레버 모두 중요하며, 사이트 전체의 크롤링 규모와 상호작용합니다.

크롤링 예산을 실제로 신경 써야 하는 사이트

대부분의 웹사이트는 크롤링 예산을 전혀 고민할 필요가 없습니다. 페이지가 수백 개나 수천 개 정도이고 서버 속도가 적당하다면 Google은 중요한 페이지를 문제없이 모두 크롤링합니다. 소규모 사이트에서 크롤링 예산 최적화에 힘을 쏟는 것은 대개 헛수고입니다.

Google의 가이드는 명시적으로 세 그룹을 대상으로 합니다. 최소 매주 변경되는 고유 페이지가 100만 개 이상인 대규모 사이트, 매일 변경되는 고유 페이지가 10.000개 이상인 중대형 사이트, 그리고 Search Console에서 상당수의 URL이 '발견됨 - 현재 색인이 생성되지 않음'으로 표시되는 모든 사이트입니다. 이 중 하나에 해당한다면 크롤링 예산은 어떤 페이지가 색인되고 얼마나 최신 상태로 유지되는지를 직접 좌우하는 실질적인 제약이 됩니다.

크롤링 예산이 문제인지 확인하는 방법

가장 분명한 신호는 Google Search Console에 있습니다. 크롤링 통계 보고서를 열어 Googlebot의 일일 요청 수, 평균 응답 시간, 가용성 오류를 확인하세요. 가치 낮은 URL에 많은 요청이 쓰이거나 응답 시간이 늘어나고 있다면 비효율이 있다는 뜻입니다.

페이지 보고서에서 '발견됨 - 현재 색인이 생성되지 않음' 상태를 주시하세요. Google이 URL을 발견했지만 크롤링하지 않았다면, 중요한 페이지가 쓸모없는 페이지들 뒤에서 대기 중일 수 있습니다. 서버 로그 분석은 가장 정확한 방법입니다. Googlebot이 어떤 URL을 얼마나 자주 가져가는지 정확히 보여 주어, 예산이 원하는 곳과 비교해 실제로 어디에 쓰이는지 드러냅니다.

크롤링 예산을 낭비하는 요소

가장 큰 낭비 요인은 예측 가능합니다. 패싯 내비게이션과 URL 매개변수는 필터링되고 정렬된 페이지의 조합을 거의 무한히 만들어 낼 수 있으며, 각각이 Googlebot이 크롤링하려 할 수 있는 고유 URL입니다. URL에 포함된 세션 ID도 같은 방식으로 중복을 폭발적으로 늘립니다. 이렇게 낭비되는 요청 하나하나는 실제 페이지에 쓰이지 못한 요청입니다.

그 밖의 흔한 낭비 요인으로는 긴 리디렉션 체인, 존재하지 않는 콘텐츠에 200 상태 코드를 반환하는 소프트 404 페이지, 여러 URL에 걸친 중복 콘텐츠, 끝없이 링크를 생성하는 무한 스크롤 또는 캘린더 페이지, 죽은 URL을 가리키는 오래된 사이트맵이 있습니다. 이들은 모두 최신 제품, 기사, 랜딩 페이지와 중요한 페이지의 더 나은 색인 생성에 쓰여야 할 크롤링 용량을 소모합니다.

크롤링 예산 최적화 방법

먼저 Google이 크롤링하지 말아야 할 것을 차단하세요. robots.txt 파일로 패싯 매개변수, 내부 검색 결과, 기타 가치 낮은 URL 패턴을 disallow 처리하세요. Google은 이 경우 noindex가 아니라 robots.txt가 올바른 도구라고 설명합니다. noindex 페이지는 지시를 읽기 위해 여전히 크롤링되어야 하므로 예산을 소모하지만, disallow된 경로는 건너뛰기 때문입니다.

다음으로 상태 코드를 정리하세요. 영구적으로 삭제한 페이지에는 404 또는 410을 반환해 Google이 더 이상 요청하지 않게 하세요. 중복 콘텐츠는 캐노니컬 태그로 통합하고, 링크가 최종 URL을 바로 가리키게 해 리디렉션 체인을 없애세요. 각 수정은 가치 있는 페이지를 위한 요청을 되찾아 줍니다.

마지막으로 정직한 lastmod 날짜로 XML 사이트맵을 정확하게 유지하고, 서버 속도를 개선해 Google이 크롤링 용량 한도를 높이도록 하세요. 다른 조건이 같다면 더 빠른 사이트가 더 꼼꼼하게 크롤링됩니다.

2026년의 크롤링 예산과 AI 크롤러

이제 서버의 관심을 두고 경쟁하는 크롤러는 Googlebot만이 아닙니다. AI들은 답변에서 인용하는 콘텐츠를 수집하고 갱신하기 위해 자체 봇을 운영합니다. OpenAI의 GPTBot과 OAI-SearchBot, Anthropic의 ClaudeBot, 그리고 PerplexityBot이 그 예입니다. 이러한 크롤러는 실제 대역폭과 서버 자원을 소비합니다.

2025년 서버 데이터에 따르면 AI 및 검색 크롤러 트래픽이 가파르게 증가했으며, 여러 봇이 전년 대비 수백 퍼센트 성장했습니다. 실질적인 영향은, Google 크롤링 예산을 지키는 사이트 상태 관리와 효율화 작업이 AI 크롤러에 대한 성능도 함께 지켜 준다는 것입니다. 빠른 서버와 깔끔한 URL 구조는 Googlebot부터 AI 검색을 구동하는 엔진까지 모든 봇이 한정된 크롤링을 가져올 가치가 있는 페이지에 쓰도록 돕습니다.

크롤링 예산과 색인 생성: 흔한 혼동

크롤링과 색인 생성은 별개의 단계이며, 둘을 혼동하면 노력을 낭비하게 됩니다. 크롤링 예산은 Google이 URL을 가져올지 여부와 빈도를 좌우합니다. 색인 생성은 크롤링된 페이지를 저장해 검색 결과에 제공할 가치가 있는지에 대한 별도의 결정입니다. 페이지는 크롤링된 뒤에도 Google이 가치가 낮다고 판단해 의도적으로 색인되지 않을 수 있습니다.

이 구분은 진단에서 중요합니다. 페이지가 '발견됨 - 크롤링되지 않음' 상태라면 크롤링 예산이나 발견의 문제이며, 위의 해결책이 적용됩니다. 페이지가 '크롤링됨 - 색인이 생성되지 않음' 상태라면 문제는 대개 콘텐츠 품질, 빈약한 콘텐츠, 중복이며, 크롤링 최적화를 아무리 해도 해결되지 않습니다. 조치하기 전에 어느 단계에서 실패하고 있는지 먼저 파악하세요.

사이트 유형별 크롤링 예산 최적화: 어디서부터 시작해야 할까요?

크롤링 예산 최적화는 운영하는 사이트 유형에서 시작합니다. 유형마다 크롤링을 낭비하는 방식이 다르기 때문입니다. 대규모 사이트를 위한 Google 가이드에 따르면, 이 주제는 주로 페이지 수가 매우 많거나 페이지가 매우 자주 바뀌는 사이트와 관련이 있습니다. 소규모 사이트라면 콘텐츠 품질과 내부 링크가 훨씬 더 중요합니다.

사이트 유형	전형적인 낭비	첫 번째 해결책
대형 이커머스 스토어	끝없는 URL 조합을 만들어 내는 필터, 정렬 순서, 매개변수	가치 있는 필터 페이지만 색인 가능하게 두고, 나머지는 캐노니컬 태그로 메인 카테고리를 가리키게 한 뒤 해당 페이지로의 링크를 중단
뉴스 또는 출판 사이트	새 기사가 너무 늦게 발견됨	정확한 lastmod 날짜와 함께 발행 시 업데이트되는 사이트맵, 그리고 빠른 서버
마이그레이션 이후의 사이트	리디렉션 체인과 여전히 링크된 이전 URL	한 번에 이동하는 301 리디렉션, 최종 URL로 업데이트된 내부 링크
JavaScript 비중이 높은 사이트	렌더링 후에만 보이는 콘텐츠	핵심 템플릿의 서버 측 렌더링 또는 사전 렌더링
내부 검색이나 사용자 프로필이 있는 사이트	빈약하고 거의 중복된 수천 개의 페이지	robots.txt로 내부 검색 결과를 차단하고 빈약한 페이지를 색인에서 제외

유형과 관계없이 같은 순서를 따르세요. 먼저 낭비를 제거하고, 다음으로 중요한 페이지에 더 쉽게 도달할 수 있게 한 뒤, 몇 주 후 크롤링 통계 보고서에서 효과를 확인하세요. 페이지에 더 쉽게 도달하게 한다는 것은 주로 내부 링크를 의미합니다. 관련 기사 여러 곳에서 링크된 페이지는 고립된 페이지보다 더 빨리 발견되고 다시 크롤링됩니다. Sorank는 기사를 발행할 때마다 이러한 링크를 자동으로 추가해 새 콘텐츠가 사이트의 나머지 부분과 연결된 상태를 유지합니다.

결론

크롤링 예산은 검색 엔진이 일정 기간 동안 사이트에서 크롤링할 수 있고 크롤링하고자 하는 URL의 수로, 크롤링 용량 한도(서버 상태)와 크롤링 수요(인기도, 인벤토리, 최신성)로 결정됩니다. 10.000개 이상의 페이지를 가진 대규모 사이트와 '발견됨 - 색인이 생성되지 않음' URL이 많은 사이트에는 실질적인 관심사이지만, 소규모 사이트에는 대체로 문제가 되지 않습니다. 최적화하려면 robots.txt로 가치 낮은 URL을 차단하고, 상태 코드와 리디렉션 체인을 수정하고, 중복을 없애고, 사이트맵을 정확하게 유지하고, 서버 속도를 높이세요. 2026년에는 이러한 관리가 AI 크롤러의 효율도 함께 지켜 줍니다. Sorank GEO SEO 진단을 실행해 색인 생성을 방해하는 크롤링 낭비를 찾아보세요.