크롤링 오류 찾기와 해결: DNS, 서버, robots.txt, 404, 소프트 404, 리디렉션 오류. Googlebot이 각 오류에 어떻게 반응하는지와 순서대로 고치는 6단계 방법을 알려 드립니다.

이 페이지의 내용
요약
크롤링 오류는 검색엔진이나 AI 크롤러가 사이트에 보낸 요청이 실패하는 것입니다. 서버가 시간 초과되거나, DNS가 응답하지 않거나, robots.txt를 가져올 수 없거나, 리디렉션이 루프에 빠지거나, 페이지가 4xx 또는 5xx 코드를 반환하는 경우입니다. 사이트 수준 오류(DNS, 서버, robots.txt)는 Google이 사이트 전체를 크롤링하지 못하게 만들 수 있으므로 가장 먼저 고쳐야 합니다. URL 수준 오류(404, 소프트 404, 리디렉션 오류)는 색인되기를 원하는 페이지에서 발생할 때만 중요합니다. Search Console의 Crawl Stats와 Page indexing 보고서에서 찾고, 크롤러 도구와 서버 로그로 확인한 다음, 원인을 고치고 검증합니다.
더 알아보고 싶다면 물어보세요
간단 퀴즈
사이트의 기술적인 부분은 누가 고쳐야 합니까?
추천 결과
무료 Google 도구로 직접 확인
Search Console은 Google이 읽지 못하는 페이지를 보여 주고, PageSpeed Insights는 속도를 테스트합니다. 작은 문제는 대부분 웹사이트 빌더 설정에서 고칠 수 있습니다.
추천 결과
웹 개발자
문제는 코드나 서버에 있습니다. SEO를 아는 개발자가 적임자입니다. Search Console의 오류 목록을 전달하십시오.
추천 결과
기술 진단 도구
사이트 페이지가 많습니다. 크롤러가 Google처럼 모든 페이지를 읽고 고칠 오류를 페이지별로 모두 알려 줍니다.
추천 결과
자동 진단 후 콘텐츠 제작
사이트는 정상이지만 방문자가 적습니다. 기술 문제가 원인인 경우는 드뭅니다. Sorank가 사이트를 진단한 뒤 방문자를 데려오는 페이지를 작성합니다.
크롤러는 아주 인내심 많은 방문자처럼 움직입니다. 서버에 URL을 요청하고, 응답을 기다리고, 상태 코드와 콘텐츠를 읽은 다음, 찾아낸 링크로 이동합니다. 크롤링 오류는 이 흐름 중 어느 단계든 실패하는 것입니다. 방문자는 쓸 수 있는 페이지를 끝내 받지 못합니다.
이 정의가 중요한 이유는 많은 보고서가 크롤링 오류와 색인 결정을 섞어서 보여 주기 때문입니다. "Crawled, currently not indexed"는 크롤링 오류가 아닙니다. Google은 페이지를 잘 가져왔지만 보관하지 않기로 한 것입니다. "Excluded by noindex"도 크롤링 오류가 아닙니다. 페이지를 빼라고 Google에 알린 것은 여러분입니다. 크롤링 오류는 가져오기 자체가 잘못되었다는 뜻입니다.
Google은 문제를 두 단계로 나눕니다. 여러분도 그렇게 나눠야 합니다.
사이트 오류와 URL 오류 비교
오래된 상품 URL 4000개가 404를 반환하는 쇼핑몰이라도, 그 상품들이 영구 단종되었다면 완전히 건강한 상태일 수 있습니다. 같은 쇼핑몰에서 robots.txt가 6시간 동안 503을 반환한다면, 모든 상품 페이지가 정상이더라도 진짜 비상 상황입니다. 호스트부터, 그다음 매출을 내는 URL, 마지막으로 나머지를 보세요.
크롤링 오류를 제대로 고치려면 Google이 오류를 만났을 때 실제로 어떻게 행동하는지 알아야 합니다. Google 문서 HTTP 상태 코드와 네트워크 오류가 Google 검색에 미치는 영향(Google Search Central)이 규칙을 정리하고 있습니다. 실무에서의 의미는 다음과 같습니다.
| 응답 | Google의 처리 | 문제인가? |
|---|---|---|
| 2xx | 콘텐츠를 색인 처리로 넘깁니다. 색인은 보장되지 않습니다. | 아니요. 페이지가 비어 있지 않다면(소프트 404). |
| 301, 308 | 대상이 새 URL이라는 강한 신호입니다. | 아니요. 한 번에 200으로 이어진다면. |
| 302, 303, 307 | 약한 신호입니다. 원래 URL이 표준 URL로 남는 경향이 있습니다. | 예. 이동이 영구적이라면. |
| 3xx 체인 | 기본적으로 최대 10번까지 따라간 뒤 포기합니다. | 예. 단계마다 요청이 낭비되고, 루프는 끝나지 않습니다. |
| 404, 410, 기타 4xx(429 제외) | 콘텐츠가 없다고 보고, 색인된 URL을 점차 삭제하며, 크롤링 빈도를 낮춥니다. | 페이지가 존재해야 하는 경우에만. |
| 401, 403 | 다른 4xx와 같습니다. 크롤링 속도를 늦추지 않습니다. | 예. 공개 페이지에서 Googlebot을 차단한다면. |
| 429 | 5xx처럼 서버 과부하 신호로 취급합니다. | 예. 크롤링이 느려집니다. |
| 5xx | 오류에 비례해 크롤링을 줄입니다. 계속 실패하는 URL은 색인에서 삭제됩니다. | 예, 항상. |
많은 팀이 걸려 넘어지는 두 가지가 있습니다. 첫째, 401과 403은 크롤링 빈도를 낮추지 않습니다. 서버가 힘들 때 Googlebot에 403을 반환해도 도움이 되지 않으며, Google은 대신 일시적으로 503이나 429를 반환하라고 안내합니다. 둘째, 404는 페널티가 아닙니다. 더 이상 없는 페이지에 대한 올바른 응답입니다.
Google의 Crawl Stats 보고서 문서(Search Console Help)가 규칙을 설명합니다. robots.txt가 200(비어 있어도 됨)이나 403, 404, 410(파일 없음)을 반환하면 괜찮습니다. 429나 5xx를 반환하면 실패이며, Google은 신중하게 행동합니다.
robots.txt 실패가 계속될 때 Google의 동작
출처: Google Search Console Help, Crawl Stats 보고서
따라서 /robots.txt에 503을 반환하는 CDN 규칙이나 방화벽 하나만으로도, 다른 URL이 모두 정상이어도 사이트 전체가 반나절 동안 멈출 수 있습니다. 크롤링 오류를 조사할 때는 이 파일부터 확인하세요. "Blocked by robots.txt" 상태 가이드에서는 파일은 작동하지만 너무 많이 차단하는 반대 문제를 다룹니다.
기억해 둘 Google의 크롤링 한도
출처: Google Search Central, HTTP 상태 코드 및 네트워크 오류; Search Console Help, Crawl Stats 보고서

Search Console과 크롤러 도구에서 만나게 될 전체 목록을 원인과 해결책과 함께 정리했습니다. 명칭은 Google의 Page indexing 보고서 문서(Search Console Help)를 따릅니다.
Google이 도메인 이름을 IP 주소로 바꾸지 못했거나 DNS 서버가 응답하지 않은 경우입니다. 흔한 원인: 만료된 도메인, DNS 업체 장애, 이전 후 잘못된 레코드, DNSSEC 설정 오류. 자신의 네트워크 밖에서 조회해 확인하세요.
dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec
해결: 레코드를 바로잡고, 이전 전에는 TTL을 낮추고, 이중화된 DNS 업체를 사용하세요. example.com과 www.example.com이 모두 있다면, 하나가 리디렉션만 하더라도 둘 다 확인되어야 합니다.
서버가 제때 응답하지 않거나, 연결을 닫거나, 500, 502, 503, 504로 응답한 경우입니다. 대표적인 원인: 과부하된 데이터베이스, 부하에 무너지는 PHP나 Node 프로세스, 리버스 프록시 시간 초과, 플러그인 업데이트, 봇 속도를 제한하는 방화벽. 시간 패턴을 보세요. 매일 밤 같은 시각의 오류는 대개 백업이나 cron 작업 때문입니다.
해결: Google이 보고한 시각의 서버 오류 로그를 읽고, 시간 제한이나 작업자 수를 늘리고, 무거운 페이지는 캐시하고, 봇 보호가 인증된 Googlebot을 통과시키는지 확인하세요. 계획된 점검 때는 "곧 돌아옵니다"라고 적힌 200 페이지 대신 Retry-After 헤더가 있는 503을 반환하세요.
HTTP/1.1 503 Service Unavailable
Retry-After: 3600
페이지가 존재하지 않는 경우입니다. 의도적으로 삭제했고 어디서도 링크하지 않는다면 괜찮습니다. 그 URL에 아직 백링크, 유입, 내부 링크가 있거나, 있어야 할 페이지가 배포 때문에 깨졌다면 문제입니다.
해결: 콘텐츠가 옮겨졌다면 가장 가까운 페이지로 301을 한 번만 설정하세요. 영구히 사라졌다면 404를 유지하거나 410을 쓰고, 그 페이지를 가리키는 내부 링크와 사이트맵 항목을 지우세요. 모든 404를 홈페이지로 리디렉션하지 마세요. Google은 이를 소프트 404로 보는 경향이 있습니다.
서버는 200을 반환하지만 페이지가 비어 보이거나 "찾을 수 없음"이라고 표시되는 경우입니다. 빈 카테고리, 결과 없는 검색 페이지, 내용 없는 품절 상품 등이 해당합니다. Google은 요청을 쓰고도 아무것도 얻지 못합니다. 자세한 내용은 소프트 404 오류 가이드에서 다룹니다.
Googlebot은 로그인 정보를 보내지 않으므로, 공개 페이지의 401이나 403은 서버나 보안 계층이 Googlebot을 막고 있다는 뜻입니다. 흔한 원인: 운영 환경에 남은 스테이징 비밀번호, WAF 규칙, 국가별 차단, HTML에 적용된 핫링크 방지 규칙. 증상이 아니라 규칙을 고치고, Search Console의 URL Inspection 도구로 테스트하세요.
Google은 루프, 너무 긴 체인, 최대 길이를 넘는 URL, 체인 안의 잘못되거나 빈 URL을 만나면 리디렉션 오류를 보고합니다. 이전 후 흔한 사례: http에서 https로, 다시 www로, 다시 끝 슬래시로, 다시 새 경로로. 한 번이면 될 것을 네 번 거칩니다. SEO 리디렉션 완벽 가이드에서 이를 줄이는 방법을 설명합니다.
팁
의심스러운 URL은 무료 Sorank 리디렉션 검사기에 붙여 넣으세요. 전체 체인을 따라가며 각 단계와 상태 코드를 보여 주고, 루프나 불필요한 단계가 어디인지 알려 줍니다.
상태 코드가 전혀 나타나지 않는 오류도 있습니다. 페이지가 로드되다 멈추거나, 너무 무거워서 크롤러가 일부만 읽는 경우입니다. Google 크롤러는 파일당 읽는 바이트 수에 한도가 있으므로, 인라인 스크립트나 base64 이미지로 부풀린 페이지는 아래쪽 콘텐츠를 잃을 수 있습니다. 무거운 템플릿은 페이지 크기 검사기로 확인하세요.
모든 크롤링 오류를 보여 주는 도구는 하나도 없습니다. 방법마다 문제를 다른 각도에서 보므로, 제대로 된 점검이라면 최소 두 가지를 함께 씁니다.
원리: Google이 지난 90일간의 자체 크롤링 요청을 응답, 파일 유형, 목적, Googlebot 유형별로 묶어 보여 주고, DNS, 서버, robots.txt의 호스트 상태도 표시합니다. 언제 쓰나: 항상, 그리고 사이트 오류에는 가장 먼저. 장점: Google이 직접 제공하는 실제 데이터입니다. 한계: 루트 수준 속성에서만 쓸 수 있고, 예시는 표본이며, Google은 1000페이지 미만 사이트에는 거의 필요 없다고 말합니다. 예: 매주 일요일 새벽 3시에 "page timeout" 응답이 급증하는데, 데이터베이스 백업 시각과 일치합니다.

원리: Google이 아는 URL과 색인되지 않은 이유를 나열합니다. 이유에는 Server error (5xx), Redirect error, Not found (404), Soft 404 등이 있습니다. 언제 쓰나: URL 오류를 분류하고 수정 사항을 검증할 때. 장점: Google이 실제로 시도한 페이지에 연결되어 있습니다. 한계: 보고서가 며칠 늦고, 예시 목록에 상한이 있으며, 크롤링 오류와 색인 선택이 섞여 있습니다. 예: "Redirect error" 아래 URL 300개가 모두 같은 옛 접두어 /blog/를 공유합니다.
원리: Screaming Frog 같은 도구가 봇처럼 홈페이지에서 링크를 따라 사이트를 크롤링하고, 모든 상태 코드, 리디렉션 체인, 깨진 링크를 기록합니다. 언제 쓰나: 이전, 리뉴얼, 대규모 배포 전후, 그리고 대형 사이트는 매달. 장점: 즉각적이고, 링크된 페이지는 빠짐없이 보며, 깨진 링크가 어디에 있는지 보여 줍니다. 한계: Google이 실제로 무엇을 요청했는지 모르고, 고아 페이지를 놓치며, 서버가 Googlebot과 다르게 대할 수 있습니다. Screaming Frog 설정 가이드에서 전체 점검 과정을 안내합니다.

원리: 접근 로그에는 Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot을 포함한 모든 요청이 정확한 상태 코드와 응답 시간과 함께 기록됩니다. 언제 쓰나: 대형 사이트, 설명되지 않는 유입 감소 이후, AI 크롤러가 무엇에 접근하는지 보고 싶을 때. 장점: 실제 요청, 실제 코드, 표본 없음, 모든 봇. 한계: 로그 접근 권한과 약간의 스크립트 작업이 필요하고, "Googlebot"이 정말 Google인지 확인해야 합니다. SEO를 위한 로그 파일 분석 가이드에서 단계별로 설명합니다. 먼저 빠르게 훑어보기:
# Googlebot requests that did not return 200, 301 or 304, most frequent first
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50
원리: curl이나 무료 온라인 검사기로 URL을 하나씩 테스트합니다. 언제 쓰나: 수정을 확인하거나, 배포 후 핵심 페이지를 점검할 때. 장점: 즉각적이고 정확합니다. 한계: 대량 처리에는 맞지 않습니다. 봇을 다르게 대하는 규칙을 잡아내려면 Googlebot 사용자 에이전트를 쓰세요.
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
| 방법 | 사이트 오류 확인 | URL 오류 확인 | 실제 Googlebot 데이터 | AI 크롤러 확인 | 가장 적합한 용도 |
|---|---|---|---|---|---|
| Crawl Stats 보고서 | 예 | 표본 | 예 | 아니요 | 호스트 상태 |
| Page indexing 보고서 | 일부 | 예 | 예 | 아니요 | 분류와 검증 |
| 크롤러(Screaming Frog 등) | 아니요 | 예, 링크된 페이지 | 아니요 | 아니요 | 깨진 링크를 출처에서 찾기 |
| 서버 로그 | 일부 | 예 | 예 | 예 | 대형 사이트, 근본 원인 |
| 개별 URL 점검 | 아니요 | 하나씩 | 아니요 | 아니요 | 수정 확인 |
5xx 상태는 서버가 정상으로 보이는 요청을 처리하지 못했다는 뜻입니다. Google은 이에 대응해 크롤링 속도를 늦추며, 오류를 반환하는 URL이 많을수록 더 늦춥니다. Google은 이미 색인된 URL을 한동안 유지하지만, 지속적으로 서버 오류를 반환하는 URL은 제거합니다. 짧은 장애는 회복할 수 있습니다. 서버가 2xx 코드를 반환하기 시작하면 Google이 크롤링 빈도를 점차 다시 올리기 때문입니다. 색인을 해치는 것은 오랫동안 이어지는 오류입니다.
5xx 코드마다 스택의 서로 다른 부분을 가리킵니다. 아래 표는 각 코드에서 처음 확인할 곳을 보여 줍니다.
| 코드 | 보통 의미하는 것 | 먼저 확인할 곳 |
|---|---|---|
| 500 | 애플리케이션이 요청을 처리하는 도중 실패함 | 요청 시각에 맞춘 애플리케이션 오류 로그 |
| 502 | 프록시나 CDN이 애플리케이션으로부터 잘못된 응답을 받음. 대개 애플리케이션이 충돌했거나 다시 시작되었기 때문 | 애플리케이션 프로세스의 재시작 기록과 가동 시간 |
| 503 | 서비스가 과부하 상태이거나, 요청 제한을 받고 있거나, 점검 중임 | 부하 그래프, 배포 이력, 점검 시간대 |
| 504 | 프록시가 애플리케이션의 응답을 기다리다 포기함 | 느린 데이터베이스 쿼리와 프록시 시간 제한 설정 |
| 429 | 요청 제한 장치가 요청이 너무 많다고 알림 | 요청 제한 규칙과, 그 규칙이 인증된 Googlebot에도 적용되는지 여부 |
Crawl Stats는 Google이 오류를 만난 날짜와 시간대를 보여 줍니다(각 그래프의 설명은 Crawl Stats 가이드를 참고하십시오). 서버 로그는 그 정확한 순간에 무슨 일이 있었는지 보여 줍니다. Googlebot 요청만 걸러 시간별 5xx 응답을 세어 봅니다.
grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c
출력의 각 줄은 시간, 상태 코드, 개수를 나타냅니다. 매일 밤 같은 시간에 몰려 있다면 대개 백업, cron 작업 또는 예약된 가져오기가 원인입니다. 하루 종일 흩어져 있다면 대개 부하 때문이므로, 해결책은 단일 버그 수정이 아니라 용량이나 캐싱을 늘리는 것입니다. 더 깊은 방법은 SEO를 위한 로그 파일 분석 가이드를 참고하십시오.
Google은 오류를 반환하는 URL 수에 비례해 크롤링을 줄입니다. 몇 개의 URL에만 영향을 주는 깨진 템플릿은 크롤링 시간을 조금 잃게 합니다. 모든 페이지를 깨뜨리는 데이터베이스 장애는 큰 손실이므로 가장 먼저 고쳐야 합니다.
429는 Google이 과부하 서버로 읽기 때문에 5xx와 같은 영향을 줍니다. 요청 제한 장치나 봇 차단이 Googlebot에 429를 반환한다면, 그 비용은 크롤링 시간으로 치르게 됩니다. Google 문서에는 Retry-After 헤더가 언급되어 있지 않습니다. 사람 방문자와 API 클라이언트에게는 계속 보내되, Googlebot이 설정한 시간만큼 기다려 주리라 기대하지 마십시오.
4xx 상태는 URL이 존재하지 않거나, 접근이 금지되었거나, 주소 형식이 잘못되는 등 클라이언트 쪽 문제로 서버가 요청을 거부했다는 뜻입니다. Google은 429를 제외한 모든 4xx를 같은 방식으로 처리합니다. 해당 URL의 콘텐츠 사용을 중단하고, 이미 색인되어 있었다면 색인에서 제거합니다. 4xx를 건드리기 전에 요청이 어디서 오는지 먼저 확인합니다. 수정할 곳은 대개 한 군데이며, 링크, 템플릿 또는 리디렉션 규칙인 경우가 많습니다.
접근 로그에는 요청마다 리퍼러가 기록되어 있어, 어떤 페이지가 방문자나 봇을 그 URL로 보냈는지 알 수 있습니다. 경로별, 리퍼러별로 4xx 응답을 집계합니다.
awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20
리퍼러 열은 다음과 같이 해석합니다.
경로 이름을 바꾸거나, slug를 변경하거나, 템플릿을 다시 만드는 배포는 같은 날 404가 한꺼번에 늘어나는 경우가 많습니다. 배포 전 일주일과 배포 후 일주일의 일별 4xx 응답 수를 내보내십시오. 한 폴더에 집중된 증가는 변경 지점을 바로 보여 줍니다. 옛 URL에서 새 URL로 가는 리디렉션은 나중에 처리할 티켓이 아니라 같은 배포에 포함합니다. 전체 이전 작업은 SEO 이전 체크리스트를 참고하십시오.
팁
없는 페이지를 짧은 메시지나 빈 목록이 담긴 200 응답으로 대체하지 마십시오. Google이 이를 소프트 404로 볼 수 있으며, 그러면 크롤링 비용만 들고 얻는 것은 없습니다.
저희가 쓰는 방법입니다. 사이트 전체를 멈출 수 있는 오류부터 시작해, 크롤링을 조금 낭비할 뿐인 오류로 넘어갑니다.
크롤링 오류 6단계 해결법
Search Console에서 Settings, Crawl stats, Host status 순으로 엽니다. 초록색이면 90일 동안 큰 문제가 없다는 뜻입니다. "Recent issue"는 지난주에 큰 문제가 있었다는 뜻이니 다른 일은 모두 미루세요. 각 카테고리를 클릭해 일별 실패율을 보고, 나쁜 날을 호스팅, CDN, 배포 기록과 맞춰 보세요.
Indexing, Pages 순으로 열고 오류 이유별로 내보냅니다. URL을 하나씩 고치지 마세요. 스프레드시트에 넣고 첫 번째 폴더를 추출합니다.
=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")
이 열로 피벗 테이블을 만들면 대개 오류 대부분이 두세 개의 템플릿에서 나온다는 사실이 드러납니다. 폐지된 블로그 카테고리, 필터 매개변수, 오래된 상품 피드 같은 것들입니다.
패턴마다 네 가지를 물어보세요. 자연 검색 클릭이 있는가? 백링크가 있는가? 내부 링크가 있는가? 사이트맵에 있는가? 넷 다 없는 404는 영원히 기다려도 됩니다. 백링크가 있는 404는 오늘 301이 필요합니다. 무료 깨진 링크 검사기로 내 페이지 중 어디가 아직 죽은 URL에 링크하는지 볼 수 있습니다.
URL이 아니라 규칙을 고치세요. 플러그인에 손으로 추가한 리디렉션 400개보다 서버 설정의 리디렉션 맵 하나가 낫습니다. 예를 들어 nginx에서는:
map $request_uri $new_uri {
/old-blog/seo-tips/ /blog-geo-seo/seo-best-practices/;
/old-blog/sitemaps/ /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
if ($new_uri) { return 301 $new_uri; }
}
5xx라면 처리 용량이나 버그를 고치세요. 401과 403이라면 보안 규칙을 고치세요. 소프트 404라면 실제 콘텐츠를 넣거나 진짜 404를 반환하세요.
모든 내부 링크는 200을 반환하는 URL을 직접 가리켜야 합니다. 사이트맵의 모든 항목은 표준이고, 색인 가능하며, 200을 반환하는 URL이어야 합니다. 리디렉션과 404로 가득한 사이트맵은 Google이 그 사이트맵을 덜 믿게 만듭니다. 사이트맵 만드는 방법 가이드에서 무엇을 넣어야 하는지 설명합니다.
Page indexing 보고서에서 고친 이유를 열고 Validate fix를 클릭하세요. Google은 먼저 표본을 확인한 뒤 나머지를 확인합니다. 보통 2주 정도 걸리며, URL 하나라도 계속 실패하면 멈춥니다. 진행 중에는 다시 클릭하지 마세요. 그다음 주간 루틴을 정하세요. 호스트는 Crawl Stats, 급증은 로그, 배포 후에는 매번 크롤링.
수정 전후의 리디렉션 체인
무엇인가: 없는 URL을 모두 /로 보내는 플러그인이나 규칙. 발견 방법: "Soft 404"나 "Page with redirect"에 홈페이지로 도착하는 URL이 많고, 크롤러에서 대상이 같은 301이 수백 개 보입니다. 해결 방법: 비슷한 페이지로만 리디렉션하고, 나머지는 404나 410을 반환하게 하세요.
무엇인가: WAF, 봇 관리 도구, 속도 제한기가 Google에 403, 429 또는 챌린지 페이지를 보내는 경우. 발견 방법: 브라우저에서는 페이지가 잘 열리는데 Crawl Stats에 403이나 429가 나타나고, 로그에 IP별 차단이 남아 있습니다. 해결 방법: 사용자 에이전트 문자열을 믿지 말고, 역방향 DNS나 Google이 공개한 IP 범위로 인증된 Googlebot을 허용하세요.
무엇인가: 앱이 생성하는 robots.txt라서 앱이 실패할 때마다 같이 실패하거나, 5xx를 캐시하는 CDN 규칙을 통해 제공되는 경우. 발견 방법: Host status의 robots.txt 가져오기 카테고리가 초록색이 아닙니다. 해결 방법: 앱 밖에서 정적 파일로 제공하고, robots.txt 검사기로 테스트하세요.
무엇인가: 모든 URL에서 "곧 돌아옵니다" 페이지를 상태 200으로 보여 주는 경우. 발견 방법: 점검 후 소프트 404나 중복 제목이 한꺼번에 늘어납니다. 해결 방법: 점검 중에는 Retry-After가 있는 503을 반환하고, 점검은 짧게 하세요.
무엇인가: 서버가 과부하일 때 Googlebot에 403으로 응답하는 경우. 발견 방법: 403 급증이 부하 급증과 겹칩니다. 해결 방법: Google은 429를 제외한 4xx 코드는 크롤링 빈도에 영향이 없다고 말합니다. 잠시 동안 503이나 429를 반환하고, 처리 용량을 늘리세요.
무엇인가: Search Console 목록을 하나씩 클릭하며 URL마다 수정하는 것. 발견 방법: 같은 이유가 매달 다시 나타납니다. 해결 방법: 패턴별로 묶고, 템플릿이나 규칙을 고친 뒤, 검증은 한 번만 하세요.
무엇인가: 스팸 URL이나 오래전에 지워졌고 링크도 없는 페이지의 404에 며칠씩 쓰는 것. 발견 방법: 그 URL에 클릭도, 백링크도, 내부 링크도 없습니다. 해결 방법: 그대로 두세요. Google은 삭제한 페이지의 404가 반드시 문제는 아니라고 말합니다.
주의
크롤링 오류를 "숨기려고" robots.txt에서 URL을 차단하지 마세요. Google은 더 이상 404나 리디렉션을 볼 수 없게 되고, URL은 색인에 남을 수 있으며, 보내려던 신호도 잃게 됩니다.
몇백 페이지짜리 사이트라면 Google에게는 모든 것을 볼 시간이 있고, 크롤링 오류는 주로 그 오류가 깨뜨리는 페이지에만 중요합니다. 대형 사이트(필터가 많은 쇼핑몰, 오픈마켓, 뉴스)에서는 실패하거나 낭비된 요청 하나하나가 진짜 페이지의 시간을 빼앗습니다. 이것이 크롤링 예산의 개념입니다.
5xx와 429는 Google이 호스트 전체에서 속도를 늦추게 만들기 때문에, 깨진 템플릿 몇 개가 새 상품 페이지의 크롤링을 늦출 수 있습니다. 리디렉션 체인은 단계마다 요청이 하나씩 듭니다. 소프트 404는 전체 가져오기 비용이 들지만 아무것도 돌려주지 않습니다. 이 세 가지를 고치면 같은 예산으로 더 많은 유용한 페이지를 다룰 수 있습니다.
Google이 URL을 찾았지만 크롤링을 미룬다면, 원인은 대개 Google이 불안정하다고 보는 서버입니다. "Discovered, currently not indexed" 수가 늘어나고 Crawl Stats에 서버 오류가 함께 보인다면 서버부터 고치세요. 두 보고서는 같은 이야기를 하고 있습니다.
이제 중요한 방문자는 Googlebot만이 아닙니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot은 모델을 학습시키거나 실시간으로 질문에 답하기 위해 페이지를 가져갑니다. 같은 서버에 접속하고 같은 오류를 겪지만, 한 가지가 다릅니다. 이들에게는 Search Console이 없습니다.
대부분의 AI 크롤러는 JavaScript를 실행하지 않기 때문에, 브라우저에서만 콘텐츠를 만드는 페이지는 이들에게 비어 보일 수 있습니다. Google 보고서에는 절대 나타나지 않는 일종의 소프트 404입니다. 상당수는 봇 보호 서비스에 기본으로 차단되며, 대개 403을 받습니다. 또 사용자가 질문할 때 즉시 가져가기 때문에, 그 순간 시간 초과가 나면 답변은 다른 사이트를 인용합니다. JavaScript SEO 가이드에서 검색 크롤러와 AI 크롤러 모두를 위한 렌더링을 다룹니다.
믿을 수 있는 출처는 서버 로그뿐입니다. 사용자 에이전트로 걸러 상태 코드를 확인하세요.
grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
AI 봇이 의도하지 않은 403을 받고 있다면 규칙을 고치세요. 그런 다음 실제로 여러분을 인용하는지 확인하세요. Sorank의 AI 언급 추적은 ChatGPT, Gemini, Claude, Perplexity가 브랜드를 얼마나 자주 언급하는지 추적하므로, 크롤링 수정이 무언가를 바꾸었는지 볼 수 있습니다.
이전, 리뉴얼, 대규모 배포 후마다, 그리고 대형 사이트는 매달 이 목록을 확인하세요.
크롤링 건강 체크리스트
Crawl Stats를 열어 호스트 상태 세 줄을 확인하세요. 그다음 가장 중요한 다섯 페이지에 무료 색인 가능성 검사기를 실행하세요. 둘 다 깨끗하다면 Page indexing 오류를 내보내 폴더별로 묶으세요. 이제 무서운 보고서 대신 짧고 우선순위가 매겨진 수정 목록이 생깁니다.
크롤링이 깨끗해지면 다음 한계는 콘텐츠 자체입니다. Sorank의 콘텐츠 최적화는 기존 페이지를 autopilot으로 다시 쓰고 새로 고쳐, 이제 Google이 도달할 수 있는 페이지를 색인되고 인용될 만한 페이지로 만듭니다. Google이 크롤링했지만 색인하지 않은 페이지라면 "Crawled, currently not indexed" 가이드를 읽어 보세요.
크롤링 오류는 검색엔진이나 AI 크롤러의 요청이 실패하는 것입니다. DNS가 도메인을 확인하지 못하거나, 서버가 시간 초과되거나 5xx를 반환하거나, robots.txt를 가져올 수 없거나, 리디렉션이 루프에 빠지거나, 페이지가 4xx를 반환하는 경우입니다. 사이트 수준 오류는 사이트 전체의 크롤링을 멈출 수 있고, URL 오류는 해당 페이지에만 영향을 줍니다.
그 자체로는 아닙니다. Google은 대체 페이지 없이 삭제한 페이지의 404가 반드시 문제는 아니라고 말합니다. 그 URL에 아직 백링크, 유입, 내부 링크가 있다면 문제가 되며, 이때는 비슷한 페이지로 301을 한 번 설정하는 것이 올바른 해결책입니다.
Search Console의 Page indexing 보고서에서 Validate fix를 클릭하면 검증에는 보통 2주 정도 걸립니다. Google은 먼저 URL 표본을 확인한 뒤 나머지를 확인하며, 해당 URL이 하나라도 계속 실패하면 검증이 멈춥니다.
