환경 설정

개인정보 보호는 저희에게 중요합니다. 웹사이트의 기본 기능에 반드시 필요하지 않은 특정 유형의 저장소는 사용자가 직접 비활성화할 수 있습니다. 카테고리를 차단하면 웹사이트 이용 경험에 영향을 줄 수 있습니다. 더 보기 (쿠키 정책)

크롤링 오류: 모든 유형을 찾고, 우선순위를 정하고, 고치는 방법

크롤링 오류 찾기와 해결: DNS, 서버, robots.txt, 404, 소프트 404, 리디렉션 오류. Googlebot이 각 오류에 어떻게 반응하는지와 순서대로 고치는 6단계 방법을 알려 드립니다.

게시 날짜
18/11/2026
업데이트 날짜
18/11/2026
읽는 시간
30분
크롤링 오류: 모든 유형을 찾고, 우선순위를 정하고, 고치는 방법

도구

이 페이지의 내용

요약

크롤링 오류는 검색엔진이나 AI 크롤러가 사이트에 보낸 요청이 실패하는 것입니다. 서버가 시간 초과되거나, DNS가 응답하지 않거나, robots.txt를 가져올 수 없거나, 리디렉션이 루프에 빠지거나, 페이지가 4xx 또는 5xx 코드를 반환하는 경우입니다. 사이트 수준 오류(DNS, 서버, robots.txt)는 Google이 사이트 전체를 크롤링하지 못하게 만들 수 있으므로 가장 먼저 고쳐야 합니다. URL 수준 오류(404, 소프트 404, 리디렉션 오류)는 색인되기를 원하는 페이지에서 발생할 때만 중요합니다. Search Console의 Crawl Stats와 Page indexing 보고서에서 찾고, 크롤러 도구와 서버 로그로 확인한 다음, 원인을 고치고 검증합니다.

더 알아보고 싶다면 물어보세요

간단 퀴즈

사이트의 기술적인 부분은 누가 고쳐야 합니까?

4개 중 1번째 질문25%
지금 어떤 상황입니까?

크롤링 오류란 무엇이고, 무엇이 아닌가

크롤러는 아주 인내심 많은 방문자처럼 움직입니다. 서버에 URL을 요청하고, 응답을 기다리고, 상태 코드와 콘텐츠를 읽은 다음, 찾아낸 링크로 이동합니다. 크롤링 오류는 이 흐름 중 어느 단계든 실패하는 것입니다. 방문자는 쓸 수 있는 페이지를 끝내 받지 못합니다.

이 정의가 중요한 이유는 많은 보고서가 크롤링 오류와 색인 결정을 섞어서 보여 주기 때문입니다. "Crawled, currently not indexed"는 크롤링 오류가 아닙니다. Google은 페이지를 잘 가져왔지만 보관하지 않기로 한 것입니다. "Excluded by noindex"도 크롤링 오류가 아닙니다. 페이지를 빼라고 Google에 알린 것은 여러분입니다. 크롤링 오류는 가져오기 자체가 잘못되었다는 뜻입니다.

두 갈래: 사이트 오류와 URL 오류

Google은 문제를 두 단계로 나눕니다. 여러분도 그렇게 나눠야 합니다.

  • 사이트 오류(Google은 호스트 상태 문제라고 부릅니다): DNS 확인 실패, 서버 연결 실패, robots.txt 가져오기 실패. 호스트의 모든 URL에 영향을 줍니다. 여기서 하루만 문제가 생겨도 사이트 전체의 크롤링이 멈출 수 있습니다.
  • URL 오류: 한 페이지가 404, 410, 401, 403, 5xx, 소프트 404 또는 깨진 리디렉션을 반환하는 경우. 해당 URL에만 영향을 주며, 상당수는 무해합니다.

사이트 오류와 URL 오류 비교

사이트 오류(오늘 해결)
  • DNS가 도메인을 확인하지 못함
  • 서버가 시간 초과되거나 연결을 끊음
  • robots.txt가 5xx 또는 429 반환
  • Crawl Stats의 Host status에 표시
  • 모든 페이지의 크롤링을 멈출 수 있음
URL 오류(분류)
  • 404, 410, 소프트 404
  • 401, 403, 기타 4xx
  • 리디렉션 루프 또는 너무 긴 체인
  • Page indexing 보고서에 표시
  • 색인을 원하는 페이지에서만 중요

이 구분이 우선순위를 바꾸는 이유

오래된 상품 URL 4000개가 404를 반환하는 쇼핑몰이라도, 그 상품들이 영구 단종되었다면 완전히 건강한 상태일 수 있습니다. 같은 쇼핑몰에서 robots.txt가 6시간 동안 503을 반환한다면, 모든 상품 페이지가 정상이더라도 진짜 비상 상황입니다. 호스트부터, 그다음 매출을 내는 URL, 마지막으로 나머지를 보세요.

Googlebot은 각 실패에 어떻게 반응하는가

크롤링 오류를 제대로 고치려면 Google이 오류를 만났을 때 실제로 어떻게 행동하는지 알아야 합니다. Google 문서 HTTP 상태 코드와 네트워크 오류가 Google 검색에 미치는 영향(Google Search Central)이 규칙을 정리하고 있습니다. 실무에서의 의미는 다음과 같습니다.

상태 코드, 계열별로 보기

응답Google의 처리문제인가?
2xx콘텐츠를 색인 처리로 넘깁니다. 색인은 보장되지 않습니다.아니요. 페이지가 비어 있지 않다면(소프트 404).
301, 308대상이 새 URL이라는 강한 신호입니다.아니요. 한 번에 200으로 이어진다면.
302, 303, 307약한 신호입니다. 원래 URL이 표준 URL로 남는 경향이 있습니다.예. 이동이 영구적이라면.
3xx 체인기본적으로 최대 10번까지 따라간 뒤 포기합니다.예. 단계마다 요청이 낭비되고, 루프는 끝나지 않습니다.
404, 410, 기타 4xx(429 제외)콘텐츠가 없다고 보고, 색인된 URL을 점차 삭제하며, 크롤링 빈도를 낮춥니다.페이지가 존재해야 하는 경우에만.
401, 403다른 4xx와 같습니다. 크롤링 속도를 늦추지 않습니다.예. 공개 페이지에서 Googlebot을 차단한다면.
4295xx처럼 서버 과부하 신호로 취급합니다.예. 크롤링이 느려집니다.
5xx오류에 비례해 크롤링을 줄입니다. 계속 실패하는 URL은 색인에서 삭제됩니다.예, 항상.

많은 팀이 걸려 넘어지는 두 가지가 있습니다. 첫째, 401과 403은 크롤링 빈도를 낮추지 않습니다. 서버가 힘들 때 Googlebot에 403을 반환해도 도움이 되지 않으며, Google은 대신 일시적으로 503이나 429를 반환하라고 안내합니다. 둘째, 404는 페널티가 아닙니다. 더 이상 없는 페이지에 대한 올바른 응답입니다.

robots.txt 실패가 가장 위험하다

Google의 Crawl Stats 보고서 문서(Search Console Help)가 규칙을 설명합니다. robots.txt가 200(비어 있어도 됨)이나 403, 404, 410(파일 없음)을 반환하면 괜찮습니다. 429나 5xx를 반환하면 실패이며, Google은 신중하게 행동합니다.

robots.txt 실패가 계속될 때 Google의 동작

처음 12시간Google이 사이트 크롤링을 완전히 멈춥니다.
최대 30일Google이 마지막으로 정상적으로 가져온 robots.txt를 사용합니다.
30일 이후홈페이지에 접근할 수 있는지에 따라 동작이 달라집니다.

출처: Google Search Console Help, Crawl Stats 보고서

따라서 /robots.txt에 503을 반환하는 CDN 규칙이나 방화벽 하나만으로도, 다른 URL이 모두 정상이어도 사이트 전체가 반나절 동안 멈출 수 있습니다. 크롤링 오류를 조사할 때는 이 파일부터 확인하세요. "Blocked by robots.txt" 상태 가이드에서는 파일은 작동하지만 너무 많이 차단하는 반대 문제를 다룹니다.

기억해 둘 Google의 크롤링 한도

10Google 크롤러가 따라가는 최대 리디렉션 횟수
12시간robots.txt가 5xx 또는 429를 반환할 때 크롤링 중단 시간
30일Google이 마지막 정상 robots.txt를 계속 사용하는 기간
5%호스트 문제의 예로 제시된 하루 DNS 실패율

출처: Google Search Central, HTTP 상태 코드 및 네트워크 오류; Search Console Help, Crawl Stats 보고서

크롤러가 웹사이트의 링크를 따라가고 깨진 페이지 몇 개가 수리되는 일러스트
크롤링 오류는 크롤러가 사이트를 지나가는 길이 끊기는 지점입니다.

모든 크롤링 오류 유형과 해결 방법

Search Console과 크롤러 도구에서 만나게 될 전체 목록을 원인과 해결책과 함께 정리했습니다. 명칭은 Google의 Page indexing 보고서 문서(Search Console Help)를 따릅니다.

DNS 오류

Google이 도메인 이름을 IP 주소로 바꾸지 못했거나 DNS 서버가 응답하지 않은 경우입니다. 흔한 원인: 만료된 도메인, DNS 업체 장애, 이전 후 잘못된 레코드, DNSSEC 설정 오류. 자신의 네트워크 밖에서 조회해 확인하세요.

dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec

해결: 레코드를 바로잡고, 이전 전에는 TTL을 낮추고, 이중화된 DNS 업체를 사용하세요. example.com과 www.example.com이 모두 있다면, 하나가 리디렉션만 하더라도 둘 다 확인되어야 합니다.

서버 연결 오류와 5xx

서버가 제때 응답하지 않거나, 연결을 닫거나, 500, 502, 503, 504로 응답한 경우입니다. 대표적인 원인: 과부하된 데이터베이스, 부하에 무너지는 PHP나 Node 프로세스, 리버스 프록시 시간 초과, 플러그인 업데이트, 봇 속도를 제한하는 방화벽. 시간 패턴을 보세요. 매일 밤 같은 시각의 오류는 대개 백업이나 cron 작업 때문입니다.

해결: Google이 보고한 시각의 서버 오류 로그를 읽고, 시간 제한이나 작업자 수를 늘리고, 무거운 페이지는 캐시하고, 봇 보호가 인증된 Googlebot을 통과시키는지 확인하세요. 계획된 점검 때는 "곧 돌아옵니다"라고 적힌 200 페이지 대신 Retry-After 헤더가 있는 503을 반환하세요.

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

404와 410(찾을 수 없음)

페이지가 존재하지 않는 경우입니다. 의도적으로 삭제했고 어디서도 링크하지 않는다면 괜찮습니다. 그 URL에 아직 백링크, 유입, 내부 링크가 있거나, 있어야 할 페이지가 배포 때문에 깨졌다면 문제입니다.

해결: 콘텐츠가 옮겨졌다면 가장 가까운 페이지로 301을 한 번만 설정하세요. 영구히 사라졌다면 404를 유지하거나 410을 쓰고, 그 페이지를 가리키는 내부 링크와 사이트맵 항목을 지우세요. 모든 404를 홈페이지로 리디렉션하지 마세요. Google은 이를 소프트 404로 보는 경향이 있습니다.

소프트 404

서버는 200을 반환하지만 페이지가 비어 보이거나 "찾을 수 없음"이라고 표시되는 경우입니다. 빈 카테고리, 결과 없는 검색 페이지, 내용 없는 품절 상품 등이 해당합니다. Google은 요청을 쓰고도 아무것도 얻지 못합니다. 자세한 내용은 소프트 404 오류 가이드에서 다룹니다.

401, 403, 기타 4xx

Googlebot은 로그인 정보를 보내지 않으므로, 공개 페이지의 401이나 403은 서버나 보안 계층이 Googlebot을 막고 있다는 뜻입니다. 흔한 원인: 운영 환경에 남은 스테이징 비밀번호, WAF 규칙, 국가별 차단, HTML에 적용된 핫링크 방지 규칙. 증상이 아니라 규칙을 고치고, Search Console의 URL Inspection 도구로 테스트하세요.

리디렉션 오류

Google은 루프, 너무 긴 체인, 최대 길이를 넘는 URL, 체인 안의 잘못되거나 빈 URL을 만나면 리디렉션 오류를 보고합니다. 이전 후 흔한 사례: http에서 https로, 다시 www로, 다시 끝 슬래시로, 다시 새 경로로. 한 번이면 될 것을 네 번 거칩니다. SEO 리디렉션 완벽 가이드에서 이를 줄이는 방법을 설명합니다.

팁

의심스러운 URL은 무료 Sorank 리디렉션 검사기에 붙여 넣으세요. 전체 체인을 따라가며 각 단계와 상태 코드를 보여 주고, 루프나 불필요한 단계가 어디인지 알려 줍니다.

시간 초과, 잘린 응답, 너무 큰 페이지

상태 코드가 전혀 나타나지 않는 오류도 있습니다. 페이지가 로드되다 멈추거나, 너무 무거워서 크롤러가 일부만 읽는 경우입니다. Google 크롤러는 파일당 읽는 바이트 수에 한도가 있으므로, 인라인 스크립트나 base64 이미지로 부풀린 페이지는 아래쪽 콘텐츠를 잃을 수 있습니다. 무거운 템플릿은 페이지 크기 검사기로 확인하세요.

크롤링 오류를 찾는 모든 방법 비교

모든 크롤링 오류를 보여 주는 도구는 하나도 없습니다. 방법마다 문제를 다른 각도에서 보므로, 제대로 된 점검이라면 최소 두 가지를 함께 씁니다.

방법 1: Search Console의 Crawl Stats 보고서

원리: Google이 지난 90일간의 자체 크롤링 요청을 응답, 파일 유형, 목적, Googlebot 유형별로 묶어 보여 주고, DNS, 서버, robots.txt의 호스트 상태도 표시합니다. 언제 쓰나: 항상, 그리고 사이트 오류에는 가장 먼저. 장점: Google이 직접 제공하는 실제 데이터입니다. 한계: 루트 수준 속성에서만 쓸 수 있고, 예시는 표본이며, Google은 1000페이지 미만 사이트에는 거의 필요 없다고 말합니다. 예: 매주 일요일 새벽 3시에 "page timeout" 응답이 급증하는데, 데이터베이스 백업 시각과 일치합니다.

Crawl Stats 보고서에 대한 Google Search Console 도움말 페이지
Crawl Stats 보고서에 대한 Google 문서로, DNS, 서버, robots.txt의 호스트 상태를 설명합니다.

방법 2: Search Console의 Page indexing 보고서와 URL Inspection

원리: Google이 아는 URL과 색인되지 않은 이유를 나열합니다. 이유에는 Server error (5xx), Redirect error, Not found (404), Soft 404 등이 있습니다. 언제 쓰나: URL 오류를 분류하고 수정 사항을 검증할 때. 장점: Google이 실제로 시도한 페이지에 연결되어 있습니다. 한계: 보고서가 며칠 늦고, 예시 목록에 상한이 있으며, 크롤링 오류와 색인 선택이 섞여 있습니다. 예: "Redirect error" 아래 URL 300개가 모두 같은 옛 접두어 /blog/를 공유합니다.

방법 3: 데스크톱 또는 클라우드 크롤러

원리: Screaming Frog 같은 도구가 봇처럼 홈페이지에서 링크를 따라 사이트를 크롤링하고, 모든 상태 코드, 리디렉션 체인, 깨진 링크를 기록합니다. 언제 쓰나: 이전, 리뉴얼, 대규모 배포 전후, 그리고 대형 사이트는 매달. 장점: 즉각적이고, 링크된 페이지는 빠짐없이 보며, 깨진 링크가 어디에 있는지 보여 줍니다. 한계: Google이 실제로 무엇을 요청했는지 모르고, 고아 페이지를 놓치며, 서버가 Googlebot과 다르게 대할 수 있습니다. Screaming Frog 설정 가이드에서 전체 점검 과정을 안내합니다.

Screaming Frog SEO Spider 제품 페이지
Screaming Frog SEO Spider는 봇처럼 사이트를 크롤링하고 모든 상태 코드, 리디렉션 체인, 깨진 링크를 나열합니다.

방법 4: 서버 로그 분석

원리: 접근 로그에는 Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot을 포함한 모든 요청이 정확한 상태 코드와 응답 시간과 함께 기록됩니다. 언제 쓰나: 대형 사이트, 설명되지 않는 유입 감소 이후, AI 크롤러가 무엇에 접근하는지 보고 싶을 때. 장점: 실제 요청, 실제 코드, 표본 없음, 모든 봇. 한계: 로그 접근 권한과 약간의 스크립트 작업이 필요하고, "Googlebot"이 정말 Google인지 확인해야 합니다. SEO를 위한 로그 파일 분석 가이드에서 단계별로 설명합니다. 먼저 빠르게 훑어보기:

# Googlebot requests that did not return 200, 301 or 304, most frequent first
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50

방법 5: 개별 URL 점검

원리: curl이나 무료 온라인 검사기로 URL을 하나씩 테스트합니다. 언제 쓰나: 수정을 확인하거나, 배포 후 핵심 페이지를 점검할 때. 장점: 즉각적이고 정확합니다. 한계: 대량 처리에는 맞지 않습니다. 봇을 다르게 대하는 규칙을 잡아내려면 Googlebot 사용자 에이전트를 쓰세요.

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
방법사이트 오류 확인URL 오류 확인실제 Googlebot 데이터AI 크롤러 확인가장 적합한 용도
Crawl Stats 보고서예표본예아니요호스트 상태
Page indexing 보고서일부예예아니요분류와 검증
크롤러(Screaming Frog 등)아니요예, 링크된 페이지아니요아니요깨진 링크를 출처에서 찾기
서버 로그일부예예예대형 사이트, 근본 원인
개별 URL 점검아니요하나씩아니요아니요수정 확인

5xx 오류: 상태 코드를 읽어 실패한 계층을 찾습니다

5xx 상태는 서버가 정상으로 보이는 요청을 처리하지 못했다는 뜻입니다. Google은 이에 대응해 크롤링 속도를 늦추며, 오류를 반환하는 URL이 많을수록 더 늦춥니다. Google은 이미 색인된 URL을 한동안 유지하지만, 지속적으로 서버 오류를 반환하는 URL은 제거합니다. 짧은 장애는 회복할 수 있습니다. 서버가 2xx 코드를 반환하기 시작하면 Google이 크롤링 빈도를 점차 다시 올리기 때문입니다. 색인을 해치는 것은 오랫동안 이어지는 오류입니다.

상태 코드가 어느 계층이 무너졌는지 알려 줍니다

5xx 코드마다 스택의 서로 다른 부분을 가리킵니다. 아래 표는 각 코드에서 처음 확인할 곳을 보여 줍니다.

코드보통 의미하는 것먼저 확인할 곳
500애플리케이션이 요청을 처리하는 도중 실패함요청 시각에 맞춘 애플리케이션 오류 로그
502프록시나 CDN이 애플리케이션으로부터 잘못된 응답을 받음. 대개 애플리케이션이 충돌했거나 다시 시작되었기 때문애플리케이션 프로세스의 재시작 기록과 가동 시간
503서비스가 과부하 상태이거나, 요청 제한을 받고 있거나, 점검 중임부하 그래프, 배포 이력, 점검 시간대
504프록시가 애플리케이션의 응답을 기다리다 포기함느린 데이터베이스 쿼리와 프록시 시간 제한 설정
429요청 제한 장치가 요청이 너무 많다고 알림요청 제한 규칙과, 그 규칙이 인증된 Googlebot에도 적용되는지 여부

Google의 타임스탬프를 서버 로그와 맞춰 봅니다

Crawl Stats는 Google이 오류를 만난 날짜와 시간대를 보여 줍니다(각 그래프의 설명은 Crawl Stats 가이드를 참고하십시오). 서버 로그는 그 정확한 순간에 무슨 일이 있었는지 보여 줍니다. Googlebot 요청만 걸러 시간별 5xx 응답을 세어 봅니다.

grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c

출력의 각 줄은 시간, 상태 코드, 개수를 나타냅니다. 매일 밤 같은 시간에 몰려 있다면 대개 백업, cron 작업 또는 예약된 가져오기가 원인입니다. 하루 종일 흩어져 있다면 대개 부하 때문이므로, 해결책은 단일 버그 수정이 아니라 용량이나 캐싱을 늘리는 것입니다. 더 깊은 방법은 SEO를 위한 로그 파일 분석 가이드를 참고하십시오.

당황하기 전에 5xx의 비용을 측정합니다

Google은 오류를 반환하는 URL 수에 비례해 크롤링을 줄입니다. 몇 개의 URL에만 영향을 주는 깨진 템플릿은 크롤링 시간을 조금 잃게 합니다. 모든 페이지를 깨뜨리는 데이터베이스 장애는 큰 손실이므로 가장 먼저 고쳐야 합니다.

429는 Google이 과부하 서버로 읽기 때문에 5xx와 같은 영향을 줍니다. 요청 제한 장치나 봇 차단이 Googlebot에 429를 반환한다면, 그 비용은 크롤링 시간으로 치르게 됩니다. Google 문서에는 Retry-After 헤더가 언급되어 있지 않습니다. 사람 방문자와 API 클라이언트에게는 계속 보내되, Googlebot이 설정한 시간만큼 기다려 주리라 기대하지 마십시오.

4xx 오류: 고치기 전에 발생 위치부터 찾습니다

4xx 상태는 URL이 존재하지 않거나, 접근이 금지되었거나, 주소 형식이 잘못되는 등 클라이언트 쪽 문제로 서버가 요청을 거부했다는 뜻입니다. Google은 429를 제외한 모든 4xx를 같은 방식으로 처리합니다. 해당 URL의 콘텐츠 사용을 중단하고, 이미 색인되어 있었다면 색인에서 제거합니다. 4xx를 건드리기 전에 요청이 어디서 오는지 먼저 확인합니다. 수정할 곳은 대개 한 군데이며, 링크, 템플릿 또는 리디렉션 규칙인 경우가 많습니다.

로그에서 각 4xx의 출처를 찾습니다

접근 로그에는 요청마다 리퍼러가 기록되어 있어, 어떤 페이지가 방문자나 봇을 그 URL로 보냈는지 알 수 있습니다. 경로별, 리퍼러별로 4xx 응답을 집계합니다.

awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20

리퍼러 열은 다음과 같이 해석합니다.

  • 자사 도메인의 리퍼러라면, 자사 페이지가 죽은 URL로 링크하고 있다는 뜻입니다. 해당 링크나 이를 출력하는 템플릿을 수정하십시오. 직접 관리할 수 있으므로 가장 가치 있는 수정입니다. 깨진 링크 수정 가이드에 전체 방법이 나와 있습니다.
  • 다른 사이트의 리퍼러라면, 더 이상 작동하지 않는 URL을 가리키는 백링크가 있다는 뜻입니다. 그 링크를 유지할 가치가 있다면 가장 가까운 살아 있는 페이지로 301 리디렉션을 하나 추가하십시오. 가치가 없다면 404를 그대로 두십시오.
  • 리퍼러가 비어 있거나, 정적 사이트의 로그인 페이지처럼 한 번도 게시한 적 없는 경로라면, 대개 봇이나 스캐너가 주소를 시험해 본 것입니다. 404를 그대로 반환하게 두고 여기에 시간을 쓰지 않습니다.

매 배포 직후 4xx 급증을 확인합니다

경로 이름을 바꾸거나, slug를 변경하거나, 템플릿을 다시 만드는 배포는 같은 날 404가 한꺼번에 늘어나는 경우가 많습니다. 배포 전 일주일과 배포 후 일주일의 일별 4xx 응답 수를 내보내십시오. 한 폴더에 집중된 증가는 변경 지점을 바로 보여 줍니다. 옛 URL에서 새 URL로 가는 리디렉션은 나중에 처리할 티켓이 아니라 같은 배포에 포함합니다. 전체 이전 작업은 SEO 이전 체크리스트를 참고하십시오.

팁

없는 페이지를 짧은 메시지나 빈 목록이 담긴 200 응답으로 대체하지 마십시오. Google이 이를 소프트 404로 볼 수 있으며, 그러면 크롤링 비용만 들고 얻는 것은 없습니다.

단계별 가이드: 올바른 순서로 크롤링 오류 고치기

저희가 쓰는 방법입니다. 사이트 전체를 멈출 수 있는 오류부터 시작해, 크롤링을 조금 낭비할 뿐인 오류로 넘어갑니다.

크롤링 오류 6단계 해결법

  1. 호스트 상태 확인Crawl Stats를 열고 지난 90일간의 DNS, 서버 연결, robots.txt를 봅니다.
  2. URL 오류 내보내기와 묶기Page indexing 이유별로 내보내고 URL을 폴더나 템플릿별로 묶습니다.
  3. 가치순 정렬유입, 백링크, 내부 링크, 사이트맵 항목이 있는 URL을 남깁니다.
  4. 템플릿 수준에서 원인 해결규칙 하나, 리디렉션 맵 하나, 서버 설정 하나로 수백 개의 URL이 고쳐집니다.
  5. 신호 정리내부 링크와 사이트맵이 최종 200 URL을 가리키도록 업데이트합니다.
  6. 검증과 모니터링Validate fix를 클릭한 뒤 매주 Crawl Stats와 로그를 확인합니다.

1단계: 호스트부터 확인하기

Search Console에서 Settings, Crawl stats, Host status 순으로 엽니다. 초록색이면 90일 동안 큰 문제가 없다는 뜻입니다. "Recent issue"는 지난주에 큰 문제가 있었다는 뜻이니 다른 일은 모두 미루세요. 각 카테고리를 클릭해 일별 실패율을 보고, 나쁜 날을 호스팅, CDN, 배포 기록과 맞춰 보세요.

2단계: 내보내서 패턴별로 묶기

Indexing, Pages 순으로 열고 오류 이유별로 내보냅니다. URL을 하나씩 고치지 마세요. 스프레드시트에 넣고 첫 번째 폴더를 추출합니다.

=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")

이 열로 피벗 테이블을 만들면 대개 오류 대부분이 두세 개의 템플릿에서 나온다는 사실이 드러납니다. 폐지된 블로그 카테고리, 필터 매개변수, 오래된 상품 피드 같은 것들입니다.

3단계: 비즈니스 가치순으로 정렬하기

패턴마다 네 가지를 물어보세요. 자연 검색 클릭이 있는가? 백링크가 있는가? 내부 링크가 있는가? 사이트맵에 있는가? 넷 다 없는 404는 영원히 기다려도 됩니다. 백링크가 있는 404는 오늘 301이 필요합니다. 무료 깨진 링크 검사기로 내 페이지 중 어디가 아직 죽은 URL에 링크하는지 볼 수 있습니다.

4단계: 근본 원인 고치기

URL이 아니라 규칙을 고치세요. 플러그인에 손으로 추가한 리디렉션 400개보다 서버 설정의 리디렉션 맵 하나가 낫습니다. 예를 들어 nginx에서는:

map $request_uri $new_uri {
    /old-blog/seo-tips/    /blog-geo-seo/seo-best-practices/;
    /old-blog/sitemaps/    /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
    if ($new_uri) { return 301 $new_uri; }
}

5xx라면 처리 용량이나 버그를 고치세요. 401과 403이라면 보안 규칙을 고치세요. 소프트 404라면 실제 콘텐츠를 넣거나 진짜 404를 반환하세요.

5단계: 내부 링크와 사이트맵 정리하기

모든 내부 링크는 200을 반환하는 URL을 직접 가리켜야 합니다. 사이트맵의 모든 항목은 표준이고, 색인 가능하며, 200을 반환하는 URL이어야 합니다. 리디렉션과 404로 가득한 사이트맵은 Google이 그 사이트맵을 덜 믿게 만듭니다. 사이트맵 만드는 방법 가이드에서 무엇을 넣어야 하는지 설명합니다.

6단계: 검증하고 모니터링하기

Page indexing 보고서에서 고친 이유를 열고 Validate fix를 클릭하세요. Google은 먼저 표본을 확인한 뒤 나머지를 확인합니다. 보통 2주 정도 걸리며, URL 하나라도 계속 실패하면 멈춥니다. 진행 중에는 다시 클릭하지 마세요. 그다음 주간 루틴을 정하세요. 호스트는 Crawl Stats, 급증은 로그, 배포 후에는 매번 크롤링.

수정 전후의 리디렉션 체인

수정 전
  • http://site.com/page
  • 301로 https://site.com/page
  • 301로 https://www.site.com/page
  • 301로 https://www.site.com/page/
  • 내부 링크는 여전히 첫 번째 URL을 가리킴
수정 후
  • 301 한 번으로 https://www.site.com/page/에 바로 도착
  • 내부 링크를 최종 URL로 업데이트
  • 사이트맵에는 최종 URL만 표시
  • 요청 네 번 대신 한 번

흔한 실수와 발견 및 수정 방법

실수 1: 모든 404를 홈페이지로 리디렉션하기

무엇인가: 없는 URL을 모두 /로 보내는 플러그인이나 규칙. 발견 방법: "Soft 404"나 "Page with redirect"에 홈페이지로 도착하는 URL이 많고, 크롤러에서 대상이 같은 301이 수백 개 보입니다. 해결 방법: 비슷한 페이지로만 리디렉션하고, 나머지는 404나 410을 반환하게 하세요.

실수 2: 보안 도구로 Googlebot 차단하기

무엇인가: WAF, 봇 관리 도구, 속도 제한기가 Google에 403, 429 또는 챌린지 페이지를 보내는 경우. 발견 방법: 브라우저에서는 페이지가 잘 열리는데 Crawl Stats에 403이나 429가 나타나고, 로그에 IP별 차단이 남아 있습니다. 해결 방법: 사용자 에이전트 문자열을 믿지 말고, 역방향 DNS나 Google이 공개한 IP 범위로 인증된 Googlebot을 허용하세요.

실수 3: 취약한 robots.txt

무엇인가: 앱이 생성하는 robots.txt라서 앱이 실패할 때마다 같이 실패하거나, 5xx를 캐시하는 CDN 규칙을 통해 제공되는 경우. 발견 방법: Host status의 robots.txt 가져오기 카테고리가 초록색이 아닙니다. 해결 방법: 앱 밖에서 정적 파일로 제공하고, robots.txt 검사기로 테스트하세요.

실수 4: 200을 반환하는 점검 페이지

무엇인가: 모든 URL에서 "곧 돌아옵니다" 페이지를 상태 200으로 보여 주는 경우. 발견 방법: 점검 후 소프트 404나 중복 제목이 한꺼번에 늘어납니다. 해결 방법: 점검 중에는 Retry-After가 있는 503을 반환하고, 점검은 짧게 하세요.

실수 5: Google을 늦추려고 403 쓰기

무엇인가: 서버가 과부하일 때 Googlebot에 403으로 응답하는 경우. 발견 방법: 403 급증이 부하 급증과 겹칩니다. 해결 방법: Google은 429를 제외한 4xx 코드는 크롤링 빈도에 영향이 없다고 말합니다. 잠시 동안 503이나 429를 반환하고, 처리 용량을 늘리세요.

실수 6: 오류를 하나씩 고치기

무엇인가: Search Console 목록을 하나씩 클릭하며 URL마다 수정하는 것. 발견 방법: 같은 이유가 매달 다시 나타납니다. 해결 방법: 패턴별로 묶고, 템플릿이나 규칙을 고친 뒤, 검증은 한 번만 하세요.

실수 7: 무해한 404에 당황하기

무엇인가: 스팸 URL이나 오래전에 지워졌고 링크도 없는 페이지의 404에 며칠씩 쓰는 것. 발견 방법: 그 URL에 클릭도, 백링크도, 내부 링크도 없습니다. 해결 방법: 그대로 두세요. Google은 삭제한 페이지의 404가 반드시 문제는 아니라고 말합니다.

주의

크롤링 오류를 "숨기려고" robots.txt에서 URL을 차단하지 마세요. Google은 더 이상 404나 리디렉션을 볼 수 없게 되고, URL은 색인에 남을 수 있으며, 보내려던 신호도 잃게 됩니다.

크롤링 오류와 크롤링 예산

몇백 페이지짜리 사이트라면 Google에게는 모든 것을 볼 시간이 있고, 크롤링 오류는 주로 그 오류가 깨뜨리는 페이지에만 중요합니다. 대형 사이트(필터가 많은 쇼핑몰, 오픈마켓, 뉴스)에서는 실패하거나 낭비된 요청 하나하나가 진짜 페이지의 시간을 빼앗습니다. 이것이 크롤링 예산의 개념입니다.

오류가 크롤링 용량을 갉아먹는 방식

5xx와 429는 Google이 호스트 전체에서 속도를 늦추게 만들기 때문에, 깨진 템플릿 몇 개가 새 상품 페이지의 크롤링을 늦출 수 있습니다. 리디렉션 체인은 단계마다 요청이 하나씩 듭니다. 소프트 404는 전체 가져오기 비용이 들지만 아무것도 돌려주지 않습니다. 이 세 가지를 고치면 같은 예산으로 더 많은 유용한 페이지를 다룰 수 있습니다.

"Discovered, not indexed"와의 관계

Google이 URL을 찾았지만 크롤링을 미룬다면, 원인은 대개 Google이 불안정하다고 보는 서버입니다. "Discovered, currently not indexed" 수가 늘어나고 Crawl Stats에 서버 오류가 함께 보인다면 서버부터 고치세요. 두 보고서는 같은 이야기를 하고 있습니다.

AI 크롤러의 크롤링 오류

이제 중요한 방문자는 Googlebot만이 아닙니다. GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot은 모델을 학습시키거나 실시간으로 질문에 답하기 위해 페이지를 가져갑니다. 같은 서버에 접속하고 같은 오류를 겪지만, 한 가지가 다릅니다. 이들에게는 Search Console이 없습니다.

AI 봇에서 달라지는 점

대부분의 AI 크롤러는 JavaScript를 실행하지 않기 때문에, 브라우저에서만 콘텐츠를 만드는 페이지는 이들에게 비어 보일 수 있습니다. Google 보고서에는 절대 나타나지 않는 일종의 소프트 404입니다. 상당수는 봇 보호 서비스에 기본으로 차단되며, 대개 403을 받습니다. 또 사용자가 질문할 때 즉시 가져가기 때문에, 그 순간 시간 초과가 나면 답변은 다른 사이트를 인용합니다. JavaScript SEO 가이드에서 검색 크롤러와 AI 크롤러 모두를 위한 렌더링을 다룹니다.

모니터링 방법

믿을 수 있는 출처는 서버 로그뿐입니다. 사용자 에이전트로 걸러 상태 코드를 확인하세요.

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

AI 봇이 의도하지 않은 403을 받고 있다면 규칙을 고치세요. 그런 다음 실제로 여러분을 인용하는지 확인하세요. Sorank의 AI 언급 추적은 ChatGPT, Gemini, Claude, Perplexity가 브랜드를 얼마나 자주 언급하는지 추적하므로, 크롤링 수정이 무언가를 바꾸었는지 볼 수 있습니다.

크롤링 건강 체크리스트

이전, 리뉴얼, 대규모 배포 후마다, 그리고 대형 사이트는 매달 이 목록을 확인하세요.

크롤링 건강 체크리스트

  • DNS, 서버 연결, robots.txt의 호스트 상태가 초록색
  • robots.txt가 정적 파일로 제공되고 200 반환
  • Crawl Stats나 로그에 5xx 또는 429 급증 없음
  • 인증된 Googlebot과 원하는 AI 봇이 방화벽에 차단되지 않음
  • 모든 리디렉션이 301 또는 308로 한 번에 200 페이지로 이동
  • 내부 링크가 최종 200 URL을 가리킴
  • 사이트맵에는 표준이고 색인 가능하며 200을 반환하는 URL만 포함
  • 백링크나 유입이 있는 404는 비슷한 페이지로 리디렉션됨
  • 빈 페이지는 수정되었거나 진짜 404 반환
  • 점검 중에는 Retry-After가 있는 503 반환
  • 고친 이유마다 Validate fix 시작

오늘 할 일

Crawl Stats를 열어 호스트 상태 세 줄을 확인하세요. 그다음 가장 중요한 다섯 페이지에 무료 색인 가능성 검사기를 실행하세요. 둘 다 깨끗하다면 Page indexing 오류를 내보내 폴더별로 묶으세요. 이제 무서운 보고서 대신 짧고 우선순위가 매겨진 수정 목록이 생깁니다.

크롤링이 깨끗해지면 다음 한계는 콘텐츠 자체입니다. Sorank의 콘텐츠 최적화는 기존 페이지를 autopilot으로 다시 쓰고 새로 고쳐, 이제 Google이 도달할 수 있는 페이지를 색인되고 인용될 만한 페이지로 만듭니다. Google이 크롤링했지만 색인하지 않은 페이지라면 "Crawled, currently not indexed" 가이드를 읽어 보세요.

자주 묻는 질문

SEO에서 크롤링 오류란 무엇인가요?

크롤링 오류는 검색엔진이나 AI 크롤러의 요청이 실패하는 것입니다. DNS가 도메인을 확인하지 못하거나, 서버가 시간 초과되거나 5xx를 반환하거나, robots.txt를 가져올 수 없거나, 리디렉션이 루프에 빠지거나, 페이지가 4xx를 반환하는 경우입니다. 사이트 수준 오류는 사이트 전체의 크롤링을 멈출 수 있고, URL 오류는 해당 페이지에만 영향을 줍니다.

404 오류는 SEO에 나쁜가요?

그 자체로는 아닙니다. Google은 대체 페이지 없이 삭제한 페이지의 404가 반드시 문제는 아니라고 말합니다. 그 URL에 아직 백링크, 유입, 내부 링크가 있다면 문제가 되며, 이때는 비슷한 페이지로 301을 한 번 설정하는 것이 올바른 해결책입니다.

Google이 크롤링 오류가 고쳐졌다고 인식하는 데 얼마나 걸리나요?

Search Console의 Page indexing 보고서에서 Validate fix를 클릭하면 검증에는 보통 2주 정도 걸립니다. Google은 먼저 URL 표본을 확인한 뒤 나머지를 확인하며, 해당 URL이 하나라도 계속 실패하면 검증이 멈춥니다.

30일 콘텐츠 계획 무료로 받기

경쟁사, 웹사이트, AI 가시성을 분석해 맞춤 콘텐츠 계획을 무료로 만들어 드립니다.

Sorank 무료 SEO 도구

무료 도구 모두 보기

30일 콘텐츠 계획 무료로 받기

경쟁사, 웹사이트, AI 가시성을 분석해 맞춤 콘텐츠 계획을 무료로 만들어 드립니다.

Sorank 사용자 사진Sorank 사용자 사진Sorank 사용자 사진Celio FabianoSorank 사용자 사진고객 Xavier Breull의 프로필 사진
Google
별별별별별
5/5
+5,000
사용자

야망 있는 창업자들의 후기

5개월 만에 방문자 0에서 10000명

Celio Fabianomonrobotlavevitre.frGoogle이커머스

8개월 만에 방문 수 0에서 5000회

Thibault BMsorank.comGoogle소프트웨어

4개월 만에 클릭 0에서 1104회로

Dominiqueflight-sensations-idf.comGoogle레저 및 항공

6개월 만에 클릭 0에서 163으로

Coworking Pariscoworking-paris.frGoogleOffice broker

7개월 만에 클릭 x92배 증가

Guide Zanzibarguidezanzibar.comGoogle여행