robots.txt에 의해 차단됨: Search Console 상태의 의미와 해결 방법

robots.txt에 의해 차단됨 상태는 Google Search Console의 페이지 색인 생성 보고서에서 페이지가 색인되지 않은 이유 가운데 하나로 표시됩니다. Google의 페이지 색인 생성 보고서 문서는 이를 한 줄로 설명합니다. 사이트의 robots.txt 파일이 페이지를 차단했다는 것입니다. 이 한 줄 뒤에는 정상적인 차단과 실수로 인한 차단이라는 전혀 다른 두 상황이 있고, 헷갈리기 쉬운 비슷한 상태인 'robots.txt에 의해 차단되었지만 색인이 생성됨'도 있습니다. 이 가이드는 둘을 구별하는 방법과, 다른 부분을 망가뜨리지 않고 각각을 해결하는 방법을 설명합니다. 파일 자체가 낯설다면 먼저 robots.txt 정의부터 읽어 보십시오.

Search Console의 'robots.txt에 의해 차단됨'은 무슨 뜻입니까?

robots.txt 파일은 호스트의 루트(example.co.kr/robots.txt)에 있으며, 크롤러가 어떤 경로를 가져올 수 있는지 알려 줍니다. Googlebot은 링크나 사이트맵으로 URL을 발견하면 먼저 이 파일을 확인합니다. 자신의 사용자 에이전트에 대한 Disallow 규칙이 경로와 일치하면 페이지를 가져오지 않습니다. 그러면 Search Console은 해당 URL을 'robots.txt에 의해 차단됨'으로 분류합니다.

여기서 두 가지 결과가 생깁니다. Google은 페이지의 콘텐츠, 제목, 내부 링크, meta 태그를 전혀 볼 수 없습니다. 페이지를 읽지 않으니 noindex 태그도 보지 못합니다. 이 상태는 색인 미생성 사유로 표시되며 대부분의 사이트에는 참고 정보에 불과합니다. Google도 robots.txt로 차단된 URL은 아마 의도적으로 차단된 것이라고 설명합니다.

문제는 Google에 노출하고 싶은 페이지가 목록에 들어 있을 때 시작됩니다. 상품 페이지, 글, 카테고리, 또는 이전 후의 사이트 전체가 그런 예입니다. 이 경우 차단은 사이트가 Google에 나타나지 않는 직접적인 원인이며, 가장 빨리 고칠 수 있는 기술 문제 중 하나입니다.

'robots.txt에 의해 차단됨'과 '차단되었지만 색인이 생성됨'의 차이

두 번째 상태는 모순처럼 보여 사이트 운영자를 가장 불안하게 만듭니다. Google의 robots.txt 소개 문서가 그 이유를 설명합니다. robots.txt는 페이지를 Google에서 제외하는 수단이 아닙니다. 다른 페이지가 금지된 URL로 링크하면 Google은 크롤링 없이 URL 자체를 색인할 수 있습니다. 이때 Google은 본문을 읽은 적이 없으므로 검색결과에는 설명 없이 주소만 표시됩니다.

핵심은 먼저 URL마다 색인할지, 색인하지 않을지를 정하는 것입니다. robots.txt는 다른 질문(크롤링할지, 하지 않을지)에 답하며, 둘을 혼동하는 것이 대부분의 실수의 원인입니다.

페이지가 robots.txt에 의해 차단되는 이유는 무엇입니까?

의도하지 않은 차단은 대부분 몇 가지 원인에서 비롯됩니다. 다음 순서로 확인하십시오.

• 스테이징 규칙이 운영 환경으로 넘어온 경우. Disallow: /는 테스트 사이트를 보호하지만, 출시와 함께 반영되면 모든 페이지를 차단합니다.
• CMS 설정. WordPress에는 '검색 엔진이 이 사이트를 색인하지 않도록 요청' 옵션이 있으며, 다른 플랫폼에도 robots.txt를 수정하거나 헤더를 추가하는 비슷한 스위치가 있습니다.
• 예상보다 넓은 규칙. Disallow: /p는 /p/뿐 아니라 /products/와 /pricing/도 차단합니다. robots.txt 규칙은 경로의 시작 부분과 일치 여부를 봅니다.
• 와일드카드. *는 임의의 문자열과, $는 URL의 끝과 일치합니다. Disallow: /*?는 매개변수가 있는 모든 URL을 차단하므로, 색인하고 싶은 페이지 나누기나 필터 페이지까지 막을 수 있습니다.
• 리소스 차단. /assets/나 /wp-includes/를 차단하면 Google이 페이지를 렌더링하는 데 필요한 CSS와 JavaScript가 가려져 콘텐츠 이해도가 떨어집니다.
• 사이트 이전. 경로가 바뀌었는데 예전 robots.txt가 남아 있거나, 새 호스팅이 자체 기본 파일을 제공합니다.
• 잘못된 호스트. 하위 도메인과 프로토콜마다 파일이 따로 있습니다. www.example.co.kr의 규칙은 shop.example.co.kr에 적용되지 않습니다.

Google은 가장 구체적인 규칙(일치하는 경로가 가장 긴 규칙)을 따르며, Allow와 Disallow의 구체성이 같으면 제한이 덜한 규칙이 우선합니다. 따라서 범위를 좁힌 Allow: /blog/로 더 넓은 차단 아래에 있는 폴더를 다시 열 수 있습니다.

'robots.txt에 의해 차단됨'을 단계별로 해결하는 방법

1. 해당 URL 내보내기

Google Search Console에서 '색인 생성', 이어서 '페이지'를 열고 'robots.txt에 의해 차단됨' 행을 클릭합니다. 목록을 내보내 폴더별로 정렬하십시오. 대개 1분 안에 패턴이 보입니다. 특정 디렉터리, 매개변수, 하위 도메인 같은 것입니다.

2. 의도한 차단과 실수 구분하기

각 패턴을 '차단 유지' 또는 'Google에 노출'로 표시합니다. 장바구니, 결제 과정, 회원 계정, 사이트 내 검색결과, 관리자 영역은 첫 번째 그룹입니다. 검색어에 답하거나, 링크를 받거나, XML 사이트맵에 포함된 페이지는 두 번째 그룹입니다. 사이트맵에 있으면서 동시에 차단된 URL은 해결해야 할 모순입니다.

3. 일치하는 규칙 찾기

예시 URL 하나로 URL 검사 도구를 열면 크롤링 허용 여부가 표시됩니다. 그다음 게시된 파일을 읽거나, 무료 robots.txt 검사기에 URL을 붙여 넣어 어떤 줄이 어떤 사용자 에이전트에 대해 차단하는지 확인합니다.

4. 파일 수정하기

규칙을 삭제하거나 범위를 좁히거나, 더 구체적인 Allow를 추가합니다. 변경은 최소한으로 하고, 차단을 풀 URL과 계속 차단해야 할 URL 모두로 테스트하십시오. 파일이 어수선하다면 robots.txt 생성기로 깔끔한 파일을 새로 만든 뒤 게시 전에 비교합니다.

5. Google이 새 파일을 읽게 하기

Google의 robots.txt 사양에 따르면 Google은 보통 robots.txt를 최대 24시간 캐시합니다. 더 빨리 반영하려면 '설정'에서 Search Console의 robots.txt 보고서(도메인 수준 속성에서 사용 가능)를 열고 파일 재크롤링을 요청합니다. 그런 다음 URL 검사 도구에서 차단을 푼 주요 URL의 색인 생성을 요청합니다.

6. 검증하고 모니터링하기

문제 세부정보 페이지에서 '수정 결과 확인'을 클릭합니다. 검증에는 며칠에서 몇 주가 걸릴 수 있으며, 새 URL은 Google이 다시 크롤링할 때마다 확인됩니다. 크롤링 이후 Google이 페이지를 남길지 판단하는 단계는 Google 색인 생성 가이드에서 설명합니다.

'robots.txt에 의해 차단되었지만 색인이 생성됨'을 해결하는 방법

해결 방법은 그 페이지를 어떻게 하고 싶은지에 따라 다릅니다.

1. Google에 노출하고 싶은 경우. 차단을 해제합니다. Google이 페이지를 크롤링해 콘텐츠를 읽고, 제목과 설명이 있는 일반 검색결과를 표시합니다.
2. Google에 노출하고 싶지 않은 경우. 이 경우에도 차단을 먼저 해제한 뒤, head에 <meta name="robots" content="noindex">를 추가하거나 PDF 등의 파일에는 HTTP 헤더 X-Robots-Tag: noindex를 보냅니다. Google이 페이지를 다시 크롤링해 삭제한 뒤에는 크롤링량이 중요할 때 다시 차단해도 되지만, 대부분의 사이트에는 필요하지 않습니다. 선택지는 noindex 정의에서 설명합니다.
3. 애초에 공개되면 안 되는 페이지인 경우. 비밀번호로 보호하거나 삭제(404 또는 410)합니다. robots.txt도 noindex도 보안 수단이 아닙니다.

수천 개의 필터 URL이 있는 패싯 내비게이션에서는 크롤링 예산을 아끼기 위해 robots.txt 차단이 여전히 올바른 수단일 수 있습니다. 카테고리의 표준 버전이 크롤링 가능하고 색인되어 있다면, 그중 일부 URL에 '차단되었지만 색인이 생성됨' 경고가 나와도 괜찮습니다.

수정이 효과가 있었는지 확인하는 방법

세 가지 신호로 수정 성공을 확인할 수 있습니다. 게시된 URL을 URL 검사하면 '크롤링 허용: 예'로 표시됩니다. 페이지 색인 생성 보고서의 차단된 페이지 수가 이후 몇 주 동안 줄어듭니다. 그리고 차단을 푼 페이지가 실적 보고서에서 노출수를 얻기 시작합니다. 색인 가능성 검사기로 빠르게 확인하면 robots.txt 실수와 함께 자주 나타나는 다른 장애물, 즉 잊고 남겨 둔 noindex, 잘못된 canonical, 리디렉션도 찾을 수 있습니다.

이런 실수는 다시 발생하기 때문에 모니터링이 중요합니다. 테마 업데이트, 플러그인, 배포 스크립트가 아무도 모르게 robots.txt를 다시 쓸 수 있습니다. 클릭수와 노출수가 갑자기 떨어진 페이지를 지켜보는 것이 가장 빠른 조기 경보입니다.

Sorank GEO·SEO 대시보드는 Search Console과 연결되어 상승하거나 하락하는 페이지를 한 화면에 보여 줍니다. 그래서 배포와 함께 들어온 차단이 원인 모를 완만한 감소가 아니라 한꺼번에 떨어지는 URL 묶음으로 드러납니다.

robots.txt, AI 크롤러, GEO

이제 robots.txt에는 두 번째 독자가 있습니다. 바로 AI 어시스턴트의 크롤러입니다. OpenAI, Anthropic, Perplexity, Google은 각각 robots.txt를 준수하는 사용자 에이전트(GPTBot과 OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended)를 공개하고 있습니다. 이 중 하나를 겨냥한 규칙이나 포괄적인 User-agent: * 차단이, ChatGPT, Claude, Perplexity가 답변을 만들기 위해 웹을 검색할 때 귀사의 페이지를 읽을 수 있는지를 결정합니다.

원리는 Google과 같습니다. 봇마다 원하는 처리 방식을 정하십시오. 학습용 크롤러는 차단하고 검색용 크롤러는 허용하는 것이 흔한 절충안입니다. AI 크롤러용 robots.txt 가이드에서 사용자 에이전트와 각각의 규칙을 정리했습니다. 용어집의 AI 크롤러 항목은 어떤 봇이 무엇을 하는지 설명합니다.

이러한 선택의 효과를 확인하려면 사업에 중요한 프롬프트를 추적하십시오. Sorank의 AI 언급 추적은 ChatGPT, Gemini, Claude가 귀사의 사이트를 인용하는지, 대신 어떤 경쟁사를 인용하는지 보여 줍니다.

기억해야 할 원칙

robots.txt는 크롤러가 무엇을 읽을 수 있는지를, noindex는 검색결과에 무엇을 표시할 수 있는지를 정합니다. 차단은 검색 가치가 없는 영역에만 사용하고, 색인하거나 색인에서 제외하려는 페이지는 절대 차단하지 말며, 이전이나 배포 후에는 매번 페이지 색인 생성 보고서를 확인하십시오. 'robots.txt에 의해 차단됨' 문제의 대부분은 원인 규칙만 찾으면 몇 분 안에 해결됩니다. Sorank의 Search Console 대시보드는 다음 문제가 트래픽 손실로 이어지기 전에 발견하도록 돕습니다.