Excluded by 'noindex' tag: 정상인가요, 그리고 어떻게 해결하나요?

« Excluded by 'noindex' tag »는 의도했든 실수했든 여러분이 직접 만들어 내는 유일한 색인 상태입니다. Google의 페이지 색인 생성 보고서 문서는 이 사유를 세 문장으로 설명합니다. "Google이 페이지를 색인 생성하려고 했을 때 'noindex' 지시문을 발견했으므로 해당 페이지를 색인 생성하지 않았습니다. 이 페이지를 색인에 포함하고 싶지 않다면 축하합니다! 색인에 포함하고 싶다면 'noindex' 지시문을 제거해야 합니다." 이 가이드는 각 URL이 그 문장의 어느 쪽에 속하는지 판단하고, 원하지 않는 규칙의 정확한 출처를 찾아 다른 부분을 망가뜨리지 않고 수정하도록 돕습니다.

« Excluded by 'noindex' tag »는 무엇을 의미하나요?

noindex 규칙은 검색 엔진에 해당 페이지를 검색 결과에 표시하지 말라고 지시합니다. Google은 noindex로 색인 생성 차단하기 가이드에서 설명하듯이 두 곳에서 이 규칙을 읽습니다.

• robots 메타 태그: HTML의 <head>에 있는 <meta name="robots" content="noindex">(모든 검색 엔진용) 또는 Google만을 위한 name="googlebot".
• X-Robots-Tag HTTP 헤더: 서버가 응답과 함께 보내며, 값은 noindex 또는 none입니다. PDF처럼 HTML이 없는 파일에서 사용할 수 있는 유일한 방법입니다.

Googlebot이 둘 중 하나를 발견하면 해당 URL을 색인 밖에 둡니다. 이 상태는 Search Console의 색인 생성 메뉴 아래 페이지 항목에 나타나며, "Why pages aren't indexed" 표에 표시됩니다. 도움말 페이지는 같은 사유를 "URL marked 'noindex'"로 기재하는데, 두 라벨은 하나의 상황을 가리킵니다.

다음 세 가지 사실은 보고서를 읽는 방식을 바꿔 줍니다.

• Google이 지시를 따랐습니다. Google이 페이지에 대해 직접 판단하는 "Crawled - currently not indexed"와 달리, 이 상태는 사이트가 보낸 지시를 반영합니다.
• 크롤링이 필요합니다. Google은 가져오기가 허용된 페이지에서만 noindex 규칙을 볼 수 있습니다. robots.txt로 차단된 페이지는 이 상태에 도달하지 않습니다.
• 규칙은 과정의 어느 단계에서든 생길 수 있습니다. HTML, CMS, 플러그인, 테마, 서버 설정, CDN이 각각 규칙을 추가할 수 있으며, 페이지 소스에서는 HTTP 헤더가 보이지 않습니다.

정상인가요, 오류인가요?

대부분의 사이트에는 이 상태의 URL이 있으며, 그중 많은 수는 원래 그 상태여야 합니다. Google의 보고서도 색인이 생성되지 않은 것으로 나열된 페이지가 그곳에 있는 이유가 "반드시 오류 때문만은 아니다"라고 설명합니다. 무엇이든 고치기 전에 URL 유형별로 목록을 정렬하십시오.

마지막 행은 보이는 것보다 중요합니다. 사이트맵은 Google에 "이 페이지들을 색인하라"고 말하고, noindex는 정반대를 말합니다. 사이트맵은 색인이 가능하고 정규(canonical)인 URL로만 제한하십시오(Google에 사이트맵 제출하기 가이드에서 정리하는 방법을 설명합니다).

원하지 않는 noindex는 어디에서 오나요?

중요한 페이지에 noindex가 있을 때, 원인은 거의 항상 아래 출처 중 하나입니다. 가장 흔한 것부터 가장 드문 것 순서로 확인하십시오.

WordPress 사례는 언급할 만큼 흔합니다. WordPress 읽기 화면 문서에 따르면 "Discourage search engines from indexing this site"를 체크하면 모든 페이지의 head에 noindex,nofollow가 추가됩니다(5.3 버전부터). 출시 후 잊어버린 체크박스 하나만으로도 사이트 전체가 Google에서 사라질 수 있습니다. 출시와 재디자인은 가장 위험한 순간이므로, SEO 이전 체크리스트에는 항상 크롤링 규칙 점검이 포함됩니다. WordPress 전용 설정은 WordPress SEO와 GEO 페이지를 참고하십시오.

상태를 단계별로 진단하려면 어떻게 하나요?

1. 보고서를 여십시오. Search Console에서 색인 생성, 페이지로 이동하여 "Excluded by 'noindex' tag"를 클릭하고 목록을 내보내십시오.
2. URL을 정렬하십시오. 위 표를 사용하여 색인 밖에 있어야 하는 URL을 따로 분류하십시오.
3. 중요한 URL 하나를 검사하십시오. URL 검사 도구에 붙여 넣으십시오. "Indexing allowed?" 줄은 Google이 noindex를 보았는지, 그리고 그것이 robots 메타 태그에서 왔는지 X-Robots-Tag 헤더에서 왔는지 알려 줍니다.
4. 실시간 URL을 테스트하십시오. "Test live URL"을 클릭하십시오. 실시간 버전에 noindex가 없다면 규칙은 이미 제거된 것이고, Google은 다시 크롤링만 하면 됩니다.
5. 두 위치를 직접 확인하십시오. 페이지 소스에서 noindex를 찾은 다음, 응답 헤더를 확인하십시오(브라우저 개발자 도구의 네트워크 탭). 무료 HTTP 헤더 검사기는 개발자 도구를 열지 않고도 X-Robots-Tag를 보여 주며, 색인 가능성 검사기는 메타 태그, 헤더, robots.txt를 한 번에 테스트합니다.
6. 출처를 추적하십시오. 출처 표를 사용해 CMS 설정과 SEO 플러그인부터 확인하십시오.

어떻게 고치나요?

수정 방법은 출처에 따라 다릅니다. 보이는 결과물이 아니라 규칙이 생성되는 곳의 설정을 바꾸십시오. 그렇지 않으면 다음 업데이트 때 다시 나타납니다.

수정 후에는 URL 검사 도구에서 가장 중요한 URL의 색인 생성을 요청하고, 많은 페이지가 영향을 받았다면 사이트맵을 다시 제출하십시오. 수정한 URL 그룹은 보고서에서 "Validate fix"를 클릭하십시오. Google은 검증에 "typically takes up to about two weeks, but in some cases can take much longer"가 걸릴 수 있다고 설명합니다. 먼저 페이지 또는 CDN 캐시를 비우십시오. 그렇지 않으면 Google이 예전 규칙이 담긴 이전 버전을 가져올 수 있습니다. 몇 주 뒤에도 페이지가 나타나지 않는다면 Google이 페이지를 색인하도록 하는 방법 가이드에서 다음 단계를 확인하십시오. 페이지가 Crawled - currently not indexed로 옮겨 갔다면 이제 문제는 규칙이 아니라 콘텐츠입니다.

Noindex, robots.txt, canonical 중 무엇을 써야 하나요?

이 세 도구는 자주 혼동되며, 잘못 조합하면 가장 헷갈리는 보고서가 나옵니다.

Google은 이를 분명히 말합니다. robots.txt가 페이지를 차단하면 "the crawler will never see the noindex rule"입니다. 페이지를 색인에서 빼고 싶다면, 페이지가 사라질 때까지 noindex를 달고 크롤링 가능하게 두십시오. 그다음에 차단할지 결정하십시오. 파일은 robots.txt 검사기로 테스트하고, 전체 규칙 목록은 robots 메타 태그 사양에서 확인하십시오. 규칙이 충돌하면 "the more restrictive rule applies"가 적용된다는 내용도 있습니다.

SEO와 AI 가시성에는 왜 중요한가요?

noindex가 적용된 페이지는 품질과 관계없이 Google에서 자연 검색 클릭을 받지 못합니다. 대형 사이트에서는 템플릿 하나에 잘못 붙은 규칙이 수백 개의 제품이나 글 페이지를 한꺼번에 제외할 수 있으며, 첫 신호는 몇 주 뒤 트래픽이 떨어지는 것인 경우가 많습니다. 사이트가 완전히 사라진 것처럼 보인다면 Google에 나타나지 않는 웹사이트 체크리스트부터 확인하십시오.

AI 어시스턴트는 두 번째 비용을 더합니다. ChatGPT, Perplexity, Gemini는 웹 검색 색인에서 페이지를 가져와 인용하는 방식으로 답변하는 경우가 많으므로, 색인에 없는 페이지는 인용될 가능성이 낮습니다. AI가 가장 많이 인용하는 플랫폼에 관한 조사는 AI가 어떤 출처를 선호하는지 보여 줍니다.

Sorank는 저희 제품으로, autopilot으로 작동하는 SEO 및 GEO 소프트웨어입니다. GEO 및 SEO 대시보드는 Search Console의 클릭, 노출, 순위를 보여 주므로 페이지 그룹의 노출이 갑자기 떨어지면 금방 눈에 띕니다. 무료 Sorank Chrome 확장 프로그램은 열어 보는 모든 페이지의 SEO 문제를 표시합니다.

요약하면, 절대 순위를 얻지 않아야 할 페이지에는 noindex를 유지하고, 순위를 얻어야 할 페이지에서는 원본에서 noindex를 제거하십시오. 사이트맵에는 noindex URL을 넣지 마십시오. 그리고 Google이 noindex를 읽어야 하는 동안에는 robots.txt로 페이지를 차단하지 마십시오. 색인되고 인용되도록 설계된 페이지를 게시하려면 Sorank 요금제를 확인하십시오. 월 49€부터이며 3일 무료 체험이 제공됩니다.