크롤링됨 - 현재 색인이 생성되지 않음: 의미와 해결 방법

크롤링됨 - 현재 색인이 생성되지 않음은 Search Console의 “페이지가 색인에 포함되지 않는 이유” 아래 나열된 항목 중 하나이며, 콘텐츠 사이트와 온라인 상점에서 가장 많이 보이는 항목인 경우가 많습니다. Google의 페이지 색인 생성 보고서 문서는 이 상태를 두 문장으로 설명합니다. “페이지가 Google에 의해 크롤링되었지만 색인이 생성되지 않았습니다. 이 페이지는 나중에 색인에 포함될 수도 있고 그렇지 않을 수도 있습니다. 크롤링을 위해 이 URL을 다시 제출할 필요는 없습니다.” 이 가이드에서는 Google이 무엇을 결정했는지, 어떤 URL을 이 상태로 두어도 되는지, 중요한 URL의 실제 원인을 찾는 방법, 그리고 각 원인에 맞는 해결 방법을 설명합니다.

“크롤링됨 - 현재 색인이 생성되지 않음”은 무슨 뜻인가요?

Google은 URL을 세 단계로 처리합니다. 발견과 크롤링, 그다음 색인 생성, 마지막으로 순위 결정입니다(크롤링과 색인 생성에 관한 용어집 항목에서 각 단계를 자세히 설명합니다). 이 상태의 페이지는 첫 단계를 통과했습니다. Googlebot이 페이지를 요청했고 응답을 받았습니다. 그러나 두 번째 단계에서 멈췄습니다. 콘텐츠를 처리한 뒤 Google이 그것을 색인에 저장하지 않기로 선택한 것입니다.

이 선택은 의도적이며 문서화되어 있습니다. Google의 검색 작동 방식 가이드는 “색인 생성이 보장되지는 않으며, Google이 처리하는 모든 페이지가 색인에 포함되지는 않습니다”라고 명시합니다. 흔한 이유로 세 가지를 듭니다. 낮은 콘텐츠 품질, 색인 생성을 금지하는 메타 robots 규칙, 그리고 색인 생성을 어렵게 만드는 사이트 설계입니다. noindex 규칙은 자체 상태를 만들기 때문에(“‘noindex’ 태그로 인해 제외됨”), 크롤링되었지만 색인이 생성되지 않은 것으로 나열된 페이지는 주로 첫 번째와 세 번째 이유를 가리킵니다.

기억해 둘 세 가지 사항이 있습니다.

• 이것은 페널티가 아닙니다. 수동 조치가 관련된 것이 아니며, 사이트의 나머지 부분이 이 때문에 불이익을 받지도 않습니다.
• 이것은 최종 결정이 아닙니다. Google은 페이지가 “나중에 색인에 포함될 수도 있고 그렇지 않을 수도 있다”고 말합니다. 재크롤링할 때마다 새로운 판단이 내려집니다.
• 이전에 색인에 포함되어 있던 페이지에도 발생할 수 있습니다. Google은 더 이상 보관할 가치가 없다고 판단한 URL을 정기적으로 제거하므로, 오래된 글도 여러분이 아무것도 바꾸지 않았는데 이 상태로 바뀔 수 있습니다.

전체 색인 생성 과정과 이를 빠르게 하는 요인은 Google 색인 생성 가이드를 참고하세요.

“크롤링됨”과 “발견됨 - 현재 색인이 생성되지 않음”의 차이는 무엇인가요?

두 상태는 비슷해 보이지만 서로 다른 단계에서 멈추기 때문에 해결 방법도 다릅니다.

간단히 말해 “발견됨”은 주로 크롤링 문제이고, “크롤링됨”은 주로 색인 생성 결정입니다. 서버 속도를 높인다고 해서 크롤링된 페이지가 색인에 포함되는 경우는 드뭅니다. 페이지 자체를 개선해야 포함됩니다.

이것은 문제인가요, 아니면 이 URL들은 그냥 두어도 되나요?

어느 정도 규모가 있는 사이트에는 모두 이 상태의 URL이 있으며, 그중 많은 수는 애초에 순위에 들 필요가 없습니다. 무엇인가를 고치기 전에 목록을 URL 유형별로 정렬하세요. 가치가 낮은 URL의 수가 안정적이라면 걱정할 필요가 없습니다. 그러나 갑자기 늘어나거나 중요한 페이지가 목록에 있다면 문제입니다.

Google은 왜 페이지를 크롤링하고도 색인을 생성하지 않을까요?

1. 콘텐츠가 제공하는 가치가 너무 적음

이것이 가장 흔한 원인입니다. 몇 줄의 텍스트만 있는 페이지, 이미 색인된 수십 개의 페이지가 말하는 내용을 되풀이하는 일반적인 콘텐츠, 이름만 바꾼 템플릿으로 만든 페이지가 전형적인 얇은 콘텐츠입니다. Google의 유용한 콘텐츠 만들기 지침은 페이지가 “검색 결과의 다른 페이지와 비교해 상당한 가치를 제공하는지”를 묻습니다. 이 검사를 통과하지 못하는 페이지는 색인에 포함되지 못한 채 반복해서 크롤링될 수 있습니다.

2. 페이지가 다른 페이지와 너무 비슷함

거의 중복되는 페이지(설명이 같은 상품 변형, 도시 이름만 바꾼 지역 페이지, 인쇄용 버전)는 흔히 묶여서 제외됩니다. Google이 중복을 분명하게 식별하면 보통 정식 URL 상태가 보이고, 유사성이 부분적이면 페이지가 이 상태에 놓일 수 있습니다. 일관된 canonical 태그와 실제로 독창적인 콘텐츠가 문제를 해결합니다.

3. 콘텐츠가 JavaScript가 실행된 후에만 존재함

Google의 JavaScript SEO 기본 사항은 크롤링, 렌더링, 색인 생성이라는 세 단계를 설명하며, 렌더링을 기다리는 페이지는 “이 대기열에 몇 초 동안 머물 수 있지만, 그보다 더 오래 걸릴 수도 있다”고 적고 있습니다. 원본 HTML이 거의 비어 있고 텍스트가 렌더링 후에만 나타나거나(또는 스크립트나 API 호출이 차단되어 렌더링이 실패하면), Google은 거의 빈 페이지를 평가할 수 있습니다. 서버 측 렌더링이나 사전 렌더링을 사용하면 이 위험이 사라집니다. 선택지는 JavaScript SEO 가이드에서 다룹니다.

4. 사이트가 그 페이지를 중요하지 않다고 신호함

사이트맵을 통해서만 접근할 수 있거나, 다섯 번 클릭해야 도달하는 깊은 곳에 있으면서 페이지네이션된 아카이브에서 링크 하나만 받는 페이지는, 그 페이지가 여러분에게 거의 중요하지 않다고 Google에 알리는 것입니다. 색인에 포함되어 있고 방문이 이루어지는 페이지에서 걸린 내부 링크는 여러분이 통제할 수 있는 가장 강력한 신호 중 하나입니다.

5. 기타 경우

페이지 자체와 무관한 이유로 여기에 나타나는 URL도 있습니다. 보고서가 늦게 반영되었거나(URL이 이미 색인에 포함되었을 수 있음), 리디렉션 대상이 예전 URL을 통해 크롤링되었거나, 소프트 오류 페이지(검색 결과 없음, “상품을 찾을 수 없음”)가 200 상태 코드를 반환하는 경우입니다. 이런 경우에는 다시 쓰기보다 확인이 필요합니다.

“크롤링됨 - 현재 색인이 생성되지 않음”을 단계별로 진단하는 방법

1. 보고서를 엽니다. Search Console에서 색인 생성, 페이지 순으로 들어가 “페이지가 색인에 포함되지 않는 이유” 아래의 “크롤링됨 - 현재 색인이 생성되지 않음”을 클릭하세요. 추세를 확인하세요. 갑자기 늘어나는 것은 대개 사이트 이전, 테마 변경, 또는 새 페이지 대량 게시 뒤에 나타납니다.
2. 위 표를 이용해 URL을 유형별로 정렬하고, 검색 결과에 나타내고 싶은 페이지만 남기세요.
3. 중요한 URL을 하나씩 검사하세요. URL 검사 도구에 붙여 넣으세요. 상태, 마지막 크롤링 날짜, 그리고 크롤링과 색인 생성이 허용되는지 확인하세요. 무료 색인 생성 가능성 검사기로 몇 초 만에 페이지를 테스트할 수도 있습니다.
4. 잘못된 경고를 걸러내세요. “URL이 Google에 있음”이 표시되면 보고서가 늦은 것이며, 그 페이지에는 아무 조치도 필요 없습니다.
5. 실시간 URL을 테스트하고 렌더링된 HTML을 확인하세요. 렌더링된 버전에서 주요 텍스트, 링크, 제목이 빠져 있다면 문제는 렌더링에 있습니다.
6. 순위에 든 페이지와 비교하세요. 대상 검색어를 검색하고 상위 결과를 읽으세요. 그 페이지들이 더 완전하게 답하거나 다른 형식으로 답하고 있다면, 여러분의 페이지에는 품질이나 의도상의 차이가 있는 것입니다.
7. 해당 페이지로 향하는 내부 링크를 세어 보세요. 예를 들어 우리의 내부 링크 분석기를 사용하세요. 깊은 페이지에서 오는 링크가 0개이거나 1개뿐이라면 약한 신호입니다.

해결 방법: 원인마다 하나의 조치

수정 효과를 오래 유지하는 습관이 두 가지 있습니다. 첫째, 정기적으로 콘텐츠 감사를 하세요. 약한 페이지를 정리하거나 합치면 Google이 크롤링하는 콘텐츠의 평균 품질이 올라갑니다. 둘째, XML 사이트맵을 깔끔하게 유지하세요. 순위에 들기를 원하는 정식이고 색인 가능한 URL만 넣고, 대규모 정리 후에는 Google에 다시 제출하세요.

수정 후 페이지가 색인에 포함되기까지 얼마나 걸리나요?

Googlebot이 페이지를 다시 크롤링할 때까지는 아무 일도 일어나지 않으며, 이는 Google이 사이트를 얼마나 자주 방문하느냐에 따라 며칠에서 몇 주까지 걸릴 수 있습니다. URL 몇 개를 수정했다면 보고서에서 “수정 검증”을 클릭할 수 있습니다. Google은 검증이 “보통 약 2주가 걸리지만 경우에 따라 훨씬 오래 걸릴 수 있다”고 설명합니다. 검증은 선택 사항입니다. 페이지가 다시 크롤링되면 보고서는 자동으로 업데이트됩니다.

대규모 사이트라면 URL을 하나씩 확인하는 것은 느립니다. Search Console API 사용 한도에 따르면, URL 검사 API는 사이트마다 하루 2000건, 분당 600건의 쿼리를 허용합니다. 이는 우선순위가 높은 페이지 수백 개를 시간에 따라 추적하기에 충분합니다. 페이지가 두세 번 재크롤링된 뒤에도 이 상태에 남아 있다면, 수정이 충분하지 않았던 것입니다. 먼저 품질과 검색 의도를 다시 검토하세요.

이것이 SEO와 AI 가시성에 왜 중요한가요?

Google 색인 밖에 있는 페이지는 품질이 아무리 좋아도 자연 검색 클릭을 가져오지 못합니다. 콘텐츠 사이트에서 이 상태의 글이 많다는 것은 제작 노력이 낭비되고 있다는 뜻이며, Google에 필요 없는 페이지를 게시하고 있다는 신호를 보내 새 페이지의 색인 생성도 늦출 수 있습니다.

AI 어시스턴트는 두 번째 이유가 됩니다. ChatGPT, Perplexity, Gemini는 많은 질문에 대해 웹 검색 색인에서 페이지를 가져와 답하고, 사용한 출처를 인용합니다. 색인에 포함되지 않은 페이지는 가져올 가능성이 훨씬 낮고, 따라서 인용될 가능성도 훨씬 낮습니다. AI가 가장 많이 인용하는 플랫폼에 관한 우리의 연구는 답변할 때 어떤 출처를 선호하는지 보여줍니다.

Sorank는 우리의 제품으로, autopilot으로 작동하는 SEO 및 GEO 소프트웨어입니다. GEO 및 SEO 대시보드는 Search Console의 클릭, 노출, 순위를 보여 주므로 수정한 페이지가 언제부터 노출을 얻기 시작했는지 확인할 수 있습니다. 블로그 글 생성기는 출처가 명시되고 내부 링크가 이미 배치된 글을 작성하는데, 이 상태가 가장 자주 불이익을 주는 두 요소입니다.

요약하면, URL을 정렬하고, 순위에 들 필요가 없는 URL은 무시하고, 중요한 페이지의 원인(콘텐츠, 중복, 렌더링, 내부 링크)을 해결한 뒤 Google에 다시 확인을 요청하세요. 처음부터 색인되고 인용되는 페이지를 게시하려면 Sorank 요금제를 보세요. 월 49€부터이며 3일 무료 체험이 있습니다.