Discovered - currently not indexed: 의미와 해결 방법

Discovered - currently not indexed는 Google Search Console의 "페이지가 색인되지 않는 이유" 아래 나열되는 가장 흔한 이유 중 하나이며, 가장 많이 오해되는 이유 중 하나이기도 합니다. Google의 페이지 색인 생성 보고서 문서는 이를 짧게 정의합니다. "Google이 페이지를 찾았지만 아직 크롤링하지 않았습니다. 일반적으로 Google은 해당 URL을 크롤링하려 했지만, 사이트에 과부하를 줄 것으로 예상되어 크롤링 일정을 다시 잡았습니다." 이 가이드는 이 문장 뒤에 무엇이 있는지, 정상적인 대기와 실제 문제를 구별하는 방법, 그리고 URL을 대기열에서 빼내는 해결책을 설명합니다. 전체 색인 생성 과정은 Google이 페이지를 색인하도록 하는 방법 가이드를 참고하세요.

"Discovered - currently not indexed"는 무엇을 의미합니까?

Google은 페이지를 세 단계로 색인합니다. 발견(URL이 존재한다는 것을 알게 됨), 크롤링(Googlebot이 페이지를 내려받음), 색인 생성(Google이 콘텐츠를 분석하고 저장할지 결정함)입니다. 이 상태의 URL은 첫 번째 단계만 통과했습니다. Google은 주소를 알고 대기열에 올려 두었지만 한 번도 내려받지 않았으므로 콘텐츠를 아직 평가하지 않았습니다. 그래서 이런 URL을 검사하면 "마지막 크롤링" 항목이 비어 있습니다.

이 상태는 이웃한 "Crawled - currently not indexed"와 자주 혼동됩니다. 두 상태의 차이에 따라 원인을 찾을 곳이 달라집니다.

요약하면 "Discovered"는 크롤링 문제이고, "Crawled"는 색인 생성 결정입니다. Google이 한 번도 내려받지 않은 페이지의 콘텐츠를 다시 쓴다고 해서, Googlebot이 돌아와 그 페이지를 가져가기 전에는 아무것도 바뀌지 않습니다.

"Discovered - currently not indexed"는 문제입니까?

규모와 영향받는 페이지에 따라 다릅니다. 다음 세 가지 상황은 정상이며 조치가 필요하지 않습니다.

• 최근 며칠 또는 몇 주 안에 게시된 새 페이지. 발견과 크롤링은 별개의 단계이며 Google이 각각 일정을 잡습니다.
• 어차피 색인되기를 원하지 않는 URL: 필터 조합, 사이트 내 검색 결과, 태그 보관함, 추적 매개변수. 목록에 있다는 것은 차단하거나 링크를 중단하라는 힌트일 뿐입니다.
• 대형 사이트의 작은 부분. 모든 URL이 색인된 사이트는 없습니다.

중요한 페이지(제품, 카테고리, 글, 서비스 페이지)가 몇 주 동안 목록에 남아 있거나, 그 수가 색인된 페이지 수보다 빠르게 늘어날 때 문제가 됩니다. Google의 크롤 예산 가이드가 바로 이 신호를 언급합니다. 전체 URL 중 "상당한 비중"이 Discovered - currently not indexed로 분류된 사이트는 Google이 이들에게 크롤링을 어떻게 배분하는지 살펴봐야 합니다.

"Discovered - currently not indexed"의 원인은 무엇입니까?

Google은 크롤링 예산 문서에 설명된 두 가지 요소로 크롤링 양을 결정합니다. 크롤링 용량 한도(서버가 속도 저하 없이 감당할 수 있는 양)와 크롤링 수요(규모, 업데이트 빈도, 페이지 품질, 다른 사이트와 비교한 관련성을 기준으로 Google이 URL을 얼마나 원하는지)입니다. 아래의 각 원인은 이 두 요소 중 하나를 낮춥니다. 크롤 예산 개념은 대형 사이트에서 가장 중요하지만, 느린 서버나 약한 사이트 구조는 수백 페이지 규모의 사이트에서도 이 상태를 일으킬 수 있습니다.

1. 느리거나 불안정한 서버

Google이 가장 먼저 언급하는 원인입니다. 크롤 예산 가이드에 따르면, 응답 시간이 "안정적으로 유지되거나 개선"되면 크롤링 용량이 늘어나고, 사이트가 느려지거나 서버 오류를 반환하면 줄어듭니다. 공유 호스팅, 과부하된 데이터베이스, 무거운 테마, Googlebot을 제한하는 방화벽은 모두 Google이 하루에 가져갈 의향이 있는 URL 수를 줄입니다.

2. 크롤링을 놓고 경쟁하는 가치가 낮은 URL이 많음

패싯 탐색, 정렬 매개변수, 세션 ID, 끝없는 달력 페이지, 자동 생성된 태그 페이지, 거의 동일한 상품 변형은 수천 개의 URL을 만들어 냅니다. Google의 가이드는 중복되거나 중요하지 않은 URL이 크롤링 시간을 소모하며, 소프트 404 페이지는 "계속 크롤링되어 예산을 낭비한다"고 경고합니다. 좋은 페이지는 같은 대기열에서 기다리게 됩니다.

3. 약한 내부 링크

XML 사이트맵에만 있는 URL이나, 홈페이지에서 다섯 번 클릭해야 도달하는 페이지에서만 링크된 URL은 약한 우선순위 신호를 보냅니다. Google의 크롤링 가능한 링크 문서는 기술적인 함정도 짚습니다. Google은 href 속성을 가진 <a> HTML 요소인 경우에만 링크를 따라갈 수 있습니다. JavaScript 이벤트로만 만든 메뉴나 "더 보기" 버튼은 크롤러로부터 페이지를 숨길 수 있습니다.

4. 사이트 전체의 품질 신호

크롤링 수요는 부분적으로 Google이 사이트의 나머지 부분을 어떻게 평가하는지에 달려 있습니다. 이미 크롤링된 페이지의 상당수가 얇은 콘텐츠나 중복 콘텐츠라면, Google이 다음 페이지를 서둘러 크롤링할 이유가 거의 없습니다. 그래서 비슷한 페이지를 한꺼번에 수백 개 게시한 뒤 이 상태가 자주 나타납니다.

5. 새롭거나 잘 알려지지 않은 사이트

백링크는 적고 새 콘텐츠가 많은 신생 도메인은 낮은 크롤링 수요에서 출발합니다. 같은 2022년 세션에서 Mueller는 콘텐츠가 많은 신규 사이트라면 그중 상당수가 한동안 이 상태에 머무를 것으로 예상해야 한다고 말했습니다.

Search Console에서 어떻게 진단합니까?

무엇이든 바꾸기 전에 예시부터 살펴보세요. 대부분의 사이트에서 이 순서는 약 한 시간이 걸립니다.

1. 목록을 엽니다. 색인 생성 > 페이지에서 "Discovered - currently not indexed"를 클릭하고 예시 URL을 내보냅니다(Search Console은 최대 1,000개를 보여 줍니다).
2. 유형별로 정렬합니다. URL을 폴더나 패턴별로 묶습니다. 상품, 글, 매개변수 URL, 페이지네이션, 태그 등입니다. 대부분이 색인되기를 원하지 않는 URL이라면 해결책은 밀어 넣는 것이 아니라 줄이는 것입니다.
3. 중요한 페이지 몇 개를 검사합니다. URL 검사 도구는 해당 페이지가 한 번도 크롤링되지 않았음을 확인하고, Google이 사이트맵에서 찾았는지 아니면 이를 참조하는 페이지를 통해 찾았는지 보여 줍니다.
4. 서버 쪽을 확인합니다. 설정 > 크롤링 통계를 엽니다. 크롤링 통계 보고서는 최근 90일간의 호스트 상태(robots.txt 가져오기, DNS 확인, 서버 연결), 5XX 오류와 시간 초과의 비율, 평균 응답 시간을 보여 줍니다. 요청 수는 줄어드는데 응답 시간이 늘어난다면 용량 문제를 가리킵니다.
5. 내부 링크를 확인합니다. 영향받는 페이지를 가리키는 내부 링크가 몇 개이며 어디에서 오는지 셉니다. 내부 링크 분석 도구는 고아 페이지와 구조 깊숙이 묻힌 페이지를 보여 줍니다.
6. 가능하다면 서버 로그를 읽습니다. 로그는 Googlebot이 매일 실제로 요청하는 URL과 시간을 낭비하는 지점을 보여 주며, 종종 존재조차 몰랐던 매개변수 URL이 드러납니다.

"Discovered - currently not indexed"는 어떻게 해결합니까?

진단에서 찾은 원인에 맞게 해결책을 고르세요. 아래 표는 주요 경우를 요약합니다.

서버 용량부터 개선하세요

크롤링 통계 보고서에 서버 오류나 증가하는 응답 시간이 보인다면, 이를 해결하기 전에는 다른 어떤 조치도 효과가 없습니다. Google 자체가 사이트를 보호하기 위해 크롤링 속도를 낮추기 때문입니다. 호스팅 업체에 한도를 문의하고, 페이지 캐싱과 콘텐츠 전송 네트워크를 추가하고, 템플릿에서 무거운 스크립트를 제거하세요.

필요 없는 URL을 줄이세요

Googlebot이 가져가는 쓸모없는 URL 하나는 가져가지 않는 유용한 URL 하나를 뜻합니다. 필터 조합과 추적 매개변수에 대한 내부 링크를 제거하고, 패턴을 차단하기 전에 robots.txt 검사기로 Disallow 규칙을 테스트하며, 소프트 404 페이지를 수정하세요. 중복에 대한 Google의 지침은 분명합니다. 크롤링을 "고유한 URL이 아니라 고유한 콘텐츠"에 집중시키기 위해 중복을 없애라는 것입니다.

중요한 페이지로 가는 내부 링크를 강화하세요

Google이 자주 크롤링하는 페이지에서 영향받는 페이지로 링크하세요. 홈페이지, 주요 카테고리, 인기 글이 좋습니다. 설명적인 앵커 텍스트를 가진 표준 <a href> 링크를 사용하세요. 명확한 사이트 구조는 중요한 모든 페이지를 홈페이지에서 3~4번의 클릭 안에 두어, 크롤링 우선순위를 높입니다.

사이트맵을 정리하고 색인 요청은 신중하게 하세요

깨끗한 XML 사이트맵을 제출하고, "색인 생성 요청" 버튼은 전략적인 몇 개의 URL에만 사용하세요. 이 버튼에는 하루 할당량이 있고, 사이트 전체의 크롤링 용량을 늘려 주지 않습니다. 원인을 해결한 뒤에는 보고서에서 "수정 검증"을 클릭하세요. Google은 검증이 "보통 최대 약 2주 걸리지만, 경우에 따라 훨씬 더 오래 걸릴 수 있다"고 밝혔으며, 성공하거나 실패할 때까지 다시 클릭하지 않아야 합니다.

이 단계를 거친 뒤에도 페이지가 보이지 않는다면 원인은 다른 곳에 있을 수 있습니다. 웹사이트가 Google에 나타나지 않는 이유에 대한 체크리스트에서 페널티, noindex 태그, 정규화 오류를 다룹니다.

이것이 AI 검색 노출(GEO)에 왜 중요합니까?

Googlebot이 한 번도 크롤링하지 않은 페이지는 Google에서 순위를 얻을 수 없고, Google의 색인을 바탕으로 하는 AI 개요나 AI 모드의 출처로도 사용될 수 없습니다. 따라서 크롤링 적체는 전통적인 검색 결과와 AI 답변 모두에서 노출을 동시에 늦춥니다.

ChatGPT, Perplexity, Claude는 자체 크롤러와 파트너 색인에 의존합니다. 그래서 Google이 무시하는 페이지를 이들은 가져갈 수 있고, 그 반대도 가능합니다. 서버 로그에서 어떤 AI 봇이 어떤 페이지를 방문했는지 확인할 수 있으며, AI 크롤러 로그에 대한 용어집 항목에서 읽는 방법을 설명합니다. 이 가이드의 해결책(빠른 서버, 불필요한 URL 감소, 명확한 내부 링크)은 Googlebot뿐 아니라 AI 봇을 포함한 모든 크롤러에 도움이 됩니다.

당사의 제품 Sorank는 이 문제의 콘텐츠 측면을 다룹니다. GEO 및 SEO 대시보드는 Search Console과 연결되어 각 수정 후의 클릭, 노출, 순위를 추적하며, 글 생성기는 글 수는 적지만 더 깊이 있는 글을 게시하고 기존 페이지로의 내부 링크를 자동으로 추가하므로, 새 URL은 게시되는 날부터 링크가 연결됩니다.

요약하면 다음과 같습니다. "Discovered - currently not indexed"는 Google이 URL을 알고 있지만 아직 그 페이지에 크롤링 시간을 할당하지 않았다는 뜻입니다. 새 페이지 몇 개에서 나타난다면 무시하고, 중요한 페이지에 영향을 줄 때 조치하세요. 서버 속도를 높이고, 불필요한 URL을 줄이고, 중요한 페이지에 링크하세요. 콘텐츠와 내부 링크 부분을 자동화하려면 Sorank 요금제를 확인하세요. 연간 결제 시 월 49€부터이며, 3일 무료 체험이 제공됩니다.