소프트 404 오류의 의미와 Search Console에서 해결하는 방법

소프트 404 오류는 서버가 알려주는 내용과 페이지가 실제로 보여주는 내용이 일치하지 않는 상태입니다. 서버는 「모두 정상」이라고 응답하지만, 방문자와 Googlebot은 유용한 것을 아무것도 보지 못합니다. 이 용어는 Ziv Bar-Yossef 등이 2004년에 발표한 연구 논문에서 유래했으며, HTTP 404에 관한 위키백과 문서에도 언급되어 있습니다. Google은 이런 페이지를 수년 전부터 자동으로 감지해 왔습니다. 이 가이드에서는 Google이 어떤 기준으로 페이지를 소프트 404로 판단하는지, 각 경우의 원인은 무엇인지, 표시된 URL을 몇 분 안에 진단하는 방법, 그리고 어떤 해결책을 적용해야 하는지 설명합니다.

소프트 404 오류란 무엇인가요?

모든 HTTP 응답에는 상태 코드가 포함됩니다. 실제로 없는 페이지는 404(찾을 수 없음) 또는 410(삭제됨)을 반환합니다. 브라우저에는 오류 페이지가 표시되고, 검색엔진은 해당 URL에 색인할 것이 없다는 것을 알게 됩니다. 반면 소프트 404는 200(성공)을 반환하므로, 서버는 페이지가 존재한다고 주장하지만 콘텐츠는 그 반대를 말하고 있습니다.

Google의 크롤링 오류 해결 문서는 이를 「페이지가 존재하지 않는다고 사용자에게 알리는 페이지를 반환하면서 동시에 200(성공) 상태 코드를 반환하는 URL」로 정의하며, 「경우에 따라 주요 콘텐츠가 없는 페이지이거나 빈 페이지일 수도 있다」고 덧붙입니다. Google의 알고리즘이 콘텐츠를 근거로 페이지가 오류 페이지라고 판단하면, Search Console에 소프트 404가 표시되고 해당 페이지는 검색에서 제외됩니다.

이 정의로부터 두 가지 점이 도출됩니다.

• 판단은 콘텐츠를 기준으로 합니다.Google은 렌더링된 페이지를 읽습니다. 주요 콘텐츠가 로드되지 않은 정상적인 상품 페이지도, 의도적으로 만든 「결과 없음」 페이지와 같은 방식으로 표시될 수 있습니다.
• 이는 색인에서의 제외이지, 페널티가 아닙니다.표시된 URL은 색인 밖에 머무르며, 그 때문에 사이트의 나머지 부분이 순위에서 밀려나지는 않습니다.

소프트 404와 404의 차이는 무엇인가요?

두 가지 모두 방문자에게는 똑같이 보이지만, 크롤러에게는 전혀 다르게 작동합니다.

깔끔하게 반환된 404는 건강한 응답입니다. Google의 크롤링 예산 관리 가이드는 404를 「해당 URL을 다시 크롤링하지 말라는 강력한 신호」라고 설명하며, 「소프트 404 페이지는 계속 크롤링되어 예산을 낭비하게 됩니다.」라고 밝힙니다. 작은 사이트에서는 낭비가 미미하지만, 빈 필터 페이지가 수천 개인 쇼핑몰에서는 중요한 페이지의 크롤링을 늦추게 됩니다(크롤링 예산 용어 설명을 참고하세요).

소프트 404 오류의 원인은 무엇인가요?

Google은 기술적 원인으로 서버 측 포함 파일 누락, 데이터베이스 연결 끊김, 내부 검색 결과 페이지가 비어 있음, 그리고 JavaScript 파일이 로드되지 않거나 없는 경우의 네 가지를 듭니다. 감사에서 표시된 URL은 여섯 가지 유형으로 나뉩니다.

1. 삭제된 콘텐츠가 200으로 제공되는 경우

CMS나 테마가 「페이지를 찾을 수 없음」 템플릿을 표시하면서도 상태 코드는 200으로 유지하는 경우입니다. 일부 맞춤형 404 설정, 모든 경로를 받는 캐치올 라우트, 상태를 설정하지 않고 일반 오류 컴포넌트를 렌더링하는 프레임워크에서 발생합니다.

2. 빈 목록

상품이 없는 카테고리 페이지, 게시물이 없는 태그 보관함, 「0개 결과」를 표시하는 내부 검색 페이지, 아무것도 일치하지 않는 필터 조합 등입니다. 템플릿은 로드되지만 주요 콘텐츠 영역이 비어 있어 Google은 오류 페이지로 인식합니다. 이커머스 카테고리 페이지 SEO 가이드에서는 목록을 색인할 가치가 있게 유지하는 방법을 다룹니다.

3. 품절 및 만료된 페이지

가격, 설명, 대안 없이 「이 상품은 더 이상 판매되지 않습니다」로 바뀌는 상품 페이지, 또는 「이 혜택은 종료되었습니다」로 축소된 채용 공고나 행사 페이지 등입니다. 이런 문구만으로도 Google은 해당 페이지를 존재하지 않는 페이지로 취급하기에 충분합니다.

4. 관련 없는 페이지로의 리디렉션

삭제된 URL을 모두 홈페이지나 일반 카테고리로 보내는 것은 편리한 정리처럼 보입니다. 그러나 Google은 원래 페이지를 대체하지 않는 페이지로의 리디렉션을 소프트 404로 취급하는 경향이 있습니다. 리디렉션은 아무 효과가 없고, 이전 URL은 여전히 보고됩니다. SEO 리디렉션 가이드에서는 301이 적절한 경우를 설명합니다.

5. 얇은 페이지

헤더, 푸터, 두 줄의 텍스만 있는 페이지, 「곧 공개」 같은 자리표시자 페이지, 대량으로 생성된 매우 짧은 프로필 등입니다. Google은 거의 빈 페이지와 오류 페이지를 항상 구분하지는 못합니다. 해당되는 경우 얇은 콘텐츠 정의를 읽어 보세요.

6. 렌더링 실패

Googlebot이 콘텐츠를 보지 못하면 정상적인 페이지도 표시될 수 있습니다. Google의 가이드는 이런 페이지가 「Googlebot에게 제대로 로드되지 않았거나, 중요한 리소스가 없었거나, 렌더링 중에 눈에 띄는 오류 메시지를 표시했다」고 설명합니다. 일반적인 이유는 robots.txt로 차단된 JavaScript나 CSS, 크롤러에게 실패하거나 시간 초과되는 API 호출, 리소스가 너무 많거나 너무 무거운 경우, 그리고 알 수 없는 경로에서 오류 컴포넌트를 표시하는 클라이언트 사이드 앱입니다. JavaScript SEO 가이드에서는 Google이 스크립트를 어떻게 렌더링하는지 자세히 설명합니다.

소프트 404 오류를 찾는 방법

가장 공식적인 것에서 가장 포괄적인 것 순서로 세 가지 출처가 있습니다.

1. Search Console. 색인 생성, 페이지 순으로 열고, 「페이지가 색인에 포함되지 않는 이유」에서 「Soft 404」 항목을 찾으세요. 클릭하면 URL 예시(최대 1000개)와 마지막 크롤링 날짜를 볼 수 있습니다. Google의 페이지 색인 생성 보고서 문서는 실제로 「찾을 수 없음」인 페이지에 404 응답 코드를 반환할 것을 권장합니다.
2. 자체 사이트 크롤링.Screaming Frog 같은 크롤러는 상태 코드는 200이지만 콘텐츠가 거의 없는 페이지나 「찾을 수 없음」 텍스트가 포함된 페이지를 표시할 수 있습니다. 단어 수로 정렬하고 가장 짧은 페이지부터 확인하세요.
3. 404 처리 테스트.존재할 수 없는 URL(예: /this-page-does-not-exist-123)을 요청하고 반환되는 상태 코드를 읽어 보세요. 200이 반환된다면, 웹상에서 내 도메인을 가리키는 모든 깨진 링크가 잠재적인 소프트 404가 됩니다. 무료 HTTP 헤더 검사기를 사용하면 정확한 코드를 몇 초 만에 확인할 수 있습니다.

소프트 404를 사례별로 해결하는 방법

Google의 가이드는 페이지 상태에 따라 해결 방법을 분류합니다. 먼저 URL이 어떤 상태가 되어야 하는지 정한 뒤, 그에 맞는 해결책을 적용하세요.

콘텐츠 삭제: 404 또는 410

페이지가 사라졌고 사이트에 이를 대체하는 것이 없다면, 404 또는 410이 올바른 응답입니다. Google은 429를 제외한 모든 4xx 코드를 같은 방식으로 처리하며, 해당 URL이 색인에 있었다면 제거합니다. 오류 페이지는 방문자에게 도움이 되도록 구성하세요. 명확한 안내 메시지, 사이트 내비게이션, 인기 페이지로의 링크를 넣되, 상태 코드는 반드시 404로 유지해야 합니다.

콘텐츠 이동: 적절한 301

대응하는 페이지(새 URL, 더 최신 모델의 상품, 병합된 글 등)가 있다면, 그 페이지로만 301을 설정하세요. 리디렉션 검사기로 체인을 확인하세요. 한 번만 이동하고 최종 상태가 200이어야 합니다.

페이지가 색인되어야 함: 수정하기

Search Console의 URL 검사 도구를 사용해 실시간 테스트를 실행하고, 스크린샷과 렌더링된 HTML을 확인하세요. 렌더링 결과가 비어 있거나 거의 비어 있다면 리소스가 차단되었거나 로드에 실패한 것입니다. 클라이언트 사이드 앱의 경우, Google의 JavaScript SEO 기본 가이드는 404를 반환하는 URL로의 JavaScript 리디렉션이나, 오류 경로에 noindex robots 메타 태그를 추가하는 방법을 권장합니다. 근본적인 해결책인 서버 측 렌더링은 단일 페이지 애플리케이션 SEO 가이드에서 다룹니다. 페이지가 올바르게 렌더링되면, 색인 가능성 검사기로 다른 요소가 색인을 막고 있지 않은지 확인하세요.

품절 상품

곧 재입고될 상품은 전체 설명, 재입고 안내, 대체 상품과 함께 계속 공개 상태로 두세요. 판매를 영구적으로 중단한 상품은 후속 상품이나 가장 가까운 카테고리가 필요에 맞는 경우 301을, 맞는 것이 없다면 404를 설정합니다. 접근 가능하게 유지하고 싶은 빈 목록에는 noindex 태그를 사용하면 내비게이션을 깨뜨리지 않고 색인에서 제외할 수 있습니다.

소프트 404가 사라지기까지 얼마나 걸리나요?

Google이 URL을 다시 크롤링하기 전까지는 아무것도 바뀌지 않습니다. 수정 후에는 소프트 404 상세 페이지에서 검증을 시작하세요. Google 고객센터에 따르면 검증에는 보통 약 2주가 걸리며, 때로는 훨씬 더 오래 걸리기도 합니다. 실제 404로 바뀐 URL은 「찾을 수 없음(404)」 항목으로 이동하고 시간이 지나면 보고서에서 사라집니다. 수정된 페이지는 「색인 생성됨」으로 바뀌거나, Google이 여전히 품질이 낮다고 판단하면 크롤링됨 - 현재 색인이 생성되지 않음으로 바뀔 수 있습니다. 재크롤링을 앞당기는 방법은 Google 색인 생성 가이드를 참고하세요.

소프트 404, SEO, GEO: AI 노출에 깨끗한 상태 코드가 중요한 이유

Google에게 소프트 404는 순위를 얻을 수 없는 페이지이자, 아무 데도 쓰이지 못한 채 소모되는 크롤링 예산을 뜻합니다. ChatGPT, Gemini, Perplexity 같은 AI 어시스턴트에게도 위험은 비슷합니다. 이들의 크롤러는 서버가 반환하는 내용을 읽고, 상당수는 JavaScript를 실행하지 않고 원시 HTML만 가져옵니다. 브라우저에서만 보이는 페이지는 이들에게 비어 보일 수 있고, 200으로 제공되는 오류 페이지는 사이트에 대해 신뢰할 만한 정보를 전혀 전달하지 못합니다. 깨끗한 상태 코드와 초기 HTML에 포함된 콘텐츠는 Googlebot과 AI 크롤러가 어떤 페이지가 존재하고 어떤 페이지를 인용할 수 있는지 이해하는 데 도움이 됩니다.

일상적인 점검은 간단합니다. 이전, 카탈로그 업데이트, 템플릿 변경 후마다 페이지 색인 생성 보고서를 확인하고, 새 템플릿은 공개 전에 테스트하세요. 무료 Sorank 크롬 확장 프로그램은 보고 있는 페이지의 온페이지 문제를 표시하고, Sorank GEO 및 SEO 대시보드는 Search Console의 클릭 수, 노출 수, 평균 순위를 추적하므로, 한 묶음의 페이지가 색인에서 빠지는 순간 하락을 바로 알아챌 수 있습니다.

소프트 404는 상태 코드가 콘텐츠와 모순되는 페이지입니다. URL이 존재해야 하는지 결정한 뒤, 서버와 페이지가 같은 내용을 말하도록 맞추세요.사라진 것에는 실제 404 또는 410을, 이동한 것에는 적절한 301을, 순위를 얻어야 할 것에는 실제로 렌더링되는 콘텐츠를 제공하세요.