테크니컬 SEO 완벽 정리: 크롤링 가능성, 색인 가능성, Core Web Vitals, XML 사이트맵, robots.txt, 사이트 속도까지 Google 순위를 위한 가이드입니다.

요약
테크니컬 SEO는 웹사이트의 인프라, 코드, 성능을 최적화하여 크롤링 가능성, 색인 가능성, 핵심 웹 지표(Core Web Vitals)를 개선하고, Google이 페이지 순위를 효과적으로 매길 수 있게 만드는 과정입니다.
더 알아보고 싶다면 물어보세요
콘텐츠가 아무리 훌륭하고 백링크의 권위가 아무리 높아도, 테크니컬 SEO에 문제가 있다면 순위에 오를 수 없습니다. 테크니컬 SEO는 다른 모든 SEO 활동이 딛고 서는 토대입니다. Google이 페이지를 크롤링하고, 올바르게 색인하고, 빠르게 로드하고, 그 구조를 이해할 수 있도록 보장합니다. 탄탄한 테크니컬 SEO 없이는 모래 위에 성을 쌓는 것과 같습니다.
테크니컬 SEO는 네 가지 주요 영역을 다룹니다: 크롤링 가능성(Google이 페이지에 접근할 수 있는가?), 색인 가능성(Google이 페이지를 색인에 추가할 것인가?), 핵심 웹 지표(페이지가 빠르게 로드되고 빠르게 반응하는가?), 구조화된 데이터(Google이 콘텐츠를 이해하는가?)입니다. 이 가이드는 각 영역을 깊이 있게 다루고, 가장 흔한 문제를 해결하는 단계를 제시합니다.
크롤링 가능성은 Google이 웹사이트의 페이지와 리소스에 접근해 읽을 수 있는 능력입니다. 페이지를 크롤링할 수 없으면 Google은 그 페이지를 색인할 수 없습니다. 흔한 크롤링 문제로는 robots.txt로 차단된 페이지, 깨진 리디렉션, 로그인이 필요한 페이지, HTTPS가 아닌 HTTP로 제공되는 페이지, Googlebot에 차단된 리소스(CSS, JavaScript) 등이 있습니다.
Google Search Console의 크롤링 보고서는 어떤 페이지에 크롤링 오류가 있는지 보여줍니다. 이 보고서를 매달 모니터링하세요. 흔한 오류로는 "404 Not Found"(존재하지 않는 페이지로 연결되는 깨진 링크), "Server Error"(5XX 오류), "Timeout"(로드 시간이 너무 오래 걸리는 페이지)이 있습니다.
robots.txt 파일을 점검하세요. 이 파일은 Google에 사이트의 어느 부분을 크롤링하고 어느 부분을 건너뛸지 알려줍니다. 잘못 설정된 robots.txt는 중요한 페이지를 차단할 수 있습니다. Google의 robots.txt 문서에 올바른 문법이 정의되어 있습니다. 흔한 실수로는 디렉터리 전체를 차단하거나 CSS/JavaScript 파일을 차단하는 것이 있으며, 이 경우 Google이 페이지를 제대로 렌더링하지 못합니다.
PageSpeed Insights나 Lighthouse로 크롤링 가능성을 테스트하세요. 이 도구들은 리소스가 제대로 로드되는지, 페이지가 렌더링 가능한지 보여줍니다. 로드에 실패한 리소스는 Google이 페이지 구조를 이해하는 것을 가로막습니다.
색인 가능성은 Google이 실제로 페이지를 검색 색인에 추가하는지를 뜻합니다. 페이지는 크롤링 가능하지만(Google이 접근할 수 있음) 색인 불가능할 수도 있습니다(Google이 검색 결과에 추가하지 않음). 흔한 색인 문제로는 meta robots noindex 태그로 차단된 페이지, X-Robots-Tag noindex 헤더와 함께 제공되는 페이지, canonical 태그 없는 중복 콘텐츠, 품질 기준을 충족하지 못하는 페이지가 있습니다.
meta robots 태그를 감사하세요. `` 태그가 있는 페이지는 크롤링되지만 색인되지는 않습니다. 이 태그는 스테이징 환경과 비공개 콘텐츠에 유용하지만, 공개 페이지에 적용하면 색인이 차단됩니다. 가장 중요한 페이지에 올바른 robots 태그가 있는지(또는 기본값이 index인 robots 태그가 아예 없는지) 확인하세요.
중복 콘텐츠에는 canonical 태그를 사용하세요. 내용이 비슷하거나 동일한 페이지가 여러 개 있다면 canonical 태그 구현으로 어느 버전이 대표(canonical) 버전인지 지정하세요. canonical 태그는 Google에 어느 페이지를 색인하고 어느 페이지를 중복으로 취급할지 알려줍니다. 올바른 정규화가 없으면 Google이 여러 버전을 색인하여 링크 권위가 분산됩니다.
Google Search Console의 색인 생성 범위 보고서는 어떤 페이지가 색인되고 어떤 페이지가 차단되었는지 보여줍니다. "제외됨"으로 표시된 페이지는 색인되지 않은 것입니다. 흔한 제외 사유로는 "사용자가 선택한 표준이 없는 중복 페이지", "robots.txt에 의해 차단됨", "발견됨 - 현재 색인이 생성되지 않음" 등이 있습니다. Search Console은 각 제외 항목에 대해 이유를 설명하고 해결책을 제안합니다.
명확한 사이트 구조는 Google이 콘텐츠의 위계를 이해하는 데 도움이 됩니다. 설명적인 URL 슬러그를 사용하고 페이지를 논리적인 카테고리로 정리하세요. 지나치게 깊이 중첩된 URL 구조는 피하세요. `/products/category/subcategory/sub-subcategory/product`에 있는 페이지는 `/products/product`에 있는 페이지보다 Google이 크롤링하기 어렵습니다.
내부 링크 구조는 중요합니다. 홈페이지와 메인 내비게이션에서 링크된 페이지는 더 자주 크롤링되고 더 많은 권위를 갖습니다. 중요한 페이지가 홈페이지에서 1-2번의 클릭 안에 닿도록 논리적인 링크 위계를 구축하세요. Google이 링크가 무엇을 가리키는지 이해할 수 있도록 ("여기를 클릭"이 아닌) 설명적인 앵커 텍스트를 사용하세요.
중요한 페이지를 나열한 XML 사이트맵을 만드세요. 사이트맵은 내부 링크로는 발견되지 않을 수 있는 페이지를 Google이 찾도록 돕습니다. 사이트맵을 Google Search Console에 제출하세요. 사이트맵은 페이지가 수천 개인 사이트나 자주 바뀌는 동적 콘텐츠가 있는 사이트에서 특히 유용합니다.
핵심 웹 지표(Core Web Vitals)는 웹사이트의 사용자 경험을 측정하는 세 가지 지표입니다: Largest Contentful Paint(LCP), Cumulative Layout Shift(CLS), Interaction to Next Paint(INP). Core Web Vitals는 Google이 공식 확인한 순위 요인입니다. 지표가 나쁘면 순위가 떨어지고, 좋으면 순위에 도움이 됩니다.
Largest Contentful Paint(LCP)는 페이지의 주요 콘텐츠가 로드되는 데 걸리는 시간을 측정합니다. Google은 LCP를 2.5초 미만으로 유지할 것을 권장합니다. 느린 LCP는 대개 느린 서버 응답 시간, 렌더링 차단 CSS, 최적화되지 않은 이미지, 큰 JavaScript 파일 때문에 발생합니다. 서버 속도를 개선하고, 중요하지 않은 JavaScript를 지연 로드하고, 이미지를 압축하여 LCP를 최적화하세요.
Cumulative Layout Shift(CLS)는 페이지 로드 중 발생하는 예기치 않은 레이아웃 이동을 측정합니다. CLS 점수가 높다는 것은 페이지가 로드되면서 이리저리 움직여 사용자를 불편하게 한다는 뜻입니다. 흔한 CLS 문제로는 크기가 지정되지 않은 이미지, 비동기로 로드되는 광고, 갑자기 바뀌는 글꼴이 있습니다. HTML에 이미지 크기를 지정하고, 광고 공간을 미리 확보하고, @font-face 규칙에서 font-display: swap을 사용하여 CLS를 해결하세요.
Interaction to Next Paint(INP)는 사용자 상호작용(클릭, 탭, 키보드)에 대한 반응성을 측정합니다. Google은 INP를 200밀리초 미만으로 유지할 것을 권장합니다. 느린 INP는 JavaScript 실행에 시간이 너무 오래 걸린다는 신호입니다. 긴 JavaScript 작업을 쪼개고, 서드파티 스크립트의 영향을 줄이고, 최신 렌더링 기법을 사용하여 INP를 최적화하세요.
Google의 PageSpeed Insights 도구로 Core Web Vitals를 테스트하세요. 이 도구는 실제 사용자 데이터(있는 경우)와 실험실 측정값, 그리고 구체적인 개선 권장 사항을 제공합니다.
페이지 속도는 Core Web Vitals와 사용자 경험에 직접적인 영향을 줍니다. 빠른 페이지는 순위가 더 높고, 더 잘 로드되며, 전환율도 더 높습니다. 느린 페이지는 사용자를 불편하게 하고 비즈니스에 피해를 줍니다. 다음과 같이 페이지 속도를 최적화하세요:
압축과 최신 포맷(WebP)으로 이미지 파일 크기를 줄이세요. 최적화되지 않은 이미지가 페이지 용량의 50-80%를 차지하는 경우가 많습니다. 가능하면 이미지 CDN을 사용하세요. 스크롤해야 보이는 이미지는 지연 로드(lazy-load)하여 페이지 로드를 막지 않게 하세요. 중요하지 않은 리소스(동영상, 스크롤 아래 이미지)는 사용자가 그 근처로 스크롤할 때까지 로드를 미루세요.
JavaScript를 최소화하고 지연 로드하세요. 렌더링을 차단하는 JavaScript는 페이지 표시를 늦춥니다. 중요하지 않은 JavaScript는 지연 로드하거나 비동기로 로드하세요. 코드 분할(code splitting)로 각 페이지에 필요한 코드만 로드하세요. 사용하지 않는 JavaScript 라이브러리와 의존성을 제거하세요.
CSS를 최적화하세요. 큰 CSS 파일은 렌더링을 차단합니다. 첫 화면 콘텐츠에 필요한 핵심 CSS는 인라인으로 넣으세요. 중요하지 않은 CSS는 비동기로 로드되도록 미루세요. 사용하지 않는 CSS 규칙을 제거하세요.
GZIP 압축을 활성화하세요. HTML, CSS, JavaScript를 압축하면 파일 크기가 60-80% 줄어듭니다. Web.dev의 성능 학습 과정에서 자세한 최적화 가이드를 확인할 수 있습니다.
콘텐츠 전송 네트워크(CDN)를 사용하세요. CDN은 사용자와 가까운 서버에서 콘텐츠를 제공하여 지연 시간을 줄입니다. 또한 정적 콘텐츠를 캐시하여 전 세계적으로 로드 속도를 높입니다.
HTTPS는 순위 요인입니다. Google은 안전하지 않은 HTTP 사이트보다 SSL 인증서가 있는 사이트를 우선합니다. 모든 페이지는 HTTPS로 제공되어야 합니다. Let's Encrypt나 호스팅 업체에서 무료 SSL 인증서를 받으세요. 301 리디렉션으로 모든 HTTP 페이지를 HTTPS로 리디렉션하세요.
HTTPS를 활성화한 뒤에는 Google Search Console의 사이트 URL을 HTTPS 버전으로 업데이트하세요. 그래야 Google이 보안 사이트를 크롤링하고 색인합니다. 혼합 콘텐츠(HTTPS와 HTTP 리소스를 함께 로드하는 페이지)에 주의하세요. 브라우저가 사용자에게 경고를 표시할 수 있습니다.
이제 Google은 사이트의 모바일 버전을 기본 버전으로 색인합니다. 모바일 사이트가 느리거나, 형식이 엉성하거나, 콘텐츠가 빠져 있으면 순위가 떨어집니다. 모바일 사이트가 반응형이고, 빠르게 로드되며, 데스크톱 사이트의 모든 콘텐츠를 담고 있는지 확인하세요.
모바일 모드의 PageSpeed Insights로 모바일 우선 색인 대응을 테스트하세요. 버튼, 양식, 내비게이션이 터치 기기에서 제대로 작동하는지 확인하세요. 브라우저 에뮬레이션만이 아니라 실제 모바일 기기에서도 테스트하세요.
Schema.org 구조화된 데이터는 Google이 콘텐츠를 이해하도록 돕습니다. 페이지에 스키마 마크업을 추가하면 추천 스니펫, 리치 스니펫, 지식 패널에 노출될 가능성이 높아집니다. 스키마 마크업 자체는 순위 요인이 아니지만, CTR을 높이는 리치 SERP 기능을 이용할 수 있게 해줍니다.
콘텐츠에 해당하는 스키마 유형(Article, Product, Recipe, Event, Organization, LocalBusiness)을 파악하세요. 콘텐츠 유형마다 JSON-LD 스키마를 구현하세요. Google의 리치 결과 테스트로 스키마를 검증하세요. 게시하기 전에 모든 검증 오류를 수정하세요.
테크니컬 SEO 모니터링 루틴을 만드세요. 새로운 크롤링 오류와 색인 문제가 있는지 매주 Google Search Console을 확인하세요. Core Web Vitals는 매달 모니터링하세요. 핵심 페이지에 대해서는 분기마다 PageSpeed Insights 테스트를 실행하세요. 크롤링 예산과 크롤링 통계를 추적하여 Google이 사이트를 효율적으로 크롤링하고 있는지 확인하세요.
순위 하락에 대한 알림을 설정하세요. 갑작스러운 순위 하락은 색인 문제나 크롤링 오류 같은 기술적 문제의 신호일 수 있습니다. 트래픽 손실이 길어지지 않도록 즉시 진단하세요.
이제 테크니컬 SEO에는 두 번째 대상이 있습니다. 바로 AI 기업의 크롤러로, OpenAI의 GPTBot과 OAI-SearchBot, Anthropic의 ClaudeBot, 그리고 PerplexityBot 등이 있습니다. 이들은 Googlebot처럼 robots.txt를 따르지만, 대부분 JavaScript를 렌더링하지 않기 때문에 클라이언트 측에서만 삽입되는 콘텐츠는 이들에게 보이지 않습니다.
테크니컬 SEO 체크리스트는 검색 엔진과 AI 크롤러가 모든 중요한 페이지에 도달하고, 읽고, 색인할 수 있게 하는 점검 항목의 목록입니다. 리디자인이나 마이그레이션 후마다, 그리고 최소한 분기에 한 번 실행하세요:
기술, 온페이지, GEO 신호를 클릭 한 번으로 감사하는 무료 Sorank Chrome 확장 프로그램으로 페이지 단위 점검을 실행하거나, AI 크롤링 가능성 감사로 사이트 전체를 테스트하세요. XML 사이트맵은 사이트맵 검사기로 확인할 수 있습니다.
테크니컬 SEO는 다른 모든 SEO 활동을 가능하게 하는 보이지 않는 인프라입니다. 올바른 크롤링 가능성, 색인 가능성, 성능, 구조가 없으면 콘텐츠와 링크는 성과를 낼 수 없습니다. 기본기를 익히세요. 크롤링 가능성을 감사하고, 올바른 색인을 보장하고, Core Web Vitals를 개선하고, 페이지 속도를 최적화하고, 스키마 마크업을 구현하세요. 이러한 기술적 기반은 현대 SEO의 성공을 위해 타협할 수 없는 요소입니다.
GEO SEO 감사 도구로 사이트 전체의 기술적 문제를 찾아보세요. 저희 플랫폼은 Google과 같은 방식으로 사이트를 크롤링하여 크롤링 오류, 색인 문제, Core Web Vitals 문제를 찾아내고 영향도에 따라 수정 우선순위를 정합니다. 지금 무료 기술 감사로 시작하세요.
출처
Google이 사이트를 크롤링할 수 없으면 페이지를 색인할 수 없고, 색인이 없으면 순위도 없습니다. 흔한 문제로는 차단된 리소스(CSS, JavaScript 파일), Googlebot을 차단하는 robots.txt 규칙, 리디렉션 루프, 깨진 내부 링크가 있습니다. Google Search Console로 사이트를 감사하여 크롤링 오류를 찾아내세요.
네. Core Web Vitals는 Google이 공식 확인한 순위 요인입니다. 다른 조건이 같다면 Core Web Vitals가 나쁜 사이트(느린 LCP, 높은 CLS, 높은 INP)는 지표가 더 좋은 경쟁사보다 순위가 낮습니다. 다만 관련성이 매우 높은 콘텐츠는 지표가 나쁘더라도, 지표는 완벽하지만 관련성이 낮은 콘텐츠보다 높은 순위를 차지할 수 있습니다.
최소한 분기마다 전체 테크니컬 SEO 감사를 실행하세요. Core Web Vitals와 크롤링 오류는 매달 모니터링하는 것이 필수입니다. 대규모 리디자인, 마이그레이션, 사이트 업데이트 후에는 출시 후 기술 감사가 매우 중요합니다. 기술적 문제는 갑자기 나타날 수 있으므로 지속적인 모니터링을 권장합니다.
먼저 Sorank를 경험한 사람들
