검색엔진에 웹사이트를 등록하는 방법: Google, Bing, IndexNow, AI

검색엔진에 웹사이트를 등록한다는 것은 웹마스터 도구, 사이트맵, 알림 프로토콜을 통해 사이트와 페이지가 존재한다고 검색엔진에 알리는 일입니다. 등록한다고 색인이나 순위가 보장되지는 않습니다. Google의 URL 재크롤링 요청 문서는 크롤링에 며칠에서 몇 주가 걸릴 수 있다고 안내합니다. 이 가이드는 검색엔진별 방법, 사용할 도구, ChatGPT 같은 AI 어시스턴트를 위한 조치를 다룹니다.

지금도 검색엔진에 웹사이트를 등록해야 할까?

엄밀히 말하면 아닙니다. 검색엔진은 링크를 크롤링하며 페이지를 발견합니다. 이미 색인된 다른 사이트가 링크를 걸면 크롤러가 사이트에 도달합니다. 그래도 등록에 드는 10분은 충분히 가치가 있습니다. 이유는 세 가지입니다.

• 백링크가 없는 새 사이트는 크롤러가 우연히 발견하기까지 몇 주를 기다릴 수 있습니다.
• 웹마스터 도구는 문제를 보여 줍니다. 색인에서 제외된 페이지, 서버 오류, 차단된 리소스, 수동 조치 등입니다. 이 도구가 없으면 눈을 가리고 일하는 셈입니다.
• 새 페이지와 수정된 페이지가 더 빨리 반영됩니다. 사이트맵이나 알림이 변경 사항을 검색엔진에 전달하기 때문입니다.

등록이 기본을 대신하지는 않습니다. 페이지는 크롤링 가능해야 하고, 상태 코드 200을 반환하며, noindex가 없고, 색인될 만한 콘텐츠를 갖춰야 합니다. 등록한 페이지가 계속 보이지 않는다면 Google 색인 문제 가이드에서 진단 방법을 확인하세요.

Google에 웹사이트를 등록하는 방법은?

1. Search Console에 사이트 추가 및 소유권 확인

Google Search Console에서 속성을 만듭니다. 도메인 속성은 모든 하위 도메인과 프로토콜(http, https, www 유무)을 포함하며, 도메인 등록 업체에서 DNS 레코드를 추가해 확인합니다. URL 접두어 속성은 사이트의 한 가지 버전만 포함하며 HTML 파일, 메타 태그, Google Analytics, Google Tag Manager 같은 다른 방법도 쓸 수 있습니다. 대부분의 CMS와 호스팅 업체가 DNS 레코드를 몇 분 안에 추가하는 방법을 안내합니다.

2. XML 사이트맵 제출

XML 사이트맵은 색인되기를 원하는 URL 목록입니다. WordPress, Shopify, Webflow, Wix는 자동으로 생성합니다(대개 /sitemap.xml). 그렇지 않다면 사이트맵 생성기로 만들 수 있습니다. Search Console에서 Sitemaps를 열고 URL을 붙여 넣어 제출하세요. Google의 사이트맵 문서는 파일당 URL 50,000개 또는 압축 전 50MB를 한도로 정하고(큰 사이트는 사이트맵 색인 파일을 사용), 제출은 힌트일 뿐 발견에 도움을 줄 뿐 아무것도 보장하지 않는다고 설명합니다. robots.txt 파일에도 Sitemap: 줄을 추가하세요. 주요 검색엔진은 모두 이를 읽습니다.

3. 핵심 페이지 색인 생성 요청

몇몇 중요한 페이지(새 홈페이지, 출시 페이지, 수정한 글)는 URL 검사 도구에 URL을 붙여 넣고 색인 생성 요청을 클릭합니다. Google은 이 요청에 할당량을 두고 있으며, 같은 URL을 여러 번 요청해도 크롤링이 빨라지지 않는다고 밝힙니다. URL이 몇 개를 넘으면 사이트맵에 맡기세요.

4. 며칠 뒤 페이지 보고서 확인

페이지 보고서는 색인된 URL과 나머지 URL이 제외된 이유(크롤링되었으나 현재 색인되지 않음, 사용자가 표준 페이지를 선택하지 않은 중복 페이지, robots.txt로 차단됨 등)를 보여 줍니다. 무료 색인 가능성 검사기를 쓰면 특정 페이지가 애초에 색인될 수 있는지 몇 초 만에 확인할 수 있습니다.

등록한 페이지가 Google에 계속 보이지 않는 이유는?

등록은 URL을 대기열에 넣을 뿐입니다. 페이지가 색인 밖에 머문다면 원인은 거의 항상 다음 중 하나입니다.

1. 크롤링 차단: robots.txt의 Disallow 규칙으로, 테스트 환경에서 남은 경우가 많습니다.
2. noindex 지시어: meta robots 태그나 HTTP 헤더 X-Robots-Tag에 들어 있습니다.
3. 다른 곳을 가리키는 canonical 태그: Google에 다른 URL을 색인하라고 알립니다.
4. 중복되거나 빈약한 콘텐츠: Google이 페이지를 크롤링하지만 이미 색인된 페이지에 더할 것이 없다고 판단합니다.
5. 약한 발견 신호: 백링크 없는 신생 도메인에 있는, 내부 링크 하나 없는 고아 페이지입니다.
6. 서버 오류나 느린 응답: 크롤러가 속도를 늦추거나 포기하게 만듭니다.

앞의 세 가지는 발견하면 몇 분 안에 고칠 수 있습니다. 뒤의 세 가지는 콘텐츠와 내부 링크 작업이 필요하며, 어떤 등록 도구도 이를 대신하지 못합니다.

Bing, Yahoo, DuckDuckGo에 웹사이트를 등록하는 방법은?

Bing Webmaster Tools 계정을 만드세요. 가장 빠른 방법은 가져오기 기능입니다. Bing이 Google Search Console에서 확인된 사이트와 사이트맵을 불러오므로 두 번째 확인 절차가 필요 없습니다. 이후 사이트맵이 읽혔는지 확인하고, 급한 페이지에는 URL Submission을 사용하세요.

Bing의 중요성은 자체 검색 점유율에 그치지 않습니다. Yahoo의 검색 결과는 Bing이 제공하고, DuckDuckGo에는 등록 도구가 아예 없습니다. 따라서 Bing에 잘 색인된 사이트는 이 검색엔진들에서도 커버됩니다. Bing의 색인은 AI 제품에도 쓰이며, 이는 아래 AI 섹션에서 다룹니다. 사용자가 쓰는 다른 선택지는 Google 대체 검색엔진 정리를 참고하세요.

IndexNow란 무엇이며 어떤 검색엔진이 사용할까?

IndexNow는 URL이 추가, 수정, 삭제되는 즉시 검색엔진에 알릴 수 있는 개방형 프로토콜로, 다음 크롤링을 기다릴 필요가 없습니다. IndexNow 공식 문서에 따르면 참여 검색엔진들은 한 곳에 제출된 URL을 다른 모든 참여 검색엔진과 자동으로 공유하기로 합의했으며, 요청 한 번에 최대 10,000개의 URL을 보낼 수 있습니다. indexnow.org에 나온 참여 검색엔진은 Microsoft Bing, Naver, Seznam.cz, Yandex, Yep입니다. Google은 포함되지 않습니다.

설정은 몇 분이면 끝납니다. 키를 생성해 사이트 루트에 텍스트 파일로 올리고, URL을 API로 보내면 됩니다. 많은 플랫폼과 CDN이 IndexNow를 기본 옵션이나 플러그인으로 제공하며, 페이지를 게시하거나 수정할 때마다 자동으로 검색엔진에 알립니다.

다른 검색엔진에는 어떻게 등록할까?

영어권 밖에서는 현지 검색엔진마다 별도의 관리 도구가 있습니다. 등록처를 표로 정리했습니다.

각 관리 도구는 비슷한 방식(메타 태그, 파일, DNS)으로 소유권을 확인하고 사이트맵을 받습니다. 제출하기 전에 사이트맵 검사기로 점검하세요. 리디렉션, 404, 비표준 URL로 가득한 사이트맵은 모든 검색엔진의 크롤링 시간을 한꺼번에 낭비하게 만듭니다.

ChatGPT, Perplexity 등 AI 어시스턴트는 어떻게 웹사이트를 찾을까?

ChatGPT, Claude, Gemini, Perplexity에 사이트를 등록하는 양식은 없습니다. 이들은 두 가지 경로로 페이지에 접근합니다. 자체 AI 크롤러, 그리고 실시간으로 조회하는 검색 색인입니다.

• robots.txt에서 검색용 크롤러를 허용하세요. OpenAI의 크롤러 문서는 OAI-SearchBot을 차단한 사이트가 ChatGPT search 답변에 표시되지 않는다고 밝힙니다. GPTBot 차단은 모델 학습에만 관련된 별개의 선택입니다. robots.txt와 방화벽 규칙에서 OAI-SearchBot, PerplexityBot, ClaudeBot 설정을 확인하세요.
• Bing과 Google 모두에 색인되도록 하세요. OpenAI 고객센터는 ChatGPT search가 외부 검색 제공업체와 협력한다고 설명하며, Bing이 그중 하나로 널리 알려져 있습니다. Gemini와 AI Overviews는 Google의 색인을 활용합니다. 두 검색엔진 모두에서 잘 색인되는 것이 AI 노출의 기반입니다.
• 콘텐츠를 HTML로 제공하세요. 대부분의 AI 크롤러는 JavaScript를 실행하지 않으므로, 스크립트 실행 후에만 나타나는 텍스트는 읽히지 않습니다.
• llms.txt 파일을 고려하세요. 언어 모델을 위해 핵심 페이지를 요약하는 커뮤니티 제안입니다. 주요 AI 업체 중 이를 필수로 요구하는 곳은 없지만 비용이 거의 들지 않습니다. llms.txt 생성기로 만들 수 있습니다.

이런 노력이 효과가 있는지는 AI 답변 자체를 보면 알 수 있습니다. Sorank의 AI 언급 추적은 ChatGPT, Claude, Gemini(Pro 요금제부터 Perplexity와 Grok 포함)에서 일련의 프롬프트를 추적해 브랜드가 인용되는지, 대신 누가 인용되는지 보여 줍니다.

유료 검색엔진 등록 서비스를 써야 할까?

아닙니다. 돈을 받고 "500개 검색엔진"에 등록해 준다는 서비스는 한 시간도 안 걸려 무료로 할 수 있는 일을 파는 것이며, 목록에 있는 검색엔진 대부분은 트래픽이 거의 없습니다. 중요한 검색엔진(Google, Bing, IndexNow 참여사)은 무료 도구를 제공합니다. 유료 "즉시 색인" 서비스도 마찬가지로, 어떤 제3자도 Google이 페이지를 색인하도록 강제할 수 없습니다. 색인을 결정하는 것은 페이지의 품질, 내부 링크, 다른 사이트에서 얻은 링크입니다.

웹사이트 등록은 한 시간도 걸리지 않습니다. Google Search Console과 Bing Webmaster Tools에서 소유권을 확인하고, 사이트맵을 제출하고, IndexNow를 켜고, robots.txt를 AI 검색 크롤러에 열어 두세요. 그다음 할 일은 색인되고 인용될 가치가 있는 페이지를 발행하는 것입니다. Sorank는 SEO와 GEO에 최적화된 글을 autopilot으로 작성하고 게시하며, 내부 링크와 출처를 갖춰 새 페이지마다 검색엔진과 AI 어시스턴트가 다시 찾아올 이유를 만듭니다.