robots.txt 검사기 - 문법과 AI 크롤러 접근 검증

robots.txt 검사기는 어떤 도메인의 robots.txt 파일이든 가져와 해석하고, 문법을 검증하며, GPTBot, PerplexityBot, Google-Extended 같은 AI 크롤러에 영향을 주는 지시문을 짚어 줍니다. 위 도구에 도메인을 입력하시면 바로 분석 결과를 받으실 수 있습니다.

robots.txt의 기본과 AI 크롤러가 바꿔 놓은 상황

robots.txt는 도메인 최상위에 두는 일반 텍스트 파일로, 크롤러가 어떤 경로에 접근할 수 있고 없는지 지시합니다. 오랫동안 웹마스터들은 주로 Googlebot과 Bingbot을 위한 규칙을 썼습니다. 그러나 AI 검색이 늘어나면서 각자의 user-agent를 가진 새로운 봇 무리가 등장했고, 이들은 명시적으로 허용하거나 차단해야 합니다.

대표적인 AI 크롤러 user-agent는 다음과 같습니다. GPTBot(OpenAI/ChatGPT), PerplexityBot(Perplexity), Google-Extended(구글 AI 학습과 Gemini 기능), ClaudeBot(Anthropic), OAI-SearchBot(OpenAI 웹 검색)입니다. robots.txt에서 User-agent: *에 Disallow: /를 일괄 적용하고 있다면, 개별적으로 다시 허용하지 않는 한 이들 모두가 차단됩니다.

위 도구가 점검하는 항목

• 문법 유효성: 형식이 잘못된 지시문, 에이전트 블록 사이에 빠진 빈 줄, 지원되지 않는 필드를 찾아냅니다.
• AI 봇 접근: 주요 AI 크롤러마다 허용, 부분 허용, 완전 차단 중 어디에 해당하는지 알려 줍니다.
• Crawl-delay 지시문: 지연 값이 지나치면 AI 색인이 느려집니다. 권장 기준을 넘는 값을 표시합니다.
• Sitemap 선언: Sitemap 줄이 있는지, 그리고 유효한 XML 사이트맵을 가리키는지 확인합니다.
• 와일드카드 패턴: 해석기마다 다르게 받아들이는 *와 $ 와일드카드의 사용을 검증합니다.
• 서로 어긋나는 규칙: 더 구체적인 규칙이 넓은 규칙과 충돌할 때, 어느 지시문이 우선하는지 설명합니다.

결과를 읽고 조치하는 방법

• GPTBot이나 PerplexityBot이 차단된 경우: 그것이 의도한 것인지 판단하세요. AI 검색 노출을 원하신다면 해당 user-agent 블록에 Allow: /를 명시하거나 일괄 차단을 지우세요.
• Google-Extended가 차단된 경우: 페이지가 Gemini의 지식과 구글 AI 학습 자료를 활용하는 기능에서 빠질 수 있습니다. 득실을 신중히 따져 보세요.
• 모든 제한을 무턱대고 없애지는 마세요. 스크래퍼와 콘텐츠 도용을 막는 일은 정당합니다. 모든 크롤러를 막는 대신 특정 봇이나 경로를 겨냥해 제한하세요.
• 수정한 뒤에는 실제로 반영되기 전에 위 도구를 다시 돌려 변경이 제대로 적용되었는지 확인하세요.
• robots.txt와 잘 작성된 llms.txt를 함께 두어, AI 크롤러에 허가와 길잡이를 모두 제공하세요.

기준치: 봇 하나가 막히면 플랫폼 전체에서 사라집니다

AI 개요는 이제 구글 질의의 약 31%에 나타납니다. Google-Extended를 겨냥한 Disallow 한 줄이 잘못 들어가면 페이지가 Gemini의 답변 후보에서 통째로 빠질 수 있습니다. 마찬가지로 GPTBot을 막으면 ChatGPT의 웹 열람 기능이 크롤링 시점에 콘텐츠를 읽지 못합니다. 대가는 비대칭입니다. robots.txt 규칙을 고치는 데는 몇 분이면 되지만, 잃어버린 AI 노출을 되찾는 데는 몇 주가 걸립니다.

주요 AI 전반에서 브랜드가 AI 답변에 어떻게 등장하는지 꾸준히 살피시려면, Sorank가 인용과 노출을 자동으로 추적합니다.