AI 크롤러용 robots.txt 가이드. OpenAI, Anthropic, Perplexity, Google의 사용자 에이전트와 역할, 인용 가능성을 지키는 설정 예시를 소개합니다.
AI로 이 글 요약하기
AI 크롤러용 robots.txt는 이제 기술 파일을 넘어 비즈니스 결정이 되었습니다. 예전에는 Googlebot과만 소통하던 이 파일이 이제 ChatGPT, Claude, Perplexity, Gemini가 페이지를 읽고 인용하고 링크할 수 있는지를 결정합니다. 형식 자체는 그대로입니다. RFC 9309로 표준화된 로봇 배제 프로토콜이며 User-agent, Allow, Disallow 줄로 구성됩니다. 달라진 것은 에이전트의 수, 그리고 한 업체가 목적이 다른 여러 봇을 운영한다는 점입니다.
대부분의 AI 업체는 이제 학습, 검색 색인, 사용자 요청 기반 수집을 서로 다른 사용자 에이전트로 나눕니다. 각 업체 문서를 바탕으로 주요 크롤러를 표로 정리했습니다.
| 업체 | 사용자 에이전트 | 목적 | 차단 시 영향 |
|---|---|---|---|
| OpenAI | GPTBot | OpenAI 모델 학습 데이터 | 향후 학습에 콘텐츠가 사용되지 않음 |
| OpenAI | OAI-SearchBot | ChatGPT 검색용 색인 | ChatGPT 검색에서 출처로 나타나지 않을 수 있음 |
| OpenAI | ChatGPT-User | 사용자가 ChatGPT에 방문을 요청한 페이지 | 요청이 있어도 ChatGPT가 페이지를 열 수 없음 |
| Anthropic | ClaudeBot | Claude 모델 학습 데이터 | 향후 학습에 콘텐츠가 사용되지 않음 |
| Anthropic | Claude-SearchBot, Claude-User | 검색 품질과 사용자 요청 수집 | 웹을 검색하는 Claude 답변에서 노출 감소 |
| Perplexity | PerplexityBot, Perplexity-User | 검색 색인과 사용자 요청 수집 | Perplexity에서 인용될 가능성 감소 |
| Googlebot | AI 개요와 AI 모드를 포함한 Google 검색 | 검색에서 완전히 사라짐 | |
| Google-Extended(토큰) | Gemini 모델 및 검색 외 근거 제공에 활용 | 검색 순위에는 영향 없음 | |
| Apple | Applebot-Extended(토큰) | Apple 생성형 모델에 활용 | Siri와 Spotlight용 Applebot 크롤링은 계속됨 |
| Common Crawl | CCBot | 많은 AI 데이터셋이 재사용하는 웹 공개 아카이브 | 향후 아카이브 수집에서 콘텐츠 제외 |
출처: OpenAI 크롤러 문서, Google의 일반 크롤러 목록. 이름이 가끔 바뀌므로 파일을 수정하기 전에 각 업체 페이지를 확인하세요. 용어집의 AI 크롤러와 OpenAI 크롤러 항목에서 간단한 정의를 볼 수 있습니다.
고객을 원하는 대부분의 기업이라면 아닙니다. 필요하면 학습만 차단하고 검색용은 열어 두세요. 무엇을 판매하느냐에 따라 판단이 달라집니다.
사용자 에이전트별로 명시적인 그룹을 두고, 검색용 봇은 허용하며 학습용 봇은 분명하게 선택합니다. AI 노출은 원하지만 학습에는 쓰이고 싶지 않은 기업을 위한 예시입니다.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml학습 활용을 허용해도 괜찮다면 두 번째 그룹을 삭제하세요. 무료 robots.txt 생성기로 파일을 만들 수 있고, robots.txt 검사기로 실제 게시된 파일이 어떤 에이전트를 허용하는지 확인할 수 있습니다.
가장 흔한 것은 포럼에서 복사한 일괄 규칙입니다. 자주 보이는 오류는 다음과 같습니다.
아닙니다. 문을 열어 줄 뿐입니다. 크롤러가 페이지를 읽을 수 있게 된 뒤에는 질문에 명확히 답하는지, 추출하기 쉬운 구조인지, 다른 출처가 뒷받침하는지에 따라 인용이 결정됩니다. AI 검색을 위한 구조화 데이터, 첫머리에서 답하는 섹션, 선택 사항인 llms.txt 파일이 다음 단계에 도움이 됩니다.
AI 크롤러마다 별도의 결정으로 다루세요. 검색용과 사용자 요청용은 열고, 학습용은 의도적으로 선택하며, 서버도 같은 정책을 적용하는지 확인하세요. 그런 다음 열린 문이 실제 인용으로 이어지는지 측정하세요. Sorank는 매주 ChatGPT, Claude, Gemini에서 브랜드를 추적하고 인용되기 좋은 구조의 콘텐츠를 발행합니다. 3일 무료 체험으로 시작하세요.
그것만으로는 사라지지 않습니다. GPTBot은 OpenAI 모델 학습용 데이터를 수집합니다. ChatGPT 검색은 별도의 크롤러인 OAI-SearchBot과, 사용자가 페이지를 열어 달라고 할 때 쓰는 ChatGPT-User를 사용합니다. GPTBot만 차단하면 학습 활용은 제한되고, ChatGPT 검색에서 노출되고 링크될 자격은 유지됩니다.
아닙니다. Google-Extended는 robots.txt 토큰일 뿐 별도의 크롤러가 아니며, Google은 검색 포함이나 순위에 영향을 주지 않는다고 밝혔습니다. AI 개요와 AI 모드는 검색의 일부로 Googlebot을 사용합니다. Google-Extended는 콘텐츠를 Gemini 모델과 검색 외 근거 제공에 쓸지를 제어합니다.
주요 업체는 사용자 에이전트를 공개하고 robots.txt를 따른다고 밝히지만, 사용자가 직접 요청한 접근에는 예외가 있습니다. 투명성이 낮은 일부 봇은 이를 무시한다는 보고가 있습니다. 엄격하게 막으려면 robots.txt와 함께 사용자 에이전트 및 공개된 IP 대역 기반의 서버나 방화벽 규칙을 사용하세요.
먼저 Sorank를 경험한 사람들
“2년 동안 제 고객의 100%는 LinkedIn에서 왔습니다. 매일 게시물을 올리고, 댓글을 달고, DM으로 후속 연락을 하고… 알고리즘에 완전히 의존하는 방식이었습니다. SEO를 해야 한다는 것은 알았지만 늘 미뤘습니다. 시간이 오래 걸리고, 너무 기술적이며, 제 일이 아니라고 생각했기 때문입니다. Sorank와 함께 드디어 첫걸음을 내디뎠습니다. 4개월 만에 아무것도 게시하지 않고도 매달 15건의 오가닉 리드를 확보하고 있습니다. 아직 LinkedIn과 50 대 50은 아니지만, 자동 운영으로 성장하는 두 번째 리드 채널이 생겼다는 사실에 훨씬 마음이 놓입니다.”
Valentin Thomy콜드메일 대행사“Sorank는 저희가 고객사에 제공하는 성과를 완전히 바꿔 놓았습니다. 이제 AI가 실제로 사용하는 키워드를 파악하고, 특정 경쟁사가 인용되는 이유를 이해하며, 이전에는 전혀 보지 못했던 기회를 발견합니다. 고객사는 더 빠른 순위 상승, AI 답변에서의 더 나은 가시성, 그리고 실행하는 모든 작업에 대한 더 명확한 ROI를 확인합니다.”
Benjamin Rouxovirank.com
“저는 마케터가 아니라 개발자입니다. 제 Shopify 테마는 입소문과 광고로만 팔리고 있었습니다. Sorank 덕분에 드디어 SEO를 어떻게 구조화하고 상위에 노출되는 글을 어떻게 써야 하는지 이해했습니다. 진단 결과 제품 페이지가 너무 느리다는 사실이 드러났습니다. 2개월 만에 오가닉 트래픽이 두 배가 되었고, 사람들이 Shopify 테마를 검색할 때 ChatGPT 답변에 등장하기 시작했습니다. 그 모든 것을 주당 약 2시간으로 해냈습니다.”
Thème FullStackthemefullstack.com“Sorank는 저희 SEO 대행사의 운영 방식을 완전히 바꿔 놓았습니다. 모든 것이 한곳에 모이고 자동화되어 고객사마다 들이는 시간이 훨씬 줄었습니다. 예전에 몇 시간씩 걸리던 작업이 이제 몇 분이면 끝나고, 덕분에 드디어 사업 안에서 일하는 것을 멈추고 사업 위에서 일하기 시작할 수 있게 되었습니다.”
Océane Bondismaison-leverage.com
