Common Crawl이란: 무엇인지, AI 모델이 어떻게 활용하는지, CCBot을 차단해야 하는지

Common Crawl은 SEO 논의에서 자주 언급되지 않지만, 공개 웹 콘텐츠가 언어 모델에 도달하는 주요 경로 중 하나입니다. GEO(AI 어시스턴트가 브랜드를 정확하게 인용하고 설명하도록 만드는 작업)를 하는 브랜드에게는 이 구조를 이해하는 것이 무엇을 허용하고 무엇을 차단할지, 그리고 공개 웹에서 정보가 일관되어야 하는 이유를 판단하는 데 도움이 됩니다. 출처: commoncrawl.org.

Common Crawl이란 무엇인가요?

Common Crawl은 미국에서 501(c)(3)으로 등록된 비영리 단체로, 2007년부터 웹을 크롤링하며 데이터를 무료로 제공해 왔습니다. 공식 웹사이트에 따르면, 이 코퍼스는 15년에 걸쳐 3000억 페이지가 넘고, 매달 30억에서 50억 페이지씩 늘어나며, 10,000편이 넘는 연구 논문에서 인용되었습니다. 각 크롤링은 원본 페이지 데이터, 메타데이터, 추출된 텍스트 형태로 공개되며 누구나 내려받을 수 있습니다.

AI 모델은 Common Crawl을 어떻게 활용하나요?

대규모 언어 모델은 방대한 양의 텍스트로 학습하며, Common Crawl은 가장 큰 공개 데이터 출처 중 하나입니다. GPT-3 논문 Language Models are Few-Shot Learners(2020)는 필터링된 Common Crawl 버전이 학습 데이터에서 가장 큰 구성 요소이며 학습 혼합에서 60% 비중을 차지한다고 설명합니다. 이후의 많은 모델과 공개 데이터셋도 보통 품질과 중복에 대한 강도 높은 필터링을 거쳐 여기서 파생되었습니다. 용어집의 LLM과 AI 학습 데이터 항목도 참고하세요.

CCBot이란 무엇인가요?

CCBot은 Common Crawl의 크롤러입니다. Common Crawl의 CCBot 페이지에 따르면, CCBot은 CCBot/2.0 사용자 에이전트로 자신을 식별하고, 공개된 IP 대역에서 작동하며, 역방향 DNS로 정상 요청인지 확인할 수 있고, robots.txt로 중단할 수 있습니다.

• User-agent: CCBot
• Disallow: /

저희 robots.txt와 AI 크롤러 가이드는 CCBot을 GPTBot, ClaudeBot, PerplexityBot, Google-Extended와 함께 다루며, 용어집의 AI 크롤러 항목에도 이들이 정리되어 있습니다. 무료 robots.txt 검사기에서 파일이 무엇을 허용하는지 확인할 수 있습니다.

Common Crawl을 허용할까요, 차단할까요?

콘텐츠가 마케팅, 문서, 교육인 대부분의 기업은 공개 웹 코퍼스에 포함되어 이득을 봅니다. 독점 콘텐츠에서 수익이 나오는 출판사는 종종 차단합니다. 차단은 향후 크롤링에 적용되며, 과거 아카이브나 이미 학습된 모델에서 페이지를 제거하지는 않습니다.

Common Crawl이 GEO에 의미하는 것

• 일관성: 공개 웹이 브랜드에 대해 말하는 내용(웹사이트, 프로필, 리뷰, 기사)이 모델이 학습하는 내용에 반영됩니다. 어디서든 사실을 일치시키세요(브랜드 일관성 참고).
• 명확성: 명확하고 사실에 근거한 페이지는 스크립트 뒤에 콘텐츠를 숨긴 페이지보다 추출하고 재사용하기 쉽습니다.
• 제3자 사이트에서의 존재감: 기사와 디렉터리에서의 언급이 코퍼스 안에서 브랜드의 흔적을 늘립니다.
• 인내: 학습 데이터는 크롤링 후 몇 달이 지나야 모델에 반영됩니다. 실시간 검색은 더 빠릅니다.

핵심 정리

Common Crawl은 많은 AI 모델이 학습하는 공개 아카이브입니다. 공개된 마케팅 콘텐츠에서 CCBot을 허용하면 브랜드가 그 기억 속에 존재할 가능성이 높아집니다. 이를 실시간 AI 검색이 찾고 인용할 수 있는 콘텐츠와 함께 활용하세요(GEO vs SEO와 LLM SEO 참고). Sorank는 autopilot으로 운영되는 SEO 및 GEO 소프트웨어입니다. 명확하고 출처가 있는 콘텐츠를 발행하며, AI 언급 추적으로 ChatGPT, Claude, Gemini가 브랜드를 어떻게 언급하는지 확인합니다. Sorank 요금제에서 3일 무료 체험을 확인해 보세요.