모든 웹사이트를 위한 무료 robots.txt 생성기

웹사이트의 25% 이상이 robots.txt 파일을 잘못 설정해 두어, 중요한 페이지가 검색엔진에서 실수로 차단되고 있습니다.

robots.txt 파일은 검색엔진 크롤러가 사이트를 방문할 때 가장 먼저 읽는 문서입니다. 지시문 하나만 잘못 놓여도 구글이 가장 중요한 페이지를 색인하지 못하게 되고, 심하면 비공개로 두려 했던 주소가 드러납니다. sorank.com robots.txt 생성기는 짜임새가 완벽한 robots.txt 파일을 몇 초 만에 만들어, 크롤링 예산을 아끼고 사이트 구조를 모든 주요 검색엔진에 정확히 전달하도록 돕습니다.

robots.txt 파일은 무엇이며 SEO에 왜 중요합니까?

robots.txt 파일은 웹사이트 최상위(예: https://example.com/robots.txt)에 두는 일반 텍스트 파일로, 사이트의 어떤 페이지나 구역을 크롤링해도 되는지 웹 크롤러에게 알려 줍니다. 1994년부터 크롤러의 동작을 규율해 온 표준인 로봇 제외 프로토콜을 따릅니다.

robots.txt가 색인을 직접 제어하지는 않지만(그것은 meta robots 태그와 canonical 태그의 역할입니다), 크롤링 예산 관리에서는 매우 중요한 역할을 합니다. 페이지가 수천 개인 큰 사이트라면, 관리자 화면, 중복 콘텐츠, 테스트 환경처럼 가치가 낮은 구역을 건너뛰라고 알려 주어야 가장 중요한 페이지가 더 빨리 크롤링되고 색인됩니다.

robots.txt가 중요한 주된 이유는 다음과 같습니다.

• 크롤링 예산 최적화, 관련 없는 주소에 자원을 낭비하지 않고 우선순위가 높은 페이지로 크롤러를 안내합니다
• 서버 부하 감소, 공격적인 봇이 불필요한 요청으로 서버에 과부하를 주는 일을 막습니다
• 비공개 보호, 내부 도구, 테스트 사이트, 민감한 디렉터리에 크롤러가 접근하지 못하게 합니다
• 사이트맵 발견, 검색엔진에 XML 사이트맵의 위치를 알려 더 효율적인 크롤링을 돕습니다

robots.txt 지시문 완전 정리

robots.txt 파일은 몇 가지 핵심 지시문을 중심으로 한 단순한 문법을 씁니다. 크롤링을 제대로 제어하려면 이 지시문들을 익혀 두셔야 합니다.

User-agent: 규칙을 적용할 크롤러를 지정합니다. 모든 크롤러에는 *를 쓰고, Googlebot, Bingbot, GPTBot 같은 특정 봇을 겨냥할 수도 있습니다.

Disallow: 크롤러가 특정 경로에 접근하지 않도록 합니다. 예를 들어 Disallow: /admin/는 관리자 디렉터리 전체를 막습니다.

Allow: 차단된 디렉터리 안의 특정 경로에 대해 Disallow 규칙을 뒤집습니다. /admin/ 대부분을 막으면서 /admin/public-page만 허용하는 식의 세밀한 제어에 유용합니다.

Sitemap: XML 사이트맵의 위치를 선언합니다. 이 지시문은 크롤러와 무관하게 작동하며, 검색엔진이 색인 가능한 주소를 모두 발견하도록 돕습니다.

Crawl-delay: 크롤러 요청 사이의 간격(초)을 정합니다. Bing과 Yandex는 지원하지만, 구글은 이를 무시하고 Search Console 설정을 따릅니다.

잘 짜인 robots.txt의 예입니다.

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /search?
Allow: /admin/public/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Sorank robots.txt 생성기 사용법

무료 robots.txt 생성기는 직관적인 화면으로 작성 과정을 간단하게 만듭니다.

1. user-agent를 고르세요, 흔히 쓰는 크롤러(Googlebot, Bingbot, GPTBot 등)을 선택하거나 모든 규칙에 적용할 와일드카드 *를 쓰세요
2. Disallow 규칙을 정하세요, /wp-admin/, /staging/ 같은 경로나 /search? 같은 질의 매개변수 등 크롤링을 막고 싶은 경로를 입력하세요
3. Allow 예외를 추가하세요, 차단된 디렉터리 안의 특정 페이지를 허용해야 한다면 Allow 규칙을 넣으세요
4. 사이트맵 주소를 넣으세요, 크롤러가 자동으로 찾을 수 있도록 XML 사이트맵의 위치를 입력하세요
5. 필요하면 Crawl-delay를 설정하세요, 서버 부하를 줄여야 한다면 지원하는 크롤러에 지연 값을 지정하세요
6. 만들고 내려받으세요, 생성된 robots.txt를 복사하거나 내려받은 뒤 사이트의 최상위 디렉터리에 올리세요

SEO를 해치는 흔한 robots.txt 실수

경험 많은 웹마스터도 검색 노출을 크게 해치는 robots.txt 오류를 내곤 합니다.

1. CSS와 JavaScript 파일 차단: 구글은 페이지를 렌더링해야 내용을 이해합니다. /css/나 /js/ 디렉터리를 막으면 Googlebot이 페이지를 렌더링하지 못해 순위가 크게 떨어질 수 있습니다.

2. 색인에서 페이지를 감추려고 robots.txt를 쓰는 일: Disallow 지시문은 페이지를 구글 색인에서 지우지 않고 크롤링만 막습니다. 다른 사이트가 차단된 페이지로 링크하면 구글은 요약 없이 주소만 색인할 수도 있습니다. 대신 noindex meta 태그를 쓰세요.

3. 사이트 전체를 실수로 차단하는 일: User-agent: * 아래의 Disallow: / 한 줄이 모든 크롤러를 사이트 전체에서 막습니다. 와일드카드 규칙은 항상 두 번 확인하세요.

4. 끝의 빗금을 빼먹는 일: Disallow: /admin은 /administration을 포함해 /admin으로 시작하는 모든 주소를 막습니다. 디렉터리만 막으려면 Disallow: /admin/을 쓰세요.

5. Sitemap 지시문을 넣지 않는 일: 의무는 아니지만 robots.txt에 사이트맵을 선언해 두면, 각 웹마스터 도구에 따로 제출하지 않았더라도 모든 검색엔진이 사이트맵을 찾을 수 있습니다.

6. 서로 충돌하는 규칙: Allow와 Disallow 규칙이 겹칠 때 구글의 구현에서는 더 구체적인 규칙이 우선합니다. 의도하지 않은 차단을 피하려면 설정을 반드시 점검하세요.

CMS별 robots.txt 권장 사항

WordPress: /wp-admin/은 막되 /wp-admin/admin-ajax.php는 허용하세요(화면 동작에 필요합니다). 미디어 파일이 들어 있는 /wp-content/uploads/는 절대 막지 마세요. 필수가 아닌 스크립트가 들어 있는 /wp-includes/는 차단을 고려해 보세요.

Webflow: Webflow는 robots.txt를 자동으로 만들지만 사이트 설정에서 고칠 수 있습니다. 컬렉션 페이지나 동적 콘텐츠를 만드는 템플릿 경로를 막고 있지 않은지 확인하세요.

Shopify: Shopify는 /admin, /cart, /checkout, /orders 같은 내부 경로를 막는 기본 robots.txt를 제공합니다. 2021년부터는 robots.txt.liquid 테마 템플릿으로 고칠 수 있습니다.

Next.js / React SPA: robots.txt가 public 디렉터리에서 정적 파일로 제공되는지 확인하세요. 서버 렌더링 앱이라면 콘텐츠를 렌더링하는 데 필요한 모든 API 지점에 Googlebot이 접근할 수 있는지 확인하세요.

robots.txt로 AI 크롤러 관리하기

AI 모델이 웹 콘텐츠를 거두기 시작하면서, robots.txt는 AI 크롤러의 접근을 제어하는 수단으로 새롭게 중요해졌습니다.

• GPTBot, 학습 데이터를 모으는 OpenAI의 크롤러
• ChatGPT-User, 실시간 열람 기능을 위한 OpenAI의 크롤러
• Google-Extended, 구글의 AI 학습 데이터 크롤러(Googlebot과 별개)
• anthropic-ai, Anthropic의 웹 크롤러
• CCBot, 여러 AI 학습 데이터셋에 쓰이는 Common Crawl의 봇

검색엔진은 허용하면서 모든 AI 크롤러를 막으려면 다음과 같이 씁니다.

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

robots.txt 테스트와 검증

robots.txt 파일을 만들었다면, 적용하기 전에 반드시 검증하세요.

• Google Search Console, 크롤링 설정의 "robots.txt 테스터" 도구로 문법 오류를 확인하고 특정 주소를 규칙에 대조해 시험해 보세요
• Bing Webmaster Tools, Bingbot이 파일을 어떻게 해석하는지 보여 주는 robots.txt 분석기를 제공합니다
• 브라우저 확인, yourdomain.com/robots.txt를 직접 열어 접근이 되는지, 형식이 올바른지 확인하세요
• 로그 파일 분석, 적용 뒤 서버 로그를 살펴 크롤러가 지시문을 지키고 있는지 확인하세요

검색엔진은 robots.txt 파일을 캐시해 두고 주기적으로 갱신합니다(보통 24시간마다). 수정한 뒤에는 Google Search Console에서 재크롤링을 요청해 더 빨리 반영되게 할 수 있습니다.

Sorank robots.txt 생성기로 형식이 올바른 파일을 몇 초 만에 만드세요. 코딩 지식은 필요하지 않습니다. 크롤링 예산을 지키고, 봇 접근을 관리하고, 사이트에서 가장 가치 있는 페이지가 검색엔진의 관심을 제대로 받도록 하세요.