llms.txt: AI 친화적인 사이트를 위해 제안된 안내 파일

20년 동안 robots.txt는 검색 엔진 크롤러와 소통하는 방법이었습니다. 사이트 루트에 이 파일을 두면 Google과 Bing에 어떤 페이지를 크롤링하고 어떤 페이지를 건너뛸지 알려 줄 수 있었습니다. 이제는 OpenAI, Anthropic, Google 등의 AI 어시스턴트도 웹을 읽고 있으며, 이들의 필요는 다릅니다. llms.txt는 이들과 소통하기 위한 제안입니다.

llms.txt 제안은 Answer.AI 공동 창업자 제러미 하워드(Jeremy Howard)가 2024년에 발표했으며, 언어 모델이 사이트가 무엇에 관한 것인지 이해하고 가장 유용한 페이지를 찾도록 돕기 위해 설계되었습니다. 사이트가 이커머스 스토어인지, 뉴스 매체인지, 기술 문서 사이트인지 AI 시스템이 추측하게 하는 대신 llms.txt가 명시적으로 알려 줍니다. 원칙적으로 이러한 명확성은 AI 시스템이 콘텐츠를 더 정확하게 가져오고 인용하는 데 도움이 될 수 있습니다. 하지만 여전히 제안일 뿐 채택된 표준이 아니며, 사용을 약속한 AI 제공업체도 없습니다.

llms.txt가 해결하는 문제

AI 시스템에는 현실적인 문제가 있습니다. 언어 모델은 한 번에 제한된 양의 텍스트만 읽을 수 있고, 메뉴, 스크립트, 광고가 포함된 전체 사이트를 깔끔하고 쓸 만한 텍스트로 바꾸는 일은 어렵습니다. ChatGPT나 Gemini가 사이트나 제품에 관한 질문에 답해야 할 때, 무엇을 우선해야 할지 알지 못합니다. 제품 페이지를 읽어야 할까요, 블로그 글을 읽어야 할까요? 어떤 문서 페이지가 기준일까요? 어떤 페이지가 에버그린이고 어떤 페이지가 오래된 것일까요? 안내가 없으면 AI 시스템은 제한된 컨텍스트를 가치가 낮은 페이지에 낭비하거나 중요한 콘텐츠를 놓칠 수 있습니다.

robots.txt는 검색 엔진에게 다른 문제를 해결해 주었습니다. URL을 차단하고, 크롤러에 사이트맵 위치를 알려 주고, 크롤 버짓을 지킬 수 있게 해 주었습니다. 하지만 robots.txt는 접근만 제어할 뿐 콘텐츠를 설명하지는 않습니다. AI 시스템은 필요한 것이 다릅니다. 순위보다 여러분이 어떤 분야의 권위자인지 이해하는 데 더 관심이 있습니다.

llms.txt는 이 간극을 메우는 것을 목표로 합니다. 언어 모델에게 사이트의 짧은 요약과 핵심 페이지를 엄선한 목록을 제공합니다. AI 시스템이 사이트가 "SaaS 청구 솔루션"에 관한 것임을 추론해야 하는 대신 직접 알려 줄 수 있습니다. 목표는 가장 좋은 콘텐츠를 더 쉽게 찾고 활용하도록 만드는 것입니다. 다만 색인이 개선되거나 AI 답변에서 인용될 가능성이 높아진다는 증거는 아직 없습니다.

llms.txt의 핵심 구조와 문법

llms.txt 형식은 단순한 Markdown으로, 사람과 언어 모델 모두 읽을 수 있습니다. 파일은 도메인 루트(www.example.com/llms.txt)에 두며 제목, 짧은 요약, 선택적 세부 정보, 핵심 페이지로 연결되는 링크 섹션이라는 고정된 순서를 따릅니다. 기본 예시는 다음과 같습니다.

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

사람과 언어 모델이 모두 읽을 수 있도록 문법은 의도적으로 단순합니다. 누구인지 밝히고, 사이트가 다루는 내용을 요약하고, 가장 중요한 페이지를 가리킵니다. robots.txt와 달리 llms.txt에는 허용이나 차단 지시문이 없습니다. 이는 접근 규칙이 아니라 안내이며, 이를 따르겠다고 약속한 주요 AI 제공업체도 없습니다.

llms.txt 파일의 구성 요소

H1 제목(유일한 필수 요소)은 사이트나 프로젝트의 이름입니다. 간결하고 설명적으로 쓰세요. "Example SaaS Company"가 "저희 사이트에 오신 것을 환영합니다"보다 낫습니다.

인용 블록 요약은 사이트가 다루는 내용에 대한 엘리베이터 피치입니다. 주제 전문성을 구체적으로 쓰세요. "기술에 대해 씁니다" 대신 "비동기 프로그래밍, 테스트, 프로덕션 배포에 초점을 맞춘 Python 개발자용 기술 가이드를 발행합니다"라고 쓰세요. 이러한 구체성은 AI 시스템이 여러분의 권위를 이해하는 데 도움이 됩니다.

선택적 세부 정보는 제목 없는 문단이나 목록으로, 사이트의 대상 독자나 연결된 페이지를 해석하는 방법처럼 모델이 파일의 나머지를 읽는 데 필요한 맥락을 더합니다.

H2 섹션은 문서, 제품, 가이드처럼 주제별로 링크를 묶습니다. 각 섹션은 핵심 페이지로 연결되는 링크의 Markdown 목록입니다. 모델이 가장 먼저 읽기를 원하는 페이지를 고르세요.

링크 항목은 [페이지 이름](URL) 형식을 사용하며, 원하면 콜론과 페이지에 대한 짧은 설명을 덧붙입니다. 각 페이지의 표준 URL을 선호하는 버전(www 포함 또는 제외)으로 사용하세요.

Optional 섹션은 "Optional"이라는 제목의 특별한 H2입니다. 더 짧은 컨텍스트가 필요할 때 이 아래의 링크는 건너뛸 수 있으므로, 보조 페이지는 여기에 둡니다.

파일에 없는 것: llms.txt에는 Allow, Disallow, Crawl-Delay 필드도, 날짜 필드도 없습니다. 접근이나 크롤링을 제어하지 않으며, 그러한 규칙은 계속 robots.txt에 둡니다.

한 걸음 더: 페이지의 Markdown 버전

기본 파일 외에도, 이 제안은 언어 모델에 유용한 각 페이지의 깔끔한 Markdown 버전을 같은 URL 뒤에 .md를 붙여 제공하라고 권합니다(예: www.example.com/docs/getting-started.md). 그러면 llms.txt의 링크가 이 버전을 직접 가리킬 수 있습니다.

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

일부 사이트는 핵심 페이지의 전체 텍스트를 하나의 파일로 모은 llms-full.txt 파일도 게시합니다. 모든 내용을 한 번의 요청으로 받고 싶은 도구를 위한 것입니다. 이는 일부 문서 사이트가 쓰는 관행일 뿐 제안의 필수 부분은 아닙니다. 어느 쪽이든 목표는 같습니다. 모델이 읽어야 할 잡음을 줄이는 것입니다.

llms.txt와 robots.txt: 핵심 차이점

robots.txt는 주로 제한적입니다. 크롤러가 들어가면 안 되는 곳을 알려 줍니다. llms.txt는 주로 정보 제공용입니다. 언어 모델에게 사이트가 무엇에 관한 것이고 어떤 페이지가 중요한지 알려 줍니다. robots.txt는 User-agent 필드로 특정 크롤러를 지정하며 주요 크롤러가 이를 따릅니다. llms.txt에는 그런 필드가 없고, 주요 AI 제공업체도 이를 읽는다고 확인한 적이 없습니다.

robots.txt는 검색 노출에 직접 영향을 줍니다. 크롤러가 어떤 페이지에 접근하지 못하게 하면 그 페이지는 보통 크롤링되지 않습니다. llms.txt는 전통적인 순위에 영향을 주지 않으며, AI 노출에 미치는 효과도 입증되지 않았습니다. 사용한다면 두 파일을 모두 사이트에 두고 각자의 역할을 맡기세요.

실무에서는 GPTBot이나 ClaudeBot 같은 AI 크롤러를 포함해 어떤 크롤러가 사이트의 어느 부분에 접근할 수 있는지를 robots.txt로 정하세요. llms.txt는 모델을 가장 좋은 콘텐츠로 안내하는 용도로만 쓰세요. 무엇도 제한할 수 없습니다. 예를 들면 다음과 같습니다.

robots.txt: 선택한 크롤러(예: GPTBot)에 대해 /checkout과 /admin을 차단합니다
llms.txt: 모델이 읽기를 원하는 문서, 가이드, 제품 페이지만 링크합니다

구현 모범 사례

llms.txt 파일을 만들어 www.example.com/llms.txt에 두세요. Markdown 형식의 UTF-8 일반 텍스트를 사용하세요. 웹 서버가 Content-Type 헤더를 text/plain 또는 text/markdown으로 제공하는지 확인하세요. 브라우저에서 URL에 직접 접속해 테스트하면 원본 텍스트가 보여야 합니다. 구조가 llms.txt 사양을 따르는지도 확인하세요. H1 제목, 인용 블록 요약, 링크로 이루어진 H2 섹션입니다.

명확하고 구체적인 설명을 작성하세요. 홈페이지 슬로건을 그대로 복사하지 마세요. 사이트가 다루는 내용에 대해 솔직하게 쓰세요. 15가지 다른 주제로 콘텐츠를 발행한다면 모두 나열하세요. 좁은 분야에 집중한다면 그렇게 밝히세요. 모델에게는 모호한 설명보다 솔직하고 구체적인 설명이 더 유용합니다. 업종을 설명하는 키워드를 포함하세요. 이커머스 사이트라면 "이커머스, 제품, 가격"을, SaaS 기업이라면 "소프트웨어, 청구, 연동"을 언급하세요.

핵심 페이지가 바뀔 때마다 파일을 업데이트하세요. 이 형식에는 날짜 필드가 없으므로 최신 상태를 유지하는 것은 여러분의 몫입니다. 사이트의 주제 초점이 크게 바뀌면 요약과 섹션을 업데이트하세요. 분기마다 llms.txt를 검토하고 새로 고치도록 알림을 설정하세요. 특히 새 콘텐츠 카테고리를 만들거나 포지셔닝을 다듬을 때 그렇습니다.

llms.txt 도입 현황을 지켜보세요. 일부 문서 플랫폼과 개발자 도구는 이미 llms.txt 파일을 게시하고 있지만, OpenAI, Anthropic, Google DeepMind는 웹을 크롤링할 때 이 파일을 읽겠다고 약속하지 않았습니다. 파일을 추가하는 것은 비용이 적게 드는 실험이지 무엇을 보장하는 것은 아닙니다.

llms.txt와 개인정보 보호 우려

llms.txt로 AI 기업이 자신의 콘텐츠를 어떻게 사용할지 통제할 수 있는지 궁금해하는 분들이 있습니다. 통제할 수 없습니다. AI 기업과 개인정보 보호 옹호자들은 웹 크롤링과 모델 학습의 윤리를 두고 논쟁하고 있습니다. 검색과 크롤링 표준은 접근과 콘텐츠 제작자에 대한 존중의 균형을 맞추기 위해 20년 넘게 발전해 왔습니다. llms.txt는 이 논의의 일부이지만, 모델이 여러분의 콘텐츠를 찾도록 돕기 위해 만들어졌을 뿐 사용을 제한하기 위한 것이 아닙니다.

콘텐츠가 AI 학습에 사용되지 않게 하려면 llms.txt는 맞지 않는 도구입니다. 그런 지시문이 없기 때문입니다. 대신 해당 AI 사용자 에이전트에 대한 robots.txt 규칙을 사용하세요. 예를 들면 다음과 같습니다.

User-agent: GPTBot
Disallow: /

robots.txt 준수 역시 자발적이지만, 신뢰할 만한 AI 제공업체는 자사 크롤러의 이름을 공개하고 이를 존중한다고 밝힙니다. 더 강한 보호가 필요하면 서버나 방화벽 설정에서 봇을 차단하세요. 현재로서는 두 파일 모두 법적 수단이 아닙니다. 규제가 발전하고 업계 표준이 굳어지면 더 견고한 수단이 나타날 수 있습니다.

llms.txt의 영향 측정

llms.txt의 ROI를 측정하기는 어렵습니다. 이 파일을 사용한다고 밝힌 AI 제공업체가 없기 때문입니다. 그래도 지표는 추적할 수 있습니다. 파일을 추가하기 전후로 ChatGPT, Gemini, Claude, Perplexity에서 자사 언급과 인용을 모니터링하세요. 인용이 늘어나더라도 그것은 상관관계일 뿐 파일이 원인이라는 증거는 아닙니다. 인용에는 다른 많은 요인이 영향을 주기 때문입니다. 아직 llms.txt를 도입하지 않은 경쟁사와 인용 증가율을 비교해 보세요.

AI 언급 추적 도구를 사용해 AI 검색 노출을 수치화하세요. 주요 AI 어시스턴트가 콘텐츠를 인용한 횟수를 추적하세요. 이렇게 하면 llms.txt를 추가하는 것이 사이트에 변화를 주는지 직접 판단할 수 있습니다.

llms.txt의 미래

robots.txt가 공식 인터넷 표준(RFC 9309)이 된 것은 2022년으로, 수십 년간 사용된 뒤였습니다. llms.txt는 아직 제안 단계이며 같은 길을 걸을 수도, 그렇지 않을 수도 있습니다. 파일이 없는 사이트가 오늘날 불이익을 받지는 않으며, 주요 AI 검색 플랫폼 중 이 파일을 확인한다고 밝힌 곳도 없습니다.

파일을 만드는 데 몇 분이면 되고 비용도 들지 않으므로, llms.txt를 추가하는 것은 합리적이고 위험이 낮은 실험입니다. 특히 문서가 많은 사이트에 적합합니다. 다만 기대는 현실적으로 유지하세요. 이는 제안일 뿐이고 효과는 입증되지 않았으며, 대개 콘텐츠 품질과 구조, 그리고 AI 시스템이 실제로 의존하는 신호에 시간을 쓰는 편이 더 낫습니다.

WordPress, Shopify, Webflow 등 CMS에 llms.txt 파일을 추가하는 방법

llms.txt 파일은 도메인 루트인 yourdomain.com/llms.txt에서 일반 텍스트로 응답해야 합니다. 방법은 CMS가 루트 파일을 얼마나 제어하게 해 주는지에 달려 있습니다.

• 자체 호스팅 사이트와 WordPress: 호스팅의 파일 관리자나 FTP로 루트 폴더에 업로드합니다. 일부 WordPress SEO 플러그인은 파일을 생성해 제공하기도 합니다.
• 루트 업로드를 막는 호스팅형 플랫폼(많은 사이트 빌더와 이커머스 플랫폼): 플랫폼에 llms.txt 설정이나 앱이 있으면 사용하고, 없으면 파일을 다른 곳에 두고 /llms.txt에서 리디렉션을 건 뒤 최종 URL이 여전히 일반 텍스트를 반환하는지 확인합니다.
• 정적 사이트와 헤드리스 사이트: llms.txt를 public 폴더에 넣어 배포할 때마다 함께 게시하고, 주요 페이지가 바뀌면 다시 생성합니다.

무료 llms.txt 생성기로 내용을 작성한 뒤 llms.txt 검증기로 URL, 콘텐츠 유형, Markdown 구조를 확인하세요. 각 경우는 단계별 설치 가이드에서 자세히 다룹니다.

결론

llms.txt는 제안 단계의 저비용 안내 파일로, 언어 모델이 최고의 콘텐츠를 찾도록 돕고 싶은 사이트를 위한 것입니다. 이 간단한 Markdown 파일을 도메인 루트에 두면 사이트가 다루는 내용을 설명하고 핵심 페이지를 링크할 수 있습니다. 형식은 단순하고 구현에는 몇 분이면 되지만, 사용을 약속한 AI 제공업체가 없으므로 필수 요건이 아니라 실험으로 다루세요. ChatGPT, Claude, Gemini, Perplexity에 인용되고 싶다면 먼저 명확하고 구조가 잘 잡힌 콘텐츠와 웹 전반의 강한 신호에 집중하세요. Sorank의 키워드 리서치 및 발굴 도구를 사용해 llms.txt 파일에서 강조할 주제를 찾아보세요.