2026년 기술적 GEO: AI 크롤러 접근, 서버 측 렌더링, llms.txt, 구조화 데이터, 속도와 최신성, AI 인용을 위한 체크리스트.

이 페이지의 내용
요약
기술적 GEO는 ChatGPT, Claude, Perplexity, Gemini 같은 AI 어시스턴트가 여러분의 페이지를 가져오고, 읽고, 인용할 수 있도록 하는 사이트 설정의 총체입니다. 여섯 가지 점검으로 정리됩니다. AI 검색 크롤러의 접근을 허용하기(robots.txt, 방화벽, CDN), 대부분의 AI 크롤러가 JavaScript를 실행하지 않으므로 핵심 콘텐츠를 초기 HTML에 담기, 페이지를 빠르고 오류 없이 유지하기, 화면에 보이는 텍스트와 일치하는 구조화 데이터를 추가하기, 저비용 보조 수단으로 llms.txt 파일을 게시하기, 정확한 날짜와 사이트맵으로 최신성을 알리기. 이 중 어느 것도 인용을 보장하지는 않지만, 이 항목 중 하나라도 실패하면 페이지는 후보에서 제외됩니다.
더 알아보고 싶다면 물어보세요
간단 퀴즈
ChatGPT와 다른 AI 어시스턴트에 언급되려면 어떻게 해야 합니까?
Sorank가 답변에 잘 맞습니다
귀사의 사이트에서 3일 동안 사용해 보시고 Google, ChatGPT 및 다른 AI에서 귀사의 현재 위치를 확인하십시오.
3일 무료 체험 시작3일 무료, 이후 언제든 해지할 수 있습니다. 90일 성과 미달 시 환불 보장.
기술적 GEO는 생성형 엔진 최적화의 인프라 측면입니다. AI 모델이 여러분의 콘텐츠가 인용할 가치가 있는지 판단하기 전에 일어나는 모든 과정을 뜻합니다. 누가 인용될지는 콘텐츠와 권위가 결정하지만, AI 크롤러가 닿지 못하거나 빈 JavaScript 껍데기로만 보이는 페이지는 아예 경쟁에 참여하지 못합니다. Google도 자사 AI 기능의 기본 조건을 이렇게 밝히고 있습니다. 페이지가 색인되어 있고 스니펫 대상이어야 하며, AI Overviews와 AI 모드에는 추가적인 기술 요구사항이 없습니다. 다른 AI 어시스턴트들은 각자의 크롤러를 각자의 한계 안에서 운영하며, 많은 사이트가 이 지점에서 자신도 모르는 사이에 노출을 잃고 있습니다. 이 가이드는 봇 접근부터 최신성까지 각 계층을 다루고, 한 오후면 점검할 수 있는 체크리스트를 제공합니다.
기술적 SEO는 Googlebot이 사이트를 크롤링하고 색인할 수 있도록 만드는 작업입니다. 기술적 GEO는 같은 작업을, 다르게 동작하는 십여 개의 다른 봇으로 확장합니다. 이 봇들은 렌더링을 덜 하고, 덜 자주 크롤링하며, 따르는 규칙도 적습니다. 겹치는 부분은 큽니다(상태 코드, 정식 URL, 사이트맵, 속도). 그래서 기술적 SEO가 잘 갖춰진 사이트는 이미 기반의 대부분을 갖추고 있습니다. 차이는 네 가지 지점에 있습니다.
| 주제 | 기술적 SEO (Googlebot) | 기술적 GEO (AI 크롤러) |
|---|---|---|
| 관리 대상 봇 | Googlebot, Bingbot | OAI-SearchBot, GPTBot, ChatGPT-User, Claude-SearchBot, ClaudeBot, Claude-User, PerplexityBot, Google-Extended 등 |
| JavaScript | 지연을 두고 렌더링됨 | 대부분의 AI 크롤러가 실행하지 않음 |
| 가치의 단위 | 페이지와 그 순위 | 답변에서 인용되는 단락 |
| 제외 방식 | 페이지 차단 또는 noindex | 학습, 검색, 사용자 요청 방문에 대해 각각 따로 선택 |
| 측정 | Search Console | 서버 로그와 프롬프트 추적 |
실무적으로는, 사이트가 Google에서는 잘 순위에 올라 있어도 ChatGPT나 Claude에서는 보이지 않을 수 있습니다. 콘텐츠가 JavaScript로 만들어져 있거나, 방화벽 규칙이 알려지지 않은 봇을 차단하고 있기 때문입니다.
이제 모든 AI 기업은 여러 봇을 운영하고 있으며, 각 봇은 맡은 일이 다릅니다. 잘못된 봇을 차단하면, 모델 학습만 거부하려던 것인데도 AI 답변에서 사라질 수 있습니다.
OpenAI의 크롤러 문서(2026년 10월 확인)에 따르면, OAI-SearchBot은 여러분의 페이지가 ChatGPT 검색 답변에 나타날지를 결정하고, GPTBot은 모델 학습에 쓰일 수 있는 콘텐츠를 수집하며, ChatGPT-User는 사용자가 요청할 때 페이지를 가져옵니다. GPTBot을 차단하면 ChatGPT 검색에서 빠지지 않으면서 콘텐츠를 학습 대상에서 제외할 수 있습니다. robots.txt 변경이 검색 결과에 반영되는 데에는 약 24시간이 걸리며, ChatGPT-User의 방문은 사람이 촉발하는 것이므로 robots.txt 규칙이 적용되지 않을 수도 있습니다.
Anthropic도 도움말 센터에서 설명하듯 같은 세 가지 구분을 따릅니다. 학습용 ClaudeBot, 검색 색인용 Claude-SearchBot, 대화 중에 가져오는 페이지용 Claude-User입니다. Claude-SearchBot이나 Claude-User를 차단하면 Claude 답변에서의 노출이 줄어듭니다. Anthropic은 또한 IP 주소를 차단하는 것은 신뢰할 수 있는 수신 거부 방법이 아니라고 경고합니다. 봇이 robots.txt를 아예 읽지 못할 수 있기 때문입니다.
Google의 AI Overviews와 AI 모드는 일반 Googlebot 색인을 사용합니다. Google-Extended 토큰은 콘텐츠를 Gemini 학습과 일부 다른 Google 시스템의 그라운딩(grounding)에 쓸지만 통제하며, Google은 이것이 Google 검색 포함이나 순위에 영향을 주지 않는다고 밝힙니다. Perplexity는 색인에 PerplexityBot을 사용합니다. 봇별로 바로 쓸 수 있는 설정은 AI 크롤러용 robots.txt 규칙 가이드와 AI 크롤러 및 사용자 에이전트 목록을 참고하십시오.
| 목표 | 허용 | 선택적으로 차단 가능 |
|---|---|---|
| ChatGPT에서 인용되기 | OAI-SearchBot, ChatGPT-User | GPTBot (학습 전용) |
| Claude에서 인용되기 | Claude-SearchBot, Claude-User | ClaudeBot (학습 전용) |
| Perplexity에서 인용되기 | PerplexityBot | 없음 |
| AI Overviews와 AI 모드에 나타나기 | Googlebot | Google-Extended (검색에는 영향 없음) |
주의
robots.txt는 점검의 절반일 뿐입니다. 2025년 7월부터 Cloudflare는 많은 설정에서 AI 크롤러를 기본적으로 차단하며, 다른 방화벽과 봇 보호 도구도 같은 일을 합니다. CDN과 보안 설정을 확인한 뒤, 서버 로그에서 AI 검색 봇이 200 상태 코드를 받고 있는지 확인하십시오.
대개 읽을 수 없으며, 이것이 기술적 GEO에서 가장 흔한 실패입니다. Vercel이 자사 네트워크를 분석한 결과(2024년 12월)에 따르면, 주요 AI 크롤러 중 JavaScript를 렌더링하는 곳은 하나도 없었습니다. OpenAI, Anthropic, Meta, ByteDance, Perplexity의 봇은 원시 HTML을 내려받고 거기서 멈춥니다. ChatGPT와 Claude는 JavaScript 파일을 가져오기는 했지만 실행하지는 않았습니다. Gemini만은 예외인데, Googlebot의 렌더링 인프라에 의존하기 때문입니다. 같은 연구는 트래픽 규모도 측정했습니다. 한 달 동안 GPTBot은 5억 6,900만 건, Claude는 3억 7,000만 건의 요청을 보냈고, Googlebot은 45억 건이었습니다.
상품 설명, 가격, 기사, FAQ가 페이지 로드 후 React, Vue, Angular 앱에 의해 삽입된다면, AI 크롤러에게는 빈 템플릿만 보입니다. 해결책은 핵심 콘텐츠를 초기 HTML 응답에 담는 것입니다.
간단한 테스트: 페이지 소스를 열어 보거나(검사 도구가 아니라), curl로 URL을 가져와 보십시오. 주요 단락이 원시 HTML에 없다면 AI 크롤러는 그것을 인용할 수 없습니다. JavaScript SEO 가이드는 프레임워크별 렌더링 옵션을 다루고, 무료 AI 크롤링 가능성 감사는 봇이 받는 내용을 확인해 줍니다.
실시간으로 웹을 탐색하는 AI 어시스턴트는 질문 하나에 여러 페이지를 가져오며, 엄격한 시간 제한 아래에서 작동합니다. 느리거나 깨진 페이지는 건너뛰고, 대신 다른 출처를 인용합니다. Vercel 연구는 또한 ChatGPT와 Claude 크롤러 요청의 약 34%가 404 페이지에 닿는다는 것을 밝혔으며, 이는 Googlebot의 8%와 비교됩니다. 대개 오래된 URL을 요청하기 때문입니다. 특히 중요한 세 가지는 다음과 같습니다.
표는 특별히 언급할 가치가 있습니다. HTML 표 안의 비교 데이터는 쉽게 추출되지만, 같은 데이터가 이미지나 canvas 차트에 있으면 모든 AI 크롤러에게는 사라집니다.
구조화 데이터는 페이지가 무엇에 관한 것인지(기사, 상품, 조직, 사람)를 기계에 알려 주고, 이를 알려진 개체와 연결합니다. Google은 분명히 말합니다. AI 기능을 위한 특별한 스키마는 필요 없으며, 마크업은 화면에 보이는 텍스트와 일치해야 합니다. 기술적 GEO에서 구조화 데이터의 가치는 순위 상승이 아니라 명확성에 있습니다. 대부분의 사이트에 도입할 가치가 있는 유형은 다음과 같습니다.
JSON-LD는 위의 JavaScript와 같은 이유로, 태그 관리자가 삽입하지 않고 초기 HTML에 두십시오. LLM을 위한 구조화 데이터 감사는 여러분의 마크업을 모델이 읽을 수 있는 내용과 비교해 줍니다. AI 검색을 위한 구조화 데이터 글에서는 지금도 중요한 유형을 자세히 설명합니다.
팁
회사명, 설립 연도, 가격, 위치 같은 핵심 정보는 화면에 보이는 텍스트, 스키마, 공식 프로필에 똑같이 적으십시오. 여러 출처에서 정보가 일치하면, 모델이 여러분의 브랜드를 다른 브랜드와 혼동하지 않고 정확히 설명하는 데 도움이 됩니다.
Jeremy Howard가 2024년 9월에 발표한 llms.txt 제안은 사이트 루트에 두는 Markdown 파일로, 가장 유용한 페이지를 짧은 설명과 함께 나열합니다. AI 에이전트가 내비게이션 메뉴를 분석하지 않고도 올바른 콘텐츠를 찾도록 돕는 것이 목적입니다. 이것은 제안일 뿐 정식 표준이 아니며, 접근이나 색인을 제어하지 않고, Google도 AI 기능의 요구사항으로 꼽지 않습니다. 저비용의 보조 수단으로 생각하십시오. 한 시간이면 만들 수 있고, 이를 찾는 에이전트와 코딩 어시스턴트에 도움이 되며, 사이트를 대표하는 페이지가 무엇인지 결정하게 만든다는 장점이 있습니다. llms.txt 생성기로 초안을 작성할 수 있고, 시스템이 허용한다면 핵심 페이지의 깨끗한 Markdown 버전도 제공할 수 있습니다.
웹을 검색하는 AI 어시스턴트는 시간이 중요한 질문(가격, 도구, 규칙, 통계)에서 최신이고 날짜가 표시된 출처를 선호합니다. 콘텐츠 최신성은 일부 편집의 문제이지만, 신호는 기술적인 것입니다.
| 점검 항목 | 확인 방법 | 우선순위 |
|---|---|---|
| robots.txt에서 AI 검색 봇 허용 | robots.txt에서 OAI-SearchBot, Claude-SearchBot, PerplexityBot 규칙 확인 | 높음 |
| 방화벽이나 CDN에 의한 차단 없음 | 서버 로그에서 AI 봇에 대한 200 응답 확인 | 높음 |
| 핵심 콘텐츠가 원시 HTML에 있음 | 소스 보기 또는 URL을 curl로 가져오기 | 높음 |
| 핵심 페이지가 Google과 Bing에 색인됨 | Search Console과 Bing 웹마스터 도구 | 높음 |
| 200 상태, 한 번에 끝나는 리디렉션 | SEO 크롤러로 크롤링 | 중간 |
| 의미론적 제목, 목록, 표 | HTML 개요 읽기 | 중간 |
| Organization과 Article 스키마 | 스키마 검증 도구 | 중간 |
| 보이는 날짜와 정확한 lastmod | 페이지, 스키마, 사이트맵 비교 | 중간 |
| 루트의 llms.txt | /llms.txt 열기 | 낮음 |
가장 중요한 20개 페이지에서 한 번 실행하고, 이후에는 재설계, CMS 변경, 보안 업데이트 때마다 다시 실행하십시오. AI 크롤러 로그는 봇이 페이지에 도달했다는 유일한 직접 증거입니다. 나머지는 모두 추론입니다.
기술적 수정은 문을 열어 줄 뿐이며, 결과는 AI 답변에 나타납니다. 두 가지 측정이 순환을 완성합니다. 첫째는 서버 로그입니다. 수정한 페이지에서 OAI-SearchBot, Claude-SearchBot, PerplexityBot의 방문이 늘어야 합니다. 둘째는 인용입니다. 고객이 묻는 고정된 질문 세트를 추적하고, 브랜드가 언급되는지, 그 대신 어떤 출처가 인용되는지 매주 확인하십시오. 큰 표본에서 나타나는 패턴은 기대치를 설정하는 데 도움이 되며, 이는 우리의 ChatGPT 인용 연구에서도 다룬 내용입니다.
당사 소프트웨어인 Sorank는 두 번째 부분을 AI 언급 추적으로 처리합니다. 요금제에 따라 10 - 50개의 프롬프트를 ChatGPT, Claude, Gemini에서 추적하며, Pro 요금제부터는 Grok도 포함됩니다. 여러분의 노출 비율과 여러분 대신 인용되는 경쟁사도 확인할 수 있습니다.

기술적 기반이 깨끗해지면, 다음 한계는 콘텐츠입니다. 질문에 명확하게, 출처와 함께 답하는 페이지가 필요합니다. 기사 생성기는 Google과 AI에 최적화된 기사를 내부 링크와 출처를 포함해 자동으로 작성하고 게시합니다.
기술적 GEO는 AI 어시스턴트가 여러분의 사이트를 읽을 수 있는지를 결정하고, 콘텐츠와 권위는 그것을 인용할지를 결정합니다. 먼저 접근, 렌더링, 구조를 고치고, 그다음 인용을 측정하십시오. 요금제와 3일 무료 체험은 가격 페이지에 있습니다.
GPTBot을 차단하면 OpenAI에 모델 학습에 콘텐츠를 쓰지 말라고 알리는 것일 뿐입니다. ChatGPT 검색 답변은 OAI-SearchBot에 의존하므로, 이것 때문에 사이트가 ChatGPT 검색 답변에서 사라지지는 않습니다. ChatGPT에서 인용되고 싶다면 GPTBot에 대한 결정이 무엇이든 OAI-SearchBot은 허용해 두십시오.
아니요. Google은 AI Overviews와 AI 모드에 색인되어 있고 검색에서 스니펫 대상이 되는 것 외에 기술적 요구사항이 없다고 밝힙니다. llms.txt는 다른 AI 에이전트가 핵심 페이지를 찾는 데 도움이 될 수 있지만, Google 순위나 AI Overviews에는 아무런 영향을 주지 않습니다.
AEO(답변 엔진 최적화)와 GEO는 같은 목표, 즉 AI 어시스턴트가 생성한 답변에서 인용되는 것을 가리킵니다. 기술적 GEO(기술적 AEO라고도 불림)는 그 작업 중 인프라 부분을 다룹니다. 봇 접근, 렌더링, 속도, 구조화 데이터, 최신성이 여기에 해당합니다. 콘텐츠와 권위는 그 위에 쌓이는 것입니다.
먼저 Sorank를 경험한 사람들
