ChatGPT는 어떻게 작동할까? 학습부터 웹 검색과 출처 인용까지

ChatGPT 작동 원리를 알면 강점과 오류의 이유를 함께 이해할 수 있고, 어떤 사이트가 답변에 인용되기 쉬운지도 알 수 있습니다. OpenAI는 2022년 11월 ChatGPT를 출시했으며, 이름은 GPT(Generative Pre-trained Transformer)에서 왔습니다.

ChatGPT 뒤에는 어떤 모델이 있나요?

ChatGPT는 대규모 언어 모델(LLM)로 작동합니다. LLM은 수십억 개의 매개변수를 가진 통계 모델로, 텍스트에서 단어, 사실, 문체 사이의 관계를 배웠습니다. 이 텍스트에서 배운 패턴을 간직하고, 이를 이용해 어떤 텍스트에도 그럴듯한 다음 내용을 만들어 냅니다. 페이지 자체가 그대로 저장되지는 않습니다.

아키텍처는 transformer로, 2017년 Google 연구진이 논문 Attention Is All You Need에서 발표했습니다. 핵심 메커니즘인 어텐션은 입력의 각 단어를 다른 모든 단어와 비교해 가중치를 매기게 해 줍니다. 그래서 문장 속 '그것'이 세 줄 앞의 명사를 가리킨다는 것을 이해합니다.

ChatGPT는 어떻게 학습했나요?

1. 사전 학습

모델은 매우 큰 텍스트 말뭉치(공개 웹페이지, 책, 코드, 라이선스 데이터)를 읽으며 다음 토큰 예측이라는 한 가지 과제를 배웁니다. 이 단순한 과제를 수십억 번 반복하면서 문법, 사실, 추론 패턴, 여러 언어를 익힙니다. 그 결과는 강력한 텍스트 예측기이지만, 이 단계에서는 아직 지시를 잘 따르지 못합니다.

2. 지도 미세 조정

사람들이 요청에 대한 좋은 답변의 예시를 작성하고, 모델은 이를 모방하도록 학습합니다. 질문에 답하고, 답변을 구조화하고, 필요하면 되묻는 유용한 어시스턴트의 형식을 배웁니다.

3. 인간 피드백 기반 강화 학습

평가자들이 같은 요청에 대한 여러 답변을 비교해 순위를 매깁니다. 보상 모델이 이 선호를 학습하고, 언어 모델은 높은 점수를 받는 답변을 내도록 최적화됩니다. OpenAI는 RLHF라고 불리는 이 방법을 InstructGPT 연구 논문에서 설명했습니다. ChatGPT가 정중하고 체계적이며 유해한 요청에 더 신중한 이유가 여기에 있습니다.

메시지를 보내면 무슨 일이 일어나나요?

토큰과 컨텍스트 윈도우

토큰은 텍스트 조각입니다. 영어에서 1토큰은 평균 약 4글자, 즉 단어의 4분의 3 정도이며, 한국어는 계산 방식이 달라 한 단어에 더 많은 토큰이 쓰이는 경우가 많습니다. 컨텍스트 윈도우는 대화, 문서, 읽어 들인 웹페이지를 포함해 모델이 한 번에 고려할 수 있는 토큰 수입니다. 대화가 너무 길어지면 가장 오래된 부분부터 시야에서 벗어납니다.

한 단어씩 생성

각 단계에서 모델은 다음에 올 수 있는 모든 토큰의 확률을 계산하고, 통제된 수준의 무작위성으로 하나를 고릅니다. 그래서 같은 질문에도 조금씩 다른 답이 나오고, 틀렸을 때도 ChatGPT는 매끄럽게 씁니다. 출처로 사실을 확인하지 않고 그럴듯한 다음 내용을 목표로 하기 때문입니다.

ChatGPT는 어떻게 웹을 검색하고 출처를 인용하나요?

모델은 특정 시점까지의 학습 데이터만 압니다. 시사, 가격, 제품에 관해 답하기 위해 ChatGPT는 웹 검색을 실행할 수 있습니다. OpenAI는 2024년 10월 이 기능을 ChatGPT search로 발표했습니다. 어시스턴트는 질문을 하나 이상의 검색어로 바꾸고, 검색 제공업체와 OpenAI 자체 크롤러에서 결과를 가져와 페이지를 읽은 뒤, 출처 링크가 포함된 답변을 작성합니다.

이 방식을 검색 증강 생성(RAG)이라고 합니다. 모델은 방금 가져온 문서를 바탕으로 텍스트를 생성합니다. OpenAI는 개발자 플랫폼에서 크롤러를 공개하고 있습니다. 검색용 OAI-SearchBot, 학습용 GPTBot, 사용자 요청으로 여는 페이지용 ChatGPT-User입니다. OpenAI에 따르면 robots.txt에서 OAI-SearchBot을 차단한 사이트는 ChatGPT search 답변에 표시되지 않습니다.

ChatGPT의 한계는 무엇인가요?

• 환각: 그럴듯한 텍스트를 예측하기 때문에 잘못된 사실, 지어낸 인용, 존재하지 않는 출처를 자신 있게 말할 수 있습니다.
• 지식 기준일: 웹 검색이 없으면 학습 데이터 이후의 일은 모릅니다.
• 컨텍스트 한계: 매우 긴 문서나 대화는 한 번에 고려할 수 있는 범위를 넘습니다.
• 표현에 대한 민감성: 조금만 다르게 물어도 다른 답이나 다른 추천 브랜드 목록이 나올 수 있습니다.
• 출처 선택: 검색할 때 읽는 페이지는 소수이므로, 그 안에 드는 것이 중요합니다.

ChatGPT에 인용되려면 무엇을 해야 하나요?

이 과정을 이해하면 ChatGPT 답변에 등장하고 싶은 브랜드를 위한 분명한 체크리스트가 나옵니다.

1. 크롤러 허용: robots.txt에서 OAI-SearchBot을 허용하고, 무거운 JavaScript 없이도 읽히는 HTML로 콘텐츠를 제공하세요.
2. 기존 검색에서 순위 확보: ChatGPT search는 검색 결과에서 출발하므로, 관련 검색어에서 상위에 있는 페이지일수록 읽힐 가능성이 큽니다.
3. 추출하기 쉬운 단락 작성: 각 제목 아래 바로 답을 두고, 짧고 독립적인 단락, 정의, 표, 출처가 있는 수치를 쓰세요.
4. ChatGPT가 읽는 곳에 존재: 리뷰, 비교 기사, 커뮤니티, 언론, 위키백과는 학습 데이터와 실시간 검색 모두에서 모델이 브랜드에 대해 말하는 내용을 좌우합니다.
5. 일관성 유지: 사이트와 외부 프로필에서 같은 이름, 설명, 사실을 쓰면 모델이 브랜드를 하나의 엔티티로 인식하기 쉽습니다.
6. 측정: 고객이 묻는 질문을 던지고 인용되는지 확인하세요. 무료 ChatGPT 노출 확인 도구로 1분 안에 첫 결과를 볼 수 있습니다.

ChatGPT는 배운 내용에서, 그리고 최신 질문에서는 스스로 골라 읽는 소수의 웹페이지에서 텍스트를 예측합니다. 인용되는 브랜드는 페이지를 찾기 쉽고, 추출하기 쉽고, 다른 출처가 뒷받침하는 브랜드입니다. ChatGPT, Gemini, Claude에서의 존재감을 꾸준히 추적하고 인용되도록 설계된 콘텐츠를 발행하고 싶다면, Sorank가 프롬프트를 추적하고 최적화된 글을 autopilot으로 작성합니다. 3일 무료 체험을 제공합니다.