Как работает ChatGPT? От обучения до веб-поиска и цитирований

Понимание того, как работает ChatGPT, объясняет и его сильные стороны, и ошибки, и подсказывает, что повышает шанс сайта попасть в его ответы. OpenAI запустила ChatGPT в ноябре 2022 года; название происходит от GPT, Generative Pre-trained Transformer.

Что за модель стоит за ChatGPT?

ChatGPT работает на большой языковой модели (LLM). LLM: статистическая модель с миллиардами параметров, которая по текстам научилась связям между словами, фактами и стилями. Она хранит закономерности, извлечённые из этих текстов, и использует их для создания правдоподобных продолжений любого текста; отдельные страницы как таковые не сохраняются.

Архитектура: трансформер, представленный исследователями Google в статье Attention Is All You Need в 2017 году. Его ключевой механизм, внимание, позволяет модели сопоставлять каждое слово входных данных с каждым другим, поэтому она понимает, что «оно» в предложении относится к существительному тремя строками выше.

Как обучали ChatGPT?

1. Предобучение

Модель читает очень большой корпус текстов (публичные веб-страницы, книги, код, лицензированные данные) и учится одной задаче: предсказывать следующий токен. Повторённая миллиарды раз, эта простая задача заставляет её усвоить грамматику, факты, паттерны рассуждения и многие языки. Результат: мощный предсказатель текста, который пока плохо следует инструкциям.

2. Контролируемое дообучение

Люди пишут примеры хороших ответов на запросы, и модель учится их воспроизводить. Она усваивает формат полезного ассистента: ответить на вопрос, структурировать ответ, при необходимости задать уточняющий вопрос.

3. Обучение с подкреплением на основе обратной связи от людей

Оценщики сравнивают несколько ответов на один запрос и ранжируют их. Модель вознаграждения учится этим предпочтениям, а затем языковую модель оптимизируют так, чтобы она давала ответы с высокой оценкой. OpenAI описала этот метод, называемый RLHF, в исследовательской статье InstructGPT. Именно он делает ChatGPT вежливым, структурированным и более осторожным в отказе от вредных запросов.

Что происходит, когда вы отправляете сообщение?

Токены и контекстное окно

Токен: это фрагмент текста: в английском один токен в среднем около четырёх символов, или три четверти слова. Контекстное окно: это число токенов, которое модель может учитывать одновременно, включая ваш диалог и любые документы или веб-страницы, которые она читает. Когда диалог становится слишком длинным, самые старые части выпадают из поля зрения.

Генерация слово за словом

На каждом шаге модель вычисляет вероятность каждого возможного следующего токена и выбирает один, с контролируемой долей случайности. Поэтому на один и тот же вопрос могут приходить немного разные ответы, и поэтому ChatGPT пишет гладко, даже когда ошибается: он оптимизирует вероятное продолжение, не сверяя факты с источником.

Как ChatGPT ищет в вебе и цитирует источники?

Модель знает только то, что было в обучающих данных, до даты отсечения. Чтобы ответить о недавних событиях, ценах или продуктах, ChatGPT может выполнить веб-поиск. OpenAI объявила эту функцию как ChatGPT search в октябре 2024 года. Ассистент переписывает ваш вопрос в один или несколько запросов, получает результаты от поисковых провайдеров и от собственного краулера OpenAI, читает страницы и пишет ответ со ссылками на источники.

Этот метод называется генерацией с дополнением извлечением (RAG): модель создаёт текст, опираясь на только что полученные документы. OpenAI описывает свои краулеры на платформе для разработчиков: OAI-SearchBot для поиска, GPTBot для обучения и ChatGPT-User для страниц, открываемых по поручению пользователя. OpenAI заявляет, что сайты, блокирующие OAI-SearchBot в robots.txt, не показываются в ответах ChatGPT search.

Каковы ограничения ChatGPT?

• Галлюцинации: он может уверенно утверждать ложные факты, выдуманные цитаты или несуществующие источники, потому что предсказывает правдоподобный текст.
• Дата отсечения знаний: без веб-поиска он не знает ничего после своих обучающих данных.
• Ограничения контекста: очень длинные документы или диалоги превышают то, что он может учитывать одновременно.
• Чувствительность к формулировкам: чуть иной запрос может дать другой ответ или другой список рекомендуемых брендов.
• Отбор источников: при поиске он читает лишь горстку страниц, поэтому важно оказаться среди них.

Что это значит для цитирования в ChatGPT?

Понимание конвейера даёт чёткий чек-лист для любого бренда, который хочет появляться в ответах ChatGPT:

1. Пустите краулеров: разрешите OAI-SearchBot в robots.txt и отдавайте контент в HTML, который работает без тяжёлого JavaScript.
2. Ранжируйтесь в классическом поиске: ChatGPT search начинает с результатов поиска, поэтому страницы с высокими позициями по базовым запросам читаются чаще.
3. Пишите извлекаемые фрагменты: прямой ответ под каждым заголовком, короткие самодостаточные абзацы, определения, таблицы и цифры с источниками.
4. Присутствуйте там, где он читает: отзывы, статьи-сравнения, форумы, СМИ и Wikipedia формируют то, что модель говорит о вашем бренде, и в обучающих данных, и в живом поиске.
5. Будьте последовательны: одинаковое название, описание и факты на вашем сайте и в сторонних профилях помогают модели распознать ваш бренд как одну сущность.
6. Измеряйте: задавайте вопросы, которые задают ваши клиенты, и смотрите, цитируют ли вас. Бесплатная проверка видимости в ChatGPT даёт первый ответ за минуту.

ChatGPT предсказывает текст по тому, чему научился, а для свежих вопросов по нескольким веб-страницам, которые он решает прочитать: он цитирует бренды, чьи страницы легко найти, легко извлечь и которые подтверждены другими источниками. Чтобы отслеживать присутствие в ChatGPT, Gemini и Claude со временем и публиковать контент, созданный для цитирования, Sorank отслеживает ваши запросы и пишет оптимизированные статьи на autopilot, с 3-дневным бесплатным пробным периодом.