Як працює ChatGPT? Від навчання до вебпошуку та цитувань

Знання того, як працює ChatGPT, пояснює і його сильні сторони, і помилки та підказує, що робить сайт імовірним для цитування в його відповідях. OpenAI запустила ChatGPT у листопаді 2022 року; назва походить від GPT, Generative Pre-trained Transformer.

Яка модель стоїть за ChatGPT?

ChatGPT працює на великій мовній моделі (LLM). LLM є статистичною моделлю з мільярдами параметрів, яка вивчила зв'язки між словами, фактами та стилями з тексту. Вона зберігає закономірності, засвоєні з цих текстів, і використовує їх для створення правдоподібних продовжень будь-якого тексту; окремі сторінки як такі не зберігаються.

Архітектурою є transformer, представлений дослідниками Google у статті Attention Is All You Need 2017 року. Її ключовий механізм, увага, дозволяє моделі зважувати кожне слово вхідного тексту відносно кожного іншого, тож вона розуміє, що «воно» в реченні стосується іменника трьома рядками раніше.

Як навчали ChatGPT?

1. Попереднє навчання

Модель читає дуже великий корпус текстів (публічні вебсторінки, книжки, код, ліцензовані дані) і вивчає одне завдання: передбачити наступний токен. Повторюване мільярди разів, це просте завдання змушує її вивчити граматику, факти, патерни міркування та багато мов. Результатом є потужний передбачувач тексту, який ще погано виконує інструкції.

2. Контрольоване донавчання

Люди пишуть приклади хороших відповідей на запити, а модель навчають їх імітувати. Вона вивчає формат корисного асистента: відповідати на питання, структурувати відповідь, уточнювати, коли потрібно.

3. Навчання з підкріпленням на основі людського зворотного зв'язку

Рецензенти порівнюють кілька відповідей на той самий запит і ранжують їх. Модель винагороди вивчає ці вподобання, а мовну модель потім оптимізують, щоб вона видавала відповіді з високою оцінкою. OpenAI описала цей метод, названий RLHF, у дослідницькій статті InstructGPT. Саме він робить ChatGPT ввічливим, структурованим і обережнішим щодо відмови на шкідливі запити.

Що відбувається, коли ви надсилаєте повідомлення?

Токени та контекстне вікно

Токен є фрагментом тексту: в англійській один токен у середньому становить близько чотирьох символів, або три чверті слова. Контекстне вікно означає кількість токенів, які модель може враховувати одночасно, включно з вашою розмовою та будь-якими документами чи вебсторінками, які вона читає. Коли розмова стає надто довгою, найстаріші частини випадають із поля зору.

Генерація слово за словом

На кожному кроці модель обчислює ймовірність кожного можливого наступного токена й вибирає один, з контрольованою часткою випадковості. Тому одне й те саме питання може отримати трохи різні відповіді, і тому ChatGPT пише вільно, навіть коли помиляється: він оптимізує правдоподібне продовження, не звіряючи факти з джерелом.

Як ChatGPT шукає в інтернеті та цитує джерела?

Модель знає лише те, що було в її навчальних даних, до певної дати відсікання. Щоб відповідати про останні події, ціни чи продукти, ChatGPT може виконати вебпошук. OpenAI анонсувала цю функцію як ChatGPT search у жовтні 2024 року. Асистент переписує ваше питання в один чи кілька запитів, отримує результати від пошукових провайдерів і від власного краулера OpenAI, читає сторінки та пише відповідь із посиланнями на свої джерела.

Цей метод називається генерацією з доповненням пошуком (RAG): модель генерує текст, що спирається на документи, які вона щойно отримала. OpenAI документує свої краулери на платформі для розробників: OAI-SearchBot для пошуку, GPTBot для навчання та ChatGPT-User для сторінок, які відкривають від імені користувача. OpenAI заявляє, що сайти, які блокують OAI-SearchBot у robots.txt, не показуються у відповідях ChatGPT search.

Які обмеження ChatGPT?

• Галюцинації: він може впевнено стверджувати хибні факти, вигадані цитати чи неіснуючі джерела, бо передбачає правдоподібний текст.
• Дата відсікання знань: без вебпошуку він не знає нічого після своїх навчальних даних.
• Обмеження контексту: дуже довгі документи чи розмови перевищують те, що він може враховувати одночасно.
• Чутливість до формулювань: трохи інший запит може дати іншу відповідь або інший список рекомендованих брендів.
• Вибір джерел: коли він шукає, то читає лише жменьку сторінок, тож важливо бути серед них.

Що це означає для цитування в ChatGPT?

Розуміння конвеєра дає чіткий чек-лист для будь-якого бренду, що хоче з'являтися у відповідях ChatGPT:

1. Пустіть краулерів: дозвольте OAI-SearchBot у robots.txt і віддавайте контент у HTML, що працює без важкого JavaScript.
2. Ранжуйтеся в класичному пошуку: ChatGPT search починає з результатів пошуку, тож сторінки, що добре ранжуються за відповідними запитами, мають більше шансів бути прочитаними.
3. Пишіть уривки, придатні до вилучення: пряма відповідь під кожним підзаголовком, короткі самодостатні абзаци, визначення, таблиці та цифри з джерелами.
4. Будьте там, де він читає: відгуки, статті-порівняння, форуми, медіа та Wikipedia формують те, що модель каже про ваш бренд, і в навчальних даних, і в живому пошуку.
5. Будьте послідовними: однакова назва, опис і факти на вашому сайті та в сторонніх профілях допомагають моделі розпізнавати ваш бренд як одну сутність.
6. Вимірюйте: ставте питання, які ставлять ваші клієнти, і дивіться, чи вас цитують. Безкоштовна перевірка видимості в ChatGPT дає першу відповідь за хвилину.

ChatGPT передбачає текст на основі вивченого і, для свіжих питань, на основі кількох вебсторінок, які вирішує прочитати: бренди, яких він цитує, мають сторінки, що легко знайти, легко вилучити та які підтверджують інші джерела. Щоб стежити за своєю присутністю в ChatGPT, Gemini та Claude з часом і публікувати контент, створений для цитування, Sorank відстежує ваші запити й пише оптимізовані статті на autopilot, із 3-денним безкоштовним періодом.