Jak funguje ChatGPT? Od trénování po webové vyhledávání a citace

Rychlý kvíz

Jak se dostat do zmínek v ChatGPT a dalších AI asistentech?

Otázka 1 z 425%

Co chcete zjistit nebo změnit?

Jen zjistit, zda o mé firmě mluví AI asistentiDlouhodobě sledovat ve srovnání s konkurencíBýt zmiňován častěji, počínaje dneškem

Znát jak funguje ChatGPT vysvětluje jeho přednosti i chyby a ukazuje, co dělá web pravděpodobně citovaným v jeho odpovědích. OpenAI spustila ChatGPT v listopadu 2022; jeho název vychází z GPT, Generative Pre-trained Transformer.

Co je model za ChatGPT?

ChatGPT běží na velkém jazykovém modelu (LLM). LLM je statistický model s miliardami parametrů, který se z textu naučil vztahy mezi slovy, fakty a styly. Drží vzorce naučené z těchto textů a používá je k vytváření věrohodných pokračování libovolného textu; jednotlivé stránky se jako takové neuchovávají.

Architekturou je transformer, který představili výzkumníci Googlu v článku Attention Is All You Need v roce 2017. Jeho klíčový mechanismus, pozornost (attention), dovoluje modelu vážit každé slovo vstupu vůči všem ostatním, takže pochopí, že „ono“ ve větě odkazuje na podstatné jméno o tři řádky výš.

Jak se ChatGPT trénoval?

1. Předtrénování

Model čte velmi rozsáhlý korpus textu (veřejné webové stránky, knihy, kód, licencovaná data) a učí se jediný úkol: předpovídat další token. Tento jednoduchý úkol, opakovaný miliardkrát, ho nutí naučit se gramatiku, fakta, vzorce uvažování a mnoho jazyků. Výsledkem je silný prediktor textu, který zatím pokyny příliš dobře neplní.

2. Řízené doladění

Lidé napíšou příklady dobrých odpovědí na zadání a model se je učí napodobovat. Naučí se formát užitečného asistenta: odpovědět na otázku, strukturovat odpověď a v případě potřeby požádat o upřesnění.

3. Posilované učení z lidské zpětné vazby

Hodnotitelé porovnají několik odpovědí na stejné zadání a seřadí je. Odměňovací model se naučí tyto preference a jazykový model se pak optimalizuje tak, aby produkoval odpovědi, které dostávají dobré hodnocení. OpenAI tuto metodu, nazvanou RLHF, popsala ve svém výzkumném článku InstructGPT. Právě to dělá ChatGPT zdvořilým, strukturovaným a opatrnějším při odmítání škodlivých žádostí.

Co se stane, když pošlete zprávu?

Tokeny a kontextové okno

Token je kousek textu: v angličtině má jeden token v průměru asi čtyři znaky, tedy tři čtvrtiny slova. Kontextové okno je počet tokenů, které model může zvážit najednou, včetně vaší konverzace a dokumentů nebo webových stránek, které čte. Když je konverzace příliš dlouhá, nejstarší části vypadnou z dohledu.

Generování slovo po slovu

V každém kroku model vypočítá pravděpodobnost pro každý možný další token a vybere jeden, s řízeným podílem náhody. Proto může stejná otázka dostat mírně jiné odpovědi a proč ChatGPT píše plynule i tehdy, když se mýlí: optimalizuje pravděpodobné pokračování, aniž by fakta ověřoval proti zdroji.

Jak ChatGPT prohledává web a uvádí zdroje?

Model zná jen to, co bylo v jeho trénovacích datech, do data uzávěrky. Aby odpověděl o nedávných událostech, cenách nebo produktech, může ChatGPT spustit webové vyhledávání. OpenAI tuto funkci v říjnu 2024 představila jako ChatGPT search. Asistent přepíše vaši otázku do jednoho nebo více dotazů, získá výsledky od poskytovatelů vyhledávání a z vlastního crawleru OpenAI, přečte stránky a napíše odpověď s odkazy na své zdroje.

Tato metoda se nazývá generování rozšířené o vyhledávání (retrieval-augmented generation, RAG): model generuje text opřený o dokumenty, které právě získal. OpenAI své crawlery popisuje na vývojářské platformě: OAI-SearchBot pro vyhledávání, GPTBot pro trénování a ChatGPT-User pro stránky otevírané na žádost uživatele. OpenAI uvádí, že weby, které v souboru robots.txt blokují OAI-SearchBot, se v odpovědích ChatGPT search nezobrazují.

Jaké má ChatGPT limity?

• Halucinace: může sebejistě uvádět nepravdivá fakta, vymyšlené citáty nebo neexistující zdroje, protože předpovídá věrohodný text.
• Uzávěrka znalostí: bez webového vyhledávání ignoruje vše, co následovalo po trénovacích datech.
• Limity kontextu: velmi dlouhé dokumenty nebo konverzace přesahují to, co může najednou zvážit.
• Citlivost na formulaci: mírně jiný dotaz může vést k jiné odpovědi nebo jinému seznamu doporučených značek.
• Výběr zdrojů: při hledání přečte jen hrstku stránek, takže být mezi nimi má význam.

Co to znamená pro citace v ChatGPT?

Pochopení celého postupu dává jasný kontrolní seznam pro každou značku, která se chce objevit v odpovědích v ChatGPT:

1. Pusťte crawlery dovnitř: v robots.txt povolte OAI-SearchBot a obsah dodávejte v HTML, které funguje bez těžkého JavaScriptu.
2. Umisťujte se v klasickém vyhledávání: ChatGPT search vychází z výsledků vyhledávání, takže stránky dobře umístěné na podkladových dotazech se spíš přečtou.
3. Pište pasáže, které lze vytáhnout: přímá odpověď pod každým nadpisem, krátké odstavce, které obstojí samy, definice, tabulky a čísla s uvedeným zdrojem.
4. Buďte přítomni tam, kde model čte: recenze, srovnávací články, fóra, média a Wikipedie utvářejí, co model říká o vaší značce, a to jak v trénovacích datech, tak v živém vyhledávání.
5. Buďte konzistentní: stejné jméno, popis a fakta na vašem webu i v profilech třetích stran pomáhají modelu rozpoznat vaši značku jako jednu entitu.
6. Měřte: ptejte se na otázky, které kladou vaši zákazníci, a sledujte, zda jste citováni. Bezplatný kontrolor viditelnosti v ChatGPT dá první odpověď za minutu.

ChatGPT předpovídá text z toho, co se naučil, a u čerstvých otázek z několika webových stránek, které si vybere ke čtení: značky, které cituje, jsou ty, jejichž stránky se snadno najdou, snadno vytáhnou a potvrzují je další zdroje. Chcete-li v čase sledovat svou přítomnost v ChatGPT, Gemini a Claude a publikovat obsah stavěný na citace, Sorank sleduje vaše prompty a píše optimalizované články na autopilot, s 3denní bezplatnou zkušební dobou.