Hogyan működik a ChatGPT? A tanítástól a webes keresésig és az idézésekig

Gyors kvíz

Hogyan érdemes elérni, hogy a ChatGPT és más MI-asszisztensek megemlítsenek?

1. kérdés, összesen 425%

Mit szeretnél megtudni vagy megváltoztatni?

Csak azt szeretném látni, beszélnek-e rólam az MI-asszisztensekHosszabb távon követni, a versenytársaimhoz képestGyakrabban említsenek meg, már most

Ha érted, hogyan működik a ChatGPT, megértheted az erősségeit és a hibáit, és azt is, mitől lesz valószínűbb, hogy egy weboldalt idéz a válaszaiban. Az OpenAI 2022 novemberében indította a ChatGPT-t; a neve a GPT-ből ered, ami Generative Pre-trained Transformer, vagyis generatív, előre tanított transzformer.

Milyen modell áll a ChatGPT mögött?

A ChatGPT egy nagy nyelvi modellen (LLM) fut. Az LLM egy statisztikai modell, több milliárd paraméterrel, amely a szavak, a tények és a stílusok közötti összefüggéseket tanulta meg a szövegekből. A tanult mintákat tartja meg, és ezekkel állít elő valószínű folytatásokat bármely szövegre; az egyes oldalakat nem tárolja úgy, ahogy vannak.

Az architektúra a transzformer, amelyet a Google kutatói mutattak be 2017-ben az Attention Is All You Need (Csak a figyelem kell) tanulmányban. Kulcsmechanizmusa, a figyelem, lehetővé teszi, hogy a modell a bemenet minden szavát összevesse az összes többivel, így érti, hogy a mondatban az „ő” egy három sorral korábbi főnévre utal.

Hogyan tanították a ChatGPT-t?

1. Előtanítás

A modell egy nagyon nagy szövegkorpuszt olvas (nyilvános weboldalak, könyvek, kód, licencelt adatok), és egyetlen feladatot tanul: megjósolni a következő tokent. Ezt az egyszerű feladatot milliárdszor ismételve a modell megtanulja a nyelvtant, a tényeket, a gondolkodási mintákat és sok nyelvet. Az eredmény egy erőteljes szövegjóslő, amely még nem követi jól az utasításokat.

2. Felügyelt finomhangolás

Emberek jó válaszokat írnak a kérdésekre, és a modellt arra tanítják, hogy utánozza őket. Megtanulja egy segítőkész asszisztens formáját: megválaszolja a kérdést, strukturálja a választ, és szükség esetén pontosítást kér.

3. Megerősítéses tanulás emberi visszajelzésből

Lektorok több választ hasonlítanak össze ugyanarra a kérésre, és sorrendet állítanak fel. Egy jutalmazó modell megtanulja ezeket a preferenciákat, a nyelvi modellt pedig úgy optimalizálják, hogy jól pontozott válaszokat adjon. Az OpenAI az InstructGPT kutatási tanulmányában írta le ezt a módszert, amelyet RLHF néven ismerünk. Ettől lesz a ChatGPT udvarias, strukturált, és óvatosabb a káros kérések elutasításában.

Mi történik, amikor üzenetet küldesz?

Tokenek és a kontextusablak

A token szövegdarab: angolul egy token átlagosan körülbelül négy karakter, vagy háromnegyed szó. A kontextusablak az a tokenszám, amelyet a modell egyszerre figyelembe tud venni, beleértve a beszélgetést és az általa olvasott dokumentumokat vagy weboldalakat. Ha a beszélgetés túl hosszú lesz, a legrégebbi részek kikerülnek a látószögéből.

Generálás szavanként

Minden lépésben a modell kiszámítja minden lehetséges következő token valószínűségét, és választ közülük, egy szabályozott mértékű véletlenszerűséggel. Ezért kaphat ugyanarra a kérdésre kissé eltérő válaszokat, és ezért ír a ChatGPT folyékonyan akkor is, ha téved: a valószínű folytatásra optimalizál, forrás alapján történő tényellenőrzés nélkül.

Hogyan keres a ChatGPT a weben, és hogyan idéz forrásokat?

A modell csak arról tud, ami a tanítóadatai között volt, a tanítás lezárulásának dátumáig. Ha friss eseményekről, árakról vagy termékekről kérdezel, a ChatGPT webes keresést futtathat. Az OpenAI 2024 októberében ChatGPT keresés néven jelentette be ezt a funkciót. Az asszisztens a kérdésedet egy vagy több lekérdezésre írja át, találatokat kér a keresőszolgáltatóktól és az OpenAI saját crawlerétől, elolvassa az oldalakat, és a forrásaira mutató linkekkel együtt írja meg a választ.

Ezt a módszert visszakeresés-támogatott generálásnak (RAG) hívják: a modell olyan dokumentumokra alapozva generál szöveget, amelyeket éppen visszakeresett. Az OpenAI a fejlesztői platformján dokumentálja a crawlereit: az OAI-SearchBot a kereséshez, a GPTBot a tanításhoz, a ChatGPT-User pedig a felhasználó megbízásából megnyitott oldalakhoz. Az OpenAI szerint azok az oldalak, amelyek a robots.txt fájlban tiltják az OAI-SearchBotot, nem jelennek meg a ChatGPT-keresés válaszaiban.

Melyek a ChatGPT korlátai?

• Hallucinációk: magabiztosan állíthat hamis tényeket, kitalált idézeteket vagy nem létező forrásokat, mert valószínű szöveget jósol.
• Tudásvágó: webes keresés nélkül figyelmen kívül hagyja mindazt, ami a tanítóadatai után történt.
• Kontextuskorlátok: nagyon hosszú dokumentumok vagy beszélgetések meghaladják, amit egyszerre figyelembe tud venni.
• Érzékenység a megfogalmazásra: egy kissé eltérő prompt más választ vagy más ajánlott márkalistát adhat.
• Forrásválasztás: keresésnél csak néhány oldalt olvas el, ezért fontos, hogy közöttük legyél.

Mit jelent ez a ChatGPT általi hivatkozás szempontjából?

A folyamat megértése világos ellenőrzőlistát ad minden márkának, amely meg akar jelenni a ChatGPT válaszaiban:

1. Engedd be a crawlereket: engedélyezd az OAI-SearchBotot a robots.txt fájlban, és a tartalom HTML-ben legyen, amely nehéz JavaScript nélkül is működik.
2. Legyél jó a klasszikus keresésben: a ChatGPT-keresés keresési találatokból indul, ezért azok az oldalak, amelyek jól rangsorolnak az alapul szolgáló lekérdezésekre, nagyobb eséllyel kerülnek elolvasásra.
3. Írj kivonatolható részeket: közvetlen válasz minden címsor alatt, rövid, önmagukban álló bekezdések, definíciók, táblázatok és forrásolt számok.
4. Legyél jelen ott, ahol olvas: a vélemények, az összehasonlító cikkek, a fórumok, a média és a Wikipédia alakítják, mit mond a modell a márkádról, mind a tanítóadatokban, mind az élő keresésben.
5. Legyél következetes: ugyanaz a név, leírás és tény a saját oldaladon és a külső profilokon segít a modellnek egyetlen entitásként azonosítani a márkádat.
6. Mérj: kérdezd meg azokat a kérdéseket, amelyeket az ügyfeleid tesznek fel, és nézd meg, hivatkoznak-e rád. Az ingyenes ChatGPT-láthatósági ellenőrző egy perc alatt ad egy első választ.

A ChatGPT abból jósolja a szöveget, amit tanult, és a friss kérdéseknél abból a néhány weboldalból, amelyeket kiválaszt az olvasásra: azok a márkák kerülnek idézésre, akiknek az oldalai könnyen megtalálhatók, könnyen kivonatolhatók és más forrásokkal megerősítettek. Ha a ChatGPT-ben, a Geminiben és a Claude-ban követni szeretnéd a jelenlétedet, és olyan tartalmat szeretnél publikálni, amelyet érdemes idézni, a Sorank AI-említések követése funkciója figyeli a promptjaidat, a Sorank pedig autopilot üzemmódban ír optimalizált cikkeket, 3 napos ingyenes próbaidőszakkal.