Hvordan virker ChatGPT? Fra træning til websøgning og citater

Hurtig quiz

Hvordan får du nævnt af ChatGPT og andre AI-assistenter?

Spørgsmål 1 af 425%

Hvad vil du vide eller ændre?

Bare se, om AI-assistenter taler om min virksomhedFølge det over tid i forhold til mine konkurrenterBlive nævnt oftere, fra nu af

At forstå hvordan ChatGPT virker forklarer både dens styrker og dens fejl, og den viser, hvad der gør en hjemmeside sandsynlig at blive citeret i dens svar. OpenAI lancerede ChatGPT i november 2022; navnet kommer fra GPT, Generative Pre-trained Transformer.

Hvilken model står bag ChatGPT?

ChatGPT kører på en stor sprogmodel (LLM). En LLM er en statistisk model med milliarder af parametre, som har lært sammenhængene mellem ord, fakta og stilarter fra tekst. Den har gemt mønstre fra disse tekster og bruger dem til at producere plausible fortsættelser af enhver tekst; de enkelte sider gemmes ikke som sådan.

Arkitekturen er transformeren, som blev introduceret af forskere fra Google i artiklen Attention Is All You Need i 2017. Dens centrale mekanisme, attention, lader modellen veje hvert ord i input op mod alle andre ord, så den forstår, at »den« i en sætning henviser til et substantiv tre linjer tidligere.

Hvordan blev ChatGPT trænet?

1. Forhåndstræning

Modellen læser et meget stort korpus af tekst (offentlige websider, bøger, kode, licenseret data) og lærer én opgave: at forudsige det næste token. Gentaget milliarder af gange tvinger denne enkle opgave den til at lære grammatik, fakta, ræsonnementsmønstre og mange sprog. Resultatet er en kraftfuld tekstforudsiger, som endnu ikke følger instruktioner særlig godt.

2. Overvåget finjustering

Mennesker skriver eksempler på gode svar på prompts, og modellen trænes til at efterligne dem. Den lærer formatet for en hjælpsom assistent: besvar spørgsmålet, strukturér svaret, og bed om præciseringer, når det er nødvendigt.

3. Forstærkningslæring ud fra menneskelig feedback

Bedømmere sammenligner flere svar på den samme prompt og rangerer dem. En belønningsmodel lærer disse præferencer, og sprogmodellen optimeres derefter til at producere svar, der scorer højt. OpenAI beskrev metoden, kaldet RLHF, i sin forskningsartikel om InstructGPT. Det er den, der gør ChatGPT høflig, struktureret og mere forsigtig med at afvise skadelige forespørgsler.

Hvad sker der, når du sender en besked?

Tokens og kontekstvinduet

Et token er et stykke tekst: på engelsk er et token i gennemsnit cirka fire tegn, eller tre fjerdedele af et ord. Kontekstvinduet er antallet af tokens, modellen kan overveje på én gang, inklusive din samtale og de dokumenter eller websider, den læser. Når en samtale bliver for lang, forsvinder de ældste dele af synsfeltet.

Generering ord for ord

I hvert trin beregner modellen en sandsynlighed for hvert muligt næste token og vælger ét, med en kontrolleret andel tilfældighed. Derfor kan det samme spørgsmål give lidt forskellige svar, og derfor skriver ChatGPT flydende, selv når den tager fejl: den optimerer for en sandsynlig fortsættelse uden at kontrollere fakta mod en kilde.

Hvordan søger ChatGPT på nettet og citerer kilder?

En model kender kun det, der stod i dens træningsdata, op til en afskæringsdato. For at svare om nylige begivenheder, priser eller produkter kan ChatGPT køre en websøgning. OpenAI annoncerede funktionen som ChatGPT search i oktober 2024. Assistenten omskriver dit spørgsmål til en eller flere forespørgsler, henter resultater fra søgeudbydere og fra OpenAIs egen crawler, læser siderne og skriver et svar med links til sine kilder.

Metoden kaldes retrieval-augmented generation (RAG): modellen genererer tekst, der bygger på dokumenter, den netop har hentet. OpenAI dokumenterer sine crawlere på sin udviklerplatform: OAI-SearchBot til søgning, GPTBot til træning og ChatGPT-User til sider, der åbnes på en brugers vegne. OpenAI oplyser, at sites, der blokerer OAI-SearchBot i robots.txt, ikke vises i svarene fra ChatGPT search.

Hvad er ChatGPTs grænser?

• Hallucinationer: den kan fremsætte falske fakta, opdigtede citater eller ikke-eksisterende kilder med stor sikkerhed, fordi den forudsiger plausibel tekst.
• Vidensafskæring: uden websøgning ignorerer den alt, der er sket efter dens træningsdata.
• Grænser for konteksten: meget lange dokumenter eller samtaler overstiger, hvad den kan overveje på én gang.
• Følsomhed over for formuleringen: en lidt anderledes prompt kan give et andet svar eller en anden liste af anbefalede brands.
• Udvælgelse af kilder: når den søger, læser den kun en håndfuld sider, så det betyder noget at være blandt dem.

Hvad betyder det for at blive citeret af ChatGPT?

Forståelsen af forløbet giver en klar tjekliste for ethvert brand, der vil dukke op i svarene fra ChatGPT:

1. Lad crawlerne komme ind: tillad OAI-SearchBot i robots.txt, og lever indhold i HTML, der virker uden tung JavaScript.
2. Ranger i den klassiske søgning: ChatGPT search starter fra søgeresultater, så sider, der rangerer godt på de underliggende forespørgsler, har større chance for at blive læst.
3. Skriv passager, der kan udtrækkes: et direkte svar under hver overskrift, korte selvstændige afsnit, definitioner, tabeller og kildebaserede tal.
4. Vær til stede, hvor den læser: anmeldelser, sammenligningsartikler, fora, medier og Wikipedia former det, modellen siger om dit brand, både i træningsdata og i live-søgning.
5. Hold det konsistent: det samme navn, den samme beskrivelse og de samme fakta på dit site og på eksterne profiler hjælper modellen med at genkende dit brand som én enhed.
6. Mål: stil de spørgsmål, dine kunder stiller, og se, om du bliver citeret. Det gratis ChatGPT-synlighedstjek giver et første svar på et minut.

ChatGPT forudsiger tekst ud fra det, den har lært, og ved aktuelle spørgsmål ud fra de få websider, den vælger at læse: de brands, den citerer, er dem, hvis sider er nemme at finde, nemme at udtrække og bekræftet af andre kilder. For at følge din tilstedeværelse i ChatGPT, Gemini og Claude over tid og udgive indhold, der er bygget til at blive citeret, følger Sorank dine prompts og skriver optimerede artikler på autopilot, med en gratis prøveperiode på 3 dage.