Hvordan fungerer ChatGPT? Fra trening til websøk og sitater

Rask quiz

Hvordan får du omtale fra ChatGPT og andre AI-assistenter?

Spørsmål 1 av 425%

Hva vil du vite eller endre?

Bare se om AI-assistenter snakker om virksomheten minFølge det over tid sammenlignet med konkurrentene mineBli omtalt oftere, fra nå av

Å forstå hvordan ChatGPT fungerer forklarer både styrkene og feilene, og forteller deg hva som gjør at et nettsted sannsynligvis blir sitert i svarene. OpenAI lanserte ChatGPT i november 2022; navnet kommer fra GPT, Generative Pre-trained Transformer.

Hva er modellen bak ChatGPT?

ChatGPT kjører på en stor språkmodell (LLM). En LLM er en statistisk modell med milliarder av parametere som har lært sammenhengene mellom ord, fakta og stiler fra tekst. Den har lagret mønstre fra disse tekstene og bruker dem til å lage sannsynlige fortsettelser av enhver tekst; de enkelte sidene lagres ikke som sådan.

Arkitekturen er transformeren, introdusert av forskere hos Google i artikkelen Attention Is All You Need i 2017. Den sentrale mekanismen, oppmerksomhet, lar modellen veie hvert ord i innholdet opp mot alle de andre, slik at den forstår at «den» i en setning viser til et substantiv tre linjer tidligere.

Hvordan ble ChatGPT trent?

1. Forhåndstrening

Modellen leser et svært stort korpus av tekst (offentlige nettsider, bøker, kode, lisensierte data) og lærer én oppgave: å forutsi neste token. Gjentatt milliarder av ganger tvinger denne enkle oppgaven den til å lære grammatikk, fakta, resonnementsmønstre og mange språk. Resultatet er en kraftig tekstforutsier som ennå ikke følger instruksjoner godt.

2. Veiledet finjustering

Mennesker skriver eksempler på gode svar på ledetekster, og modellen trenes til å etterligne dem. Den lærer formatet til en nyttig assistent: svare på spørsmålet, strukturere svaret og be om avklaring når det trengs.

3. Forsterkningslæring fra menneskelig tilbakemelding

Vurderere sammenligner flere svar på samme ledetekst og rangerer dem. En belønningsmodell lærer disse preferansene, og språkmodellen optimaliseres deretter til å produsere svar som scorer godt. OpenAI beskrev metoden, kalt RLHF, i forskningsartikkelen om InstructGPT. Det er dette som gjør ChatGPT høflig, strukturert og mer varsom med å avslå skadelige forespørsler.

Hva skjer når du sender en melding?

Tokens og kontekstvinduet

Et token er en tekstbit: på engelsk er ett token i snitt omtrent fire tegn, eller tre fjerdedeler av et ord. Kontekstvinduet er antall tokens modellen kan vurdere samtidig, inkludert samtalen din og alle dokumenter eller nettsider den leser. Når en samtale blir for lang, faller de eldste delene ut av synsfeltet.

Generering ord for ord

Ved hvert steg beregner modellen en sannsynlighet for hvert mulige neste token og velger ett, med en kontrollert andel tilfeldighet. Det er derfor samme spørsmål kan gi litt ulike svar, og hvorfor ChatGPT skriver flytende selv når den tar feil: den optimaliserer for en sannsynlig fortsettelse, uten å sjekke fakta mot en kilde.

Hvordan søker ChatGPT på nettet og siterer kilder?

En modell vet bare det som stod i treningsdataene, frem til en kunnskapsgrense. For å svare om nylige hendelser, priser eller produkter kan ChatGPT gjøre et websøk. OpenAI lanserte denne funksjonen som ChatGPT-søk i oktober 2024. Assistenten skriver om spørsmålet ditt til ett eller flere søk, henter resultater fra søkeleverandører og fra OpenAIs egen crawler, leser sidene og skriver et svar med lenker til kildene sine.

Denne metoden kalles retrieval-augmented generation (RAG): modellen genererer tekst forankret i dokumenter den nettopp har hentet. OpenAI dokumenterer crawlerne sine på utviklerplattformen: OAI-SearchBot for søk, GPTBot for trening og ChatGPT-User for sider som åpnes på vegne av en bruker. OpenAI sier at nettsteder som blokkerer OAI-SearchBot i robots.txt, ikke vises i svarene fra ChatGPT-søk.

Hva er begrensningene til ChatGPT?

• Hallusinasjoner: den kan fremstå overbevisende med falske fakta, oppdiktede sitater eller kilder som ikke finnes, fordi den forutsier sannsynlig tekst.
• Kunnskapsgrense: uten websøk ignorerer den alt som kom etter treningsdataene.
• Kontekstgrenser: svært lange dokumenter eller samtaler overskrider det den kan vurdere samtidig.
• Følsomhet for formulering: en litt annen ledetekst kan gi et annet svar, eller en annen liste over anbefalte merker.
• Kildeutvelgelse: når den søker, leser den bare en håndfull sider, så det å være blant dem betyr noe.

Hva betyr dette for å bli sitert av ChatGPT?

Å forstå rørledningen gir en tydelig sjekkliste for ethvert merke som vil dukke opp i svarene fra ChatGPT:

1. Slipp inn crawlerne: tillat OAI-SearchBot i robots.txt, og lever innhold i HTML som fungerer uten tung JavaScript.
2. Rangér i vanlig søk: ChatGPT-søk starter fra søkeresultater, så sider som rangerer godt på de underliggende søkene, er mer sannsynlig å bli lest.
3. Skriv avsnitt som kan hentes ut: et direkte svar under hver overskrift, korte avsnitt som står på egne bein, definisjoner, tabeller og tall med kilde.
4. Vær til stede der den leser: anmeldelser, sammenligningsartikler, fora, medier og Wikipedia former hva modellen sier om merkevaren din, både i treningsdata og i direkte søk.
5. Vær konsekvent: samme navn, beskrivelse og fakta på nettstedet og på eksterne profiler hjelper modellen å gjenkjenne merkevaren din som én enhet.
6. Mål: still spørsmålene kundene dine stiller, og se om du blir sitert. Den gratis synlighetssjekken for ChatGPT gir et første svar på ett minutt.

ChatGPT forutsier tekst ut fra det den har lært, og for ferske spørsmål ut fra de få nettsidene den velger å lese: merkene den siterer, er de hvis sider er enkle å finne, enkle å hente ut av og bekreftet av andre kilder. For å følge tilstedeværelsen din i ChatGPT, Gemini og Claude over tid og publisere innhold laget for å bli sitert, følger Sorank opp promptene dine og skriver optimaliserte artikler på autopilot, med en gratis prøveperiode på 3 dager.