Hur fungerar ChatGPT? Från träning till webbsökning och citeringar

Snabbquiz

Hur ska du bli omnämnd av ChatGPT och andra AI-assistenter?

Fråga 1 av 425%

Vad vill du ta reda på eller ändra?

Bara se om AI-assistenter pratar om mitt företagFölja det över tid mot mina konkurrenterBli omnämnd oftare, redan nu

Att förstå hur ChatGPT fungerar förklarar både dess styrkor och dess fel, och visar vad som gör att en webbplats sannolikt citeras i dess svar. OpenAI lanserade ChatGPT i november 2022; namnet kommer från GPT, Generative Pre-trained Transformer.

Vilken modell ligger bakom ChatGPT?

ChatGPT körs på en stor språkmodell (LLM). En LLM är en statistisk modell med miljarder parametrar som lärt sig sambanden mellan ord, fakta och stilar från text. Den bär på mönster den lärt sig från texterna och använder dem för att skapa rimliga fortsättningar på valfri text; enskilda sidor sparas inte som sådana.

Arkitekturen är transformern, som introducerades av forskare på Google i artikeln Attention Is All You Need 2017. Dess viktigaste mekanism, attention, låter modellen väga varje ord i indatan mot alla andra, så att den förstår att "den" i en mening syftar på ett substantiv tre rader tidigare.

Hur tränades ChatGPT?

1. Förträning

Modellen läser en mycket stor korpus av text (publika webbsidor, böcker, kod, licensierade data) och lär sig en uppgift: förutsäga nästa token. Upprepat miljarder gånger tvingar denna enkla uppgift den att lära sig grammatik, fakta, resonemangsmönster och många språk. Resultatet är en kraftfull textförutsägare som ännu inte följer instruktioner väl.

2. Övervakad finjustering

Människor skriver exempel på bra svar på frågor, och modellen tränas att efterlikna dem. Den lär sig formatet för en hjälpsam assistent: svara på frågan, strukturera svaret, be om förtydligande vid behov.

3. Förstärkningsinlärning från mänsklig återkoppling

Granskare jämför flera svar på samma fråga och rangordnar dem. En belöningsmodell lär sig dessa preferenser, och språkmodellen optimeras sedan för att skapa svar som får bra poäng. OpenAI beskrev metoden, kallad RLHF, i sin forskningsartikel om InstructGPT. Det är den som gör ChatGPT artig, strukturerad och mer försiktig när den avvisar skadliga förfrågningar.

Vad händer när du skickar ett meddelande?

Tokens och kontextfönstret

En token är en bit text: på engelska är en token i genomsnitt ungefär fyra tecken, eller tre fjärdedelar av ett ord. Kontextfönstret är antalet tokens som modellen kan beakta samtidigt, inklusive ditt samtal och alla dokument eller webbsidor den läser. När ett samtal blir för långt faller de äldsta delarna bort ur sikte.

Generering ord för ord

I varje steg beräknar modellen en sannolikhet för varje möjlig nästa token och väljer en, med en kontrollerad andel slumpmässighet. Det är därför samma fråga kan ge något olika svar, och varför ChatGPT skriver flytande även när den har fel: den optimerar för en trolig fortsättning, utan att kontrollera fakta mot en källa.

Hur söker ChatGPT på webben och citerar källor?

En modell vet bara det som fanns i träningsdatan, fram till ett slutdatum. För att svara om nyheter, priser eller produkter kan ChatGPT göra en webbsökning. OpenAI presenterade funktionen som ChatGPT search i oktober 2024. Assistenten skriver om din fråga till en eller flera sökningar, hämtar resultat från sökleverantörer och från OpenAIs egen sökrobot, läser sidorna och skriver ett svar med länkar till sina källor.

Metoden kallas retrieval-augmented generation (RAG): modellen genererar text som bygger på dokument den just hämtat. OpenAI dokumenterar sina sökrobotar på sin utvecklarplattform: OAI-SearchBot för sökning, GPTBot för träning och ChatGPT-User för sidor som öppnas på en användares begäran. OpenAI säger att webbplatser som blockerar OAI-SearchBot i robots.txt inte visas i svar från ChatGPT search.

Vilka är ChatGPT:s gränser?

• Hallucinationer: den kan påstå falska fakta, uppdiktade citat eller källor som inte finns med full säkerhet, eftersom den förutsäger rimlig text.
• Kunskapsslut: utan webbsökning ignorerar den allt som kommit efter träningsdatan.
• Kontextgränser: mycket långa dokument eller samtal överskrider vad den kan beakta samtidigt.
• Känslighet för formulering: en lite annorlunda prompt kan ge ett annat svar, eller en annan lista över rekommenderade varumärken.
• Källval: när den söker läser den bara en handfull sidor, så det spelar roll att vara bland dem.

Vad betyder detta för att bli citerad av ChatGPT?

Att förstå flödet ger en tydlig checklista för varje varumärke som vill synas i svar från ChatGPT:

1. Släpp in sökrobotarna: tillåt OAI-SearchBot i robots.txt, och servera innehåll i HTML som fungerar utan tung JavaScript.
2. Rankas i klassisk sökning: ChatGPT search utgår från sökresultat, så sidor som rankas väl på de underliggande sökningarna är mer sannolika att läsas.
3. Skriv stycken som går att plocka ut: ett direkt svar under varje rubrik, korta självständiga stycken, definitioner, tabeller och källbelagda siffror.
4. Finns där den läser: recensioner, jämförelseartiklar, forum, medier och Wikipedia formar vad modellen säger om ditt varumärke, både i träningsdatan och i live-sökning.
5. Var konsekvent: samma namn, beskrivning och fakta på din webbplats och i profiler hos tredje part hjälper modellen att identifiera ditt varumärke som en enda entitet.
6. Mät: ställ de frågor dina kunder ställer och se om du citeras. Det kostnadsfria verktyget för ChatGPT-synlighet ger ett första svar på en minut.

ChatGPT förutsäger text utifrån det den lärt sig och, för färska frågor, utifrån de få webbsidor den väljer att läsa: de varumärken den citerar är de vars sidor är lätta att hitta, lätta att plocka ut och bekräftade av andra källor. För att följa din närvaro i ChatGPT, Gemini och Claude över tid och publicera innehåll byggt för att citeras, följer Sorank dina prompter och skriver optimerade artiklar på autopilot, med en gratis provperiod på 3 dagar.