Et kontekstvindue er den maksimale mængde tekst, målt i tokens, som en LLM kan behandle på én gang. Lær hvordan det virker, hvilke grænser det har, og hvorfor det betyder noget for synlighed i AI-søgning.

På denne side
Resumé
Et kontekstvindue er den maksimale mængde tekst, målt i tokens, som en sprogmodel kan behandle i én forespørgsel. Det fungerer som modellens arbejdshukommelse for alt i prompten og svaret.
Vil du vide mere? Spørg
Kontekstvindue er den maksimale mængde tekst, målt i tokens, som en stor sprogmodel kan tage i betragtning på én gang, når den genererer et svar. Alt tæller med: systeminstruktionerne, brugerens besked, eventuel samtalehistorik, hentede dokumenter og det svar, modellen producerer. Når grænsen er nået, skal ældre indhold fjernes eller opsummeres.
Tænk på det som modellens arbejdshukommelse og ikke som langtidslager. Alt uden for vinduet er simpelthen usynligt for modellen i den pågældende forespørgsel, og det er derfor, størrelsen og styringen af kontekstvinduet afgør, hvad en AI-assistent reelt kan udrette.
Et kontekstvindue definerer, hvor meget information en model kan have i fokus samtidig. Det er ikke en vedvarende hukommelse, men den aktive arbejdsflade for en enkelt forespørgsel. Når samtalen eller dokumentsættet overstiger vinduet, kapper systemet enten de ældste dele eller komprimerer dem til et resumé, fordi de rå tokens ikke længere kan være med.
Det er derfor, en chatbot kan virke til at glemme begyndelsen af en lang samtale. De tidligste beskeder er røget ud af vinduet, medmindre de udtrykkeligt blev gemt. Når man forstår denne grænse, forklarer det en stor del af, hvordan og hvorfor AI-assistenter opfører sig, som de gør.
Kontekstvinduer måles i tokens og ikke i ord eller tegn. Et token kan være et tegn, en del af et ord, et helt ord eller et kort symbol, og det produceres af en tokenizer, der typisk bruger byte-pair-kodning. Som en grov tommelfingerregel svarer ét token til cirka fire tegn eller omkring tre fjerdedele af et ord på engelsk, men det varierer med sproget og tokenizeren.
Fordi afregning og grænser opgøres i tokens, fylder den samme idé udtrykt kortfattet mindre i vinduet end en udvandet version. Ved lange dokumenter og lange chats afgør tokeneffektivitet direkte, hvor meget der kan være med, og hvor meget plads der er tilbage til modellens ræsonnement og svar.
Transformermodeller behandler alle tokens i vinduet samtidig ved hjælp af en attention-mekanisme, hvor hvert token potentielt kan se på alle de andre. Det er kraftfuldt, men dyrt: attention vokser med kvadratet på sekvenslængden, så 10,000 tokens giver omkring 100 millioner sammenligninger, og 100,000 tokens giver cirka 10 milliarder.
To yderligere begrænsninger sætter det praktiske loft. Key-value-cachen vokser med hvert genereret token og optager GPU-hukommelse, og båndbredden mellem hurtig og langsom hukommelse bliver en flaskehals. Tilsammen forklarer disse faktorer, hvorfor kontekstvinduer er afgrænsede, og hvorfor større vinduer koster mere at køre. Det underliggende design gennemgås i transformerarkitektur.
Vinduesstørrelserne er vokset hurtigt. Tidligere GPT-4-konfigurationer tilbød 8,192 tokens, mens GPT-4o når 128,000. Claude-modeller har tilbudt 200,000 tokens og i nyere versioner op til 1,000,000, og Gemini 1.5 Pro er dokumenteret med op til 2,000,000 tokens. Åbne modeller som Llama 3.1 understøtter typisk 128,000.
Tallene er annoncerede maksimumsværdier og ikke garantier for kvalitet over hele spændet. Et større vindue lader dig få plads til mere, men som næste afsnit viser, er det ikke det samme som, at modellen bruger alt godt. Tallene her stammer fra offentliggjorte kilder fra leverandører og analytikere og er ikke skøn.
Større vinduer forringes på en dokumenteret måde. Lost-in-the-middle-effekten betyder, at modeller er gode til at følge begyndelsen og slutningen af deres input, men mister præcision for information placeret i midten. Analyser rapporterer målbart kvalitetstab for langkontekstmodeller fra omkring 32,000 tokens, og en model med 200,000 tokens kan vise forringelse langt før sin grænse.
Den praktiske konklusion, som praktikere formulerer den, er ikke at stole på specifikationen, men at teste din faktiske brug ved den længde, du sigter efter. Små, fokuserede kontekster bevarer en mere stabil opmærksomhed end meget store, der er proppet med tekst, som kun er marginalt relevant. Flere tokens kan endda tilføje støj, der reducerer ræsonnementets kvalitet.
Fordi større vinduer er dyre og ufuldkomne, bygger produktionssystemer sjældent udelukkende på dem. Retrieval augmented generation henter kun de mest relevante passager og indsætter dem, så prompten forbliver lille og fokuseret. Semantisk caching genbruger svar på lignende forespørgsler, og agenthukommelsessystemer adskiller kort samtalehukommelse fra langvarig viden.
Det er også derfor, content chunking betyder noget for udgivere. Når indhold deles op i rene, selvstændige afsnit, er det lettere for et hentningssystem at trække det rigtige afsnit ind i et begrænset vindue, i stedet for at tvinge modellen til at vade gennem en hel side.
For generativ motoroptimering (GEO) er kontekstvinduet den plads, dit indhold konkurrerer om i et AI-svar. Når en assistent som ChatGPT, Perplexity eller Gemini henter kilder, kommer kun et begrænset antal tokens med i vinduet, så korte, velstrukturerede passager, der besvarer spørgsmålet direkte, har større chance for at blive brugt.
Det belønner klar opdeling i afsnit, svar-først-skrivning og præcis relevans, de samme instinkter, der ligger bag LLM-klart indhold. Indhold, der spilder tokens på fyld, overlever mindre sandsynligt hentning og sammenfatning, mens indhold, der leverer svaret kompakt, får sin plads i vinduet og dermed en chance for at blive citeret.
Et kontekstvindue er det tokenbudget, en model bruger til at læse en prompt og skrive et svar. Det fungerer som arbejdshukommelse og ikke som permanent lager. Det er begrænset af attention-omkostninger, cachehukommelse og båndbredde, og selv store vinduer lider under lost-in-the-middle-effekten, så at få mere med er ikke det samme som at bruge mere.
For udgivere er lektien at skrive kompakt, godt opdelt indhold med svaret først, så det overlever hentning ind i et begrænset vindue. Det understøttes af teknikker som retrieval augmented generation og ren content chunking. Referencekilder: Redis og Bitfern.
Kilder
Det er den maksimale mængde tekst, målt i tokens, som en model kan behandle i én forespørgsel. Det omfatter systemprompten, brugerens input, samtalehistorik, eventuelle hentede dokumenter og det genererede svar. Det fungerer som arbejdshukommelse, så alt ud over grænsen fjernes eller opsummeres og bliver usynligt for modellen.
Nej. Et større vindue giver plads til mere tekst, men præcisionen falder ofte på grund af lost-in-the-middle-effekten, hvor modeller følger begyndelsen og slutningen godt, men overser midten. Mange langkontekstmodeller viser målbart kvalitetstab omkring 32,000 tokens, så det er vigtigere at teste din faktiske brug end at se på det annoncerede maksimum.
Når en AI-assistent besvarer et spørgsmål, kan kun et begrænset antal tokens fra de hentede kilder komme med i dens kontekstvindue. Korte, velstrukturerede passager, der besvarer forespørgslen direkte, har større chance for at blive hentet med og citeret. Indhold fyldt med udvandning spilder tokenbudgettet og overlever mindre sandsynligt hentning og sammenfatning.
DE PRØVEDE SORANK, FØR DU GJORDE DET
