LLM som dommer: Sådan bedømmer AI-modeller andres AI-svar i 2026

LLM som dommer er praksissen med at bruge en stor sprogmodel til at vurdere outputtet fra et andet AI-system, ved at give den kriterier og bede om en score, en rangering eller en dom. I stedet for at betale folk for at læse tusindvis af svar, skriver teams en evalueringsprompt, fx «Bedøm dette svar fra 1 til 5 for faktuel korrekthed og forklar hvorfor», og lader en kapabel model stå for bedømmelsen.

Metoden blev udbredt efter et forskningsarbejde fra 2023 om MT-Bench og Chatbot Arena. Det viste, at stærke modeller som GPT-4 var enige med menneskelige præferencer mere end 80% af gangene, et niveau der ligner enigheden mellem to menneskelige bedømmere. Den er i dag en fast del af LLM-evaluering, sammen med benchmarks og menneskelig gennemgang.

Hvad er LLM som dommer?

En dommermodel modtager tre ting: opgaven, som det evaluerede system har fået, svaret det har produceret og en bedømmelsesguide. Guiden angiver, hvad der skal kontrolleres, fx korrekthed, fuldstændighed, tone, brug af kilder eller fravær af opdigtede fakta. Dommeren returnerer et struktureret resultat, typisk en score med en kort begrundelse.

Dommeren kan være af samme modelfamilie som den, der evalueres, eller af en anden. Den kan være en generel LLM eller en mindre model finjusteret til evaluering. Det vigtigste er, at dens vurderinger er konsistente og tæt på, hvad en omhyggelig menneskelig ekspert ville beslutte.

Hvordan fungerer LLM som dommer?

Tre formater er almindelige. Pointbaseret bedømmelse beder dommeren give ét svar en karakter på en skala. Parvis sammenligning viser to svar på det samme spørgsmål og spørger, hvilket der er bedst, og den er typisk mere pålidelig end absolutte scorer. Referencebaseret evaluering giver dommeren et korrekt svar eller et kildedokument og spørger, om outputtet stemmer med det. Det er nyttigt til at opdage en AI-hallucination.

En god opsætning omfatter klare kriterier, eksempler på gode og dårlige svar, en anmodning om begrundelse før scoren og et fast outputformat. Teams kører derefter dommeren på en stikprøve, som mennesker også har vurderet, måler enigheden og justerer bedømmelsesguiden, indtil de to er på linje.

LLM som dommer vs. menneskelig evaluering og benchmarks

Menneskelig evaluering er stadig referencen, men den er langsom, dyr og svær at gentage, hver gang en model eller en prompt ændres. Statiske AI-benchmarks er billige og reproducerbare, men de tester faste spørgsmål med kendte svar og siger lidt om åbne opgaver som at skrive, opsummere eller anbefale.

LLM som dommer ligger midt imellem: den håndterer åbne svar i stor skala og kan køres igen på få minutter. I praksis kombinerer teams de tre: benchmarks til at måle evner, en LLM-dommer til daglige regressionstests og periodisk menneskelig gennemgang for at holde dommeren ærlig.

Kendte skævheder og begrænsninger

Forskningsarbejdet fra 2023, der gjorde metoden kendt, beskrev også dens skævheder. Positionsskævhed: i parvise sammenligninger foretrækker dommere ofte svaret, der vises først eller sidst, uanset kvalitet. Længdeskævhed: lange svar får ofte højere score, selv når de ikke tilføjer noget. Selvfavorisering: en model kan foretrække svar skrevet i sin egen stil eller af sin egen modelfamilie.

Andre begrænsninger er begrænset ekspertise på specialiserede emner, følsomhed over for den præcise formulering af bedømmelsesguiden og risikoen for at belønne selvsikre, men forkerte svar, når der ikke findes nogen reference. Typiske modtræk er at bytte rækkefølgen på svarene og tage gennemsnit, fastsætte retningslinjer for længde, bruge en dommer fra en anden udbyder og altid validere mod en stikprøve med menneskelige vurderinger.

Sådan bruges LLM som dommer i søgning og indhold

Søge- og AI-teams bruger LLM-dommere til at evaluere hentning og svar i stor skala: Er det hentede uddrag relevant? Er det endelige svar tro mod sine kilder? Besvarer det spørgsmålet? Vores side om evaluering af hentning dækker hentningsdelen af denne proces.

Indholdsteams bruger den samme idé til at gennemgå udkast mod en tjekliste: Besvarer artiklen hovedspørgsmålet i første afsnit? Er påstandene kildebelagte? Er der tal uden belæg? En LLM-dommer erstatter ikke en redaktør, men den fanger tilbagevendende problemer, inden den menneskelige gennemgang begynder.

Hvorfor LLM som dommer betyder noget for SEO og GEO

For SEO er LLM-dommere en praktisk måde at revidere indholdskvalitet på hundredvis af sider med ensartede kriterier, inspireret af Googles vejledning om nyttigt indhold. Brugt omhyggeligt hjælper de med at prioritere, hvilke sider der skal omskrives først.

For GEO er metoden nyttig til at analysere AI-svar om dit marked. Når ChatGPT, Gemini eller Perplexity besvarer et købsspørgsmål, kan en dommer klassificere, om dit brand anbefales, blot nævnes eller beskrives forkert. Råmaterialet er selve svarene. Soranks overvågning af AI-omtaler stiller hver måned dine købers spørgsmål til ChatGPT, Gemini, Claude og Grok og registrerer omtalerne og en synlighedsscore for dit brand.

Konklusion

LLM som dommer bruger én sprogmodel til at bedømme en andens svar ud fra eksplicitte kriterier. Det gør evalueringen af åbne svar hurtig og gentagelig, men metoden bærer på skævheder knyttet til position, længde og selvfavorisering. Behandl den som en skalerbar første bedømmer, kalibreret på menneskelige vurderinger, og ikke som sandheden.

Vil du læse videre, så tag et kig på vores definitioner af LLM-evaluering og AI-hallucination. Kilder: Zheng et al., "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" (2023) og "A Survey on LLM-as-a-Judge" (2024).