BERT-algoritmen: Slik lærte Google å lese språk i kontekst

BERT er en teknikk med nevrale nettverk for naturlig språkbehandling som Google introduserte i søk i oktober 2019. Navnet er en forkortelse for Bidirectional Encoder Representations from Transformers, og det hjelper motoren å forstå hele konteksten til ordene i et søk ved å vurdere ordene som står foran og bak hvert enkelt ord. Ved lanseringen sa Google at det ville forbedre ett av ti engelskspråklige søk i USA, det største språnget i språkforståelsen siden RankBrain.

BERT er ikke en straffemekanisme eller en justering du kan spille på. Det er en oppgradering av forståelsen som lar Google tolke rotete, samtalepregede formuleringer slik et menneske ville gjort. For alle som skriver innhold belønner dette klart og naturlig språk, og det straffer stille nøkkelordtriks som ser bort fra mening.

BERT-algoritmen forklart

BERT er samtidig tre ting: en komponent i Google Search, et åpen kildekode-rammeverk for forskning, og et generelt verktøy for naturlig språkbehandling. Google gjorde det åpen kildekode i 2018 og tok det i bruk i søk året senere. Oppgaven er å modellere hvordan ord henger sammen med hverandre innenfor en setning, slik at motoren kan lese et søk som en sammenhengende tanke i stedet for en pose med søkeord.

Gjennombruddet er kontekstforståelse. Tidligere systemer behandlet ofte hvert ord isolert eller skannet tekst i én retning. BERT behandler et ord i forhold til alle de andre ordene rundt, og det gjør det mulig å avklare betydning, løse opp pronomen og se når et lite ord, som en preposisjon, endrer hele betydningen av en forespørsel.

Slik virker BERT: toveis transformatorer

B-en i BERT står for bidirectional, altså toveis. Eldre språkmodeller som Word2Vec leste tekst i én retning, fra venstre til høyre eller motsatt, gjennom et begrenset vindu. BERT leser hele setningen på begge sider av et ord samtidig, og får dermed en langt rikere forståelse av konteksten. Dette er den viktigste ideen bak treffsikkerheten.

T-en står for transformers, transformerarkitekturen som driver de fleste moderne språkmodeller. BERT trenes med en metode som kalles maskert språkmodellering: det skjuler enkelte ord og lærer seg å forutsi dem ut fra den omkringliggende teksten, og det tvinger modellen til å bygge en dyp modell av hvordan språket henger sammen. Denne forhåndstreningen, en form for maskinlæring, er det som gir BERT sin generelle forståelse av betydning.

BERT i praksis: eksemplene om kantstein og visum

Google illustrerte BERT med to nå berømte søk. For søket «2019 brasilianer reise til USA trenger visum» oversåg det gamle systemet ordet «til», og returnerte sider om amerikanske borgere som reiser til Brasil. BERT skjønte at preposisjonen snur betydningen, og viste riktig informasjon til en brasilianer på vei til Amerika.

Det andre eksempelet gjaldt parkering i en bakke uten kantstein. Tidligere støttet Google seg på ordet «kantstein» og oversåg «uten», og returnerte det motsatte av det søkeren ønsket. BERT håndterte negasjonen riktig. Begge tilfellene viser styrken på lengre, mer samtalepregede søk og på søk der preposisjoner som «for» og «til» bærer meningen.

BERT mot RankBrain

BERT var den største endringen i Search siden RankBrain ble lansert for rundt fem år tidligere, og de to fungerer sammen snarere enn å konkurrere. RankBrain justerer hvordan Google tolker søk og finjusterer resultatene basert på brukeradferd, og lærer mønstre over tid. Det var Googles første store bruk av kunstig intelligens for å forstå søk.

BERT er mer spesialisert. Det fokuserer på den språklige strukturen i et søk, og analyserer hvordan ord kombineres til intensjon. Der RankBrain lærer av interaksjoner på tvers av mange søk, gir BERT dyp språkforståelse til det enkelte søket foran seg. Begge er en del av en større familie av systemer som beveger Google mot ekte semantisk søk.

Hvor BERT brukes i Search

BERT opererer både på søkesiden og resultatsiden. Det hjelper Google å tolke hvilke intensjoner en søker faktisk har, noe som betyr mest for naturlige, talespråklige formuleringer. Det driver også bedre fremhevede utdrag, der Google opplyste at BERT ble tatt i bruk i to dusin land, med tydelige gevinster på språk som koreansk, hindi og portugisisk.

Fordi det forbedrer hvordan motoren leser søkeintensjon, belønner BERT som regel sider som svarer tydelig på ekte spørsmål. Det flyttet Search bort fra bokstavelig søkeordmatching og mot å matche meningen bak et søk, og det er grunnen til at innhold som dekker et tema grundig presterer bedre enn innhold proppet med eksakte fraser.

Kan du optimalisere for BERT?

Ikke direkte, og det er poenget. Google har vært tydelige på at det ikke finnes noe å optimalisere for: BERT er et rammeverk for forståelse, ikke en rangeringsfaktor du kan styre. Den offisielle veiledningen er ganske enkelt å skrive naturlig, fordi BERT hjelper Google med å forstå innhold som allerede er godt skrevet, framfor å belønne spesiell formatering.

I praksis betyr det å fokusere på klarhet og søkerens behov. Sider med godt skrevet, samtalepreget innhold som faktisk svarer på spørsmål har en tendens til å tjene på det, mens nøkkelordfylling uten kontekst kan miste terreng. Å tilpasse skrivingen til ekte brukerspørsmål, støttet av sunn søkeordanalyse og innholdsplanlegging, er den mest pålitelige måten å holde seg på rett side av systemene for språkforståelse.

Hvorfor BERT betyr noe for SEO og GEO

For SEO bekreftet BERT en retning som har vart lenge: skriv for mennesker først. Det gjorde mening, struktur og klarhet til valutaen i søk i stedet for eksakte søkeord, og forsterket verdien av nyttig innhold som tilfredsstiller intensjonen. Tynne eller manipulerende sider ble lettere for Google å gjennomskue.

For generativ motoroptimalisering er BERT en tidlig forfader til systemene som nå driver AI-søk. Den samme toveis, transformerbaserte forståelsen ligger til grunn for de store språkmodellene bak assistenter som ChatGPT, Perplexity og Gemini. Innhold skrevet klart nok til at BERT forstår det, er også innhold som disse LLM-systemene kan tolke, stole på og sitere, og det gjør godt språk til et felles fundament for både søk og synlighet i AI.

Konklusjon

BERT markerte øyeblikket da Google lærte å lese et søk i kontekst, ved å bruke toveis transformatorer til å veie hvert ord mot naboene sine. Det forbedret ett av ti engelskspråklige søk ved lanseringen, skjerpet de fremhevede utdragene og dyttet SEO tydelig mot naturlig, intensjonsdrevet skriving. Det finnes ingen triks for å optimalisere for det, bare disiplinen til å svare klart på ekte spørsmål.

For å gå videre kan du koble dette til naturlig språkbehandling og semantisk søk, og bruke Sorank sine verktøy for research og innholdsplanlegging for å målrette spørsmålene folk faktisk stiller. Kilder: Google Blog, Search Engine Journal og Search Engine Land.