Robots.txt: Styr hvordan Googlebot gjennomsøker

Robots.txt er en enkel, men kraftig fil som styrer hvordan søkemotorer gjennomsøker nettstedet ditt. Den ligger på `https://example.com/robots.txt` og inneholder regler som angir hvilke sider og mapper Google, Bing og andre roboter kan gjennomsøke. Robots.txt hjelper deg å styre crawl budget (antall sider Google gjennomsøker hver dag), hindrer at gjennomsøkingen kastes bort på uviktige sider, og holder privat innhold ute av søkeresultatene.

De fleste nettsteder har en robots.txt-fil, men mange er feilkonfigurerte. En feilkonfigurert robots.txt kan ved et uhell blokkere viktige sider og kaste bort rangeringspotensialet. En godt konfigurert robots.txt forbedrer effektiviteten i gjennomsøkingen og beskytter personvernet på nettstedet ditt. Denne guiden dekker syntaksen i robots.txt, beste praksis og eksempler fra virkeligheten.

Hva er robots.txt, og hvordan bruker søkemotorer den?

Robots.txt er en standardisert tekstfil som formidler gjennomsøkingsinstruksjoner til søkemotorroboter. Når en robot besøker nettstedet ditt for første gang, ber den om `/robots.txt` før den gjennomsøker noe annet. Roboten leser reglene og følger dem (forutsatt at roboten oppfører seg ordentlig).

Googles dokumentasjon for robots.txt er den autoritative referansen for standarden. Formatet for robots.txt ble laget i 1994 og er mye brukt. Alle store søkemotorer (Google, Bing, Baidu) respekterer robots.txt.

Viktig: Robots.txt er en retningslinje, ikke en brannmur. Ordentlige roboter (Google, Bing) følger reglene i robots.txt. Ondsinnede roboter og skrapere ignorerer robots.txt. Bruk robots.txt til å styre gjennomsøkingen fra søkemotorer, ikke til å blokkere hackere eller skrapere. For sikkerhet bruker du verktøy på serversiden.

Syntaksen og de grunnleggende reglene i robots.txt

Robots.txt bruker en enkel tekstsyntaks. Hver regel har to deler: en User-agent (hvilken robot regelen gjelder for) og Disallow-stier (hvilke sider som skal blokkeres).

Grunnleggende eksempel:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Dette forteller alle roboter (`*` betyr alle) at de ikke skal gjennomsøke mappene `/admin/` og `/staging/`. Sitemap-linjen forteller robotene hvor sitemapen din ligger.

User-agent: \* betyr alle roboter. Du kan også angi enkeltroboter:

`User-agent: Googlebot` gjelder bare Googles robot. `User-agent: Bingbot` gjelder bare Bings robot. Du kan ha flere User-agent-seksjoner med ulike regler.

Disallow: /sti/ forteller robotene at de ikke skal gjennomsøke den stien. Disallow: / blokkerer hele nettstedet. Disallow: (tom) tillater alt. Du kan oppgi flere Disallow-regler per User-agent.

Allow: /sti/ tillater gjennomsøking av en bestemt sti selv om en overordnet mappe er blokkert. Eksempel: Disallow: /temp/ kombinert med Allow: /temp/important/ tillater bare gjennomsøking av undermappen /important/.

Vanlige mønstre i robots.txt

Mønster 1: Blokker adminsider

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Dette blokkerer gjennomsøking av administrative sider, brukersider og kontosider. Disse sidene er vanligvis ikke ment for søkemotorer.

Mønster 2: Blokker testmiljøet

User-agent: *
Disallow: /staging/
Disallow: /test/

Hindrer roboter i å gjennomsøke test- eller testmiljø-versjonen av nettstedet ditt.

Mønster 3: Blokker bestemte filtyper

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Hindrer roboter i å gjennomsøke PDF-filer og ZIP-filer. Dette er nyttig hvis du har mange PDF-filer som ikke skal indekseres.

Mønster 4: Bremse roboter som belaster serveren din

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Blokkerer Ahrefs-roboten helt (hvis du ikke vil at verktøy for SEO skal gjennomsøke nettstedet ditt). Bremser Semrush-roboten ved å legge inn 10 sekunders pause mellom forespørslene. Crawl-delay er nyttig for aggressive roboter som overbelaster serveren din.

Mønster 5: Tillat alt (standard)

User-agent: *
Disallow:

Dette er standard. En tom Disallow betyr at alt er tillatt. Du kan også utelate robots.txt helt hvis alt innhold skal kunne gjennomsøkes.

Robots.txt mot meta robots noindex

Robots.txt blokkerer gjennomsøking. Meta robots noindex blokkerer indeksering. De har ulike formål.

Bruk robots.txt når: du vil spare crawl budget. Du har duplisert innhold som ikke skal gjennomsøkes. Du har adminsider som roboter ikke skal bruke tid på. Du vil bremse aggressive roboter.

Bruk meta robots noindex når: du vil at en side skal gjennomsøkes, men ikke indekseres (for å se feil og problemer). Du vil hindre indeksering, men fortsatt tillate interne lenker og gjennomsøking. Du vil etter hvert fjerne en side fra søkeresultatene, men beholde den aktiv.

Eksempel: Sider med paginering, som `/products?page=2`, kan blokkeres i robots.txt for å spare crawl budget (siden Google vanligvis samler paginering). Men du vil kanskje at de skal gjennomsøkes, for å finne canonical-forhold. I så fall bruker du canonical-tagger i stedet for robots.txt.

Styring av crawl budget med robots.txt

Crawl budget er antall URL-er Google gjennomsøker hver dag på nettstedet ditt. Store nettsteder med millioner av sider kan ikke få alle sidene gjennomsøkt hver dag. Google fordeler crawl budget ut fra nettstedets autoritet og hvor ofte det endrer seg. Crawl budget er begrenset. Hvis du kaster det bort på uviktige sider, blir de viktige sidene gjennomsøkt sjeldnere.

Optimaliser crawl budget ved å blokkere sider som ikke skal gjennomsøkes: duplisert innhold, paginerte søkeresultater, brukerkontosider og testsider. Hver side du blokkerer, gir Google mer budsjett til å gjennomsøke det viktige innholdet ditt.

Vanlige kilder til sløsing med crawl budget: uendelig paginering (produktfiltre skaper uendelig mange URL-er), duplisert innhold med ulike parametere, sesjons-ID-er lagt til på hver URL, og kalender- eller arrangementssider som lager endeløse URL-er. Bruk robots.txt til å blokkere disse mønstrene.

Google Search Console viser gjennomsøkingsstatistikken for nettstedet ditt. Følg med på gjennomsøkingsforespørslene hver dag. Hvis Google gjentatte ganger gjennomsøker de samme sidene uten å finne nytt innhold, bør du gå gjennom robots.txt og blokkeringsstrategien din.

Sitemap i robots.txt

Ta med sitemap-adressen i robots.txt. Legg til `Sitemap: https://example.com/sitemap.xml` på slutten av robots.txt-filen. Dette forteller Google hvor den finner XML-sitemapen din. Du kan oppgi flere sitemaps hvis du har flere filer.

Eksempel:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Det er valgfritt å oppgi sitemaps i robots.txt (du kan sende inn sitemaps via Google Search Console), men det er en god praksis.

Testing og validering av robots.txt

Google Search Console har en tester for robots.txt. Gå til Innstillinger > Gjennomsøking > Test robots.txt. Skriv inn en URL og se om robots.txt blokkerer den. Dette er uvurderlig for å kontrollere reglene dine før du tar dem i bruk.

Test alltid før du tar i bruk endringer i robots.txt. En enkelt feil (som `Disallow: /` som blokkerer hele nettstedet ditt) kan ødelegge rangeringene dine. Bruk testeren til å kontrollere at:

Viktige sider ikke er blokkert. Adminsider er blokkert. Mønstre for duplisert innhold er blokkert. Ingen kritiske stier er blokkert ved en feil.

Etter at du har tatt i bruk robots.txt, følger du med på rapporten for gjennomsøking i Google Search Console for endringer. Hvis gjennomsøkingen faller uventet, kan du ha blokkert viktig innhold ved en feil.

Vanlige feil med robots.txt

Feil 1: Blokkering av CSS og JavaScript. Hvis du blokkerer `/css/` eller `/js/` i robots.txt, kan ikke Google gjennomsøke CSS- og JavaScript-filene dine. Uten CSS kan ikke Google vise sidene dine riktig. Ikke blokker CSS eller JavaScript.

Feil 2: Blokkering av viktig innhold. Test alltid før du tar i bruk. En skrivefeil som `Disallow: /p` i stedet for `Disallow: /staging/` kan blokkere `/products/` ved et uhell.

Feil 3: Bruk av robots.txt til sikkerhet. Ikke stol på robots.txt for å beskytte sensitive data. Sider med sensitiv informasjon bør kreve innlogging, ikke bare robots.txt. Robots.txt er offentlig og kan enkelt omgås.

Feil 4: Ulik robots.txt på ulike domener. Hvis du har flere domener, bør du ha like retningslinjer i robots.txt. Ved et uhell ulike regler kan det skape problemer med effektiviteten i gjennomsøkingen.

Feil 5: Blokkering av selve sitemapen. Blokker aldri `/sitemap.xml` i robots.txt. Google må gjennomsøke sitemapen for å finne sidene.

Avanserte funksjoner i robots.txt

Crawl-delay og Request-rate: Disse direktivene bremser robotene. `Crawl-delay: 10` legger til 10 sekunder mellom forespørslene. `Request-rate: 1/10` tillater 1 forespørsel hvert 10. sekund. Bruk dem for roboter som belaster serveren din. Google anbefaler å bruke innstillingene i Search Console i stedet for disse direktivene.

Allow-direktivet: Tillater gjennomsøking av en bestemt sti selv om en overordnet sti er blokkert. Nyttig for å lage unntak. Eksempel: `Disallow: /temp/` kombinert med `Allow: /temp/keep/` tillater bare undermappen keep.

Googles spesifikasjon for robots.txt dokumenterer alle støttede direktiver. De fleste funksjonene er sjelden nødvendige. Hold deg til grunnleggende User-agent, Disallow og Sitemap for de fleste nettsteder.

Avanserte direktiver i robots.txt

Regler for bestemte User-agenter gir ulike gjennomsøkingsregler for ulike roboter. Du kan angi regler for Googlebot, Bingbot og andre user-agenter hver for seg. Dette er nyttig hvis du vil at Google skal gjennomsøke hele nettstedet, men begrense Bing fra bestemte deler. Angi user-agent i starten av hver regelblokk:

`User-agent: Googlebot` gjelder regler bare for Googles gjennomsøkingsrobot. `User-agent: *` gjelder regler for alle roboter. Reglene gjelder for den angitte user-agenten fram til neste User-agent-direktiv. Du kan lage flere regelblokker for ulike roboter.

Crawl-delay- og request-rate-direktiver forteller robotene hvor ofte de skal gjennomsøke. `Crawl-delay: 5` ber roboten vente 5 sekunder mellom forespørslene. Dette reduserer belastningen på serveren. `Request-rate: 1/10` ber roboten gjøre høyst 1 forespørsel hvert 10. sekund. Googles dokumentasjon for robots.txt beskriver alle støttede direktiver i detalj.

Sitemap-direktivet forteller robotene hvor sitemapen din ligger. `Sitemap: https://example.com/sitemap.xml` peker robotene til XML-sitemapen din. Du kan oppgi flere sitemaps. Dette anbefales, fordi det hjelper robotene med å oppdage alle sidene dine effektivt.

Clean-param-direktivet fjerner URL-parametere før gjennomsøking. `Clean-param: utm_source&utm_medium https://example.com` forteller Google å ignorere UTM-parametere på example.com. Dette hindrer at Google behandler sporede lenker som duplisert innhold. Dette brukes sjeldnere nå, siden Google håndterer de fleste sporingsparametere automatisk.

Test robots.txt-filen din i Google Search Consoles tester for robots.txt. Verktøyet viser hvilke URL-er som ville blitt blokkert for Googlebot av robots.txt. Dette hindrer at viktige sider blokkeres ved et uhell.

Konklusjon

Robots.txt er en enkel, men kritisk fil for å styre gjennomsøking fra søkemotorer og beskytte personvernet på nettstedet ditt. En godt konfigurert robots.txt blokkerer uviktige sider, sparer crawl budget og hindrer at duplisert innhold gjennomsøkes flere ganger. En feilkonfigurert robots.txt kan blokkere viktig innhold ved et uhell og ødelegge rangeringene dine.

Test alltid endringer i robots.txt før du tar dem i bruk. Bruk testeren i Google Search Console til å validere reglene. Følg med på gjennomsøkingsstatistikken hver måned. Blokker uviktig innhold og styr crawl budget effektivt. Bruk vårt GEO SEO-revisjonsverktøy til å kontrollere konfigurasjonen av robots.txt og finne mulige problemer med gjennomsøkbarhet og indeksering på hele nettstedet ditt.