Robots.txt: Styr hvordan Googlebot crawler

Robots.txt er en enkel, men kraftfuld fil, der styrer, hvordan søgemaskiner crawler dit website. Den ligger på `https://example.com/robots.txt` og indeholder regler, der angiver, hvilke sider og mapper Google, Bing og andre bots må crawle. Robots.txt hjælper dig med at styre crawlbudgettet (antallet af sider Google crawler dagligt), forhindrer at crawl spildes på ubetydelige sider og holder privat indhold ude af søgeresultaterne.

De fleste websites har en robots.txt-fil, men mange er forkert konfigureret. En forkert konfigureret robots.txt kan ved en fejl blokere vigtige sider og spilde rangeringspotentiale. En veloplagt robots.txt forbedrer crawl-effektiviteten og beskytter dit sites privatliv. Denne guide dækker robots.txt-syntaks, bedste praksis og eksempler fra den virkelige verden.

Hvad er robots.txt, og hvordan søgemaskiner bruger den

Robots.txt er en standardiseret tekstfil, der sender crawlinstruktioner til søgemaskinernes bots. Når en bot besøger dit site for første gang, anmoder den om `/robots.txt`, før den crawler noget andet. Robotten læser reglerne og følger dem (forudsat at botten opfører sig ordentligt).

Googles dokumentation for robots.txt er den autoritative reference for standarden. Robots.txt-formatet blev skabt i 1994 og er blevet bredt vedtaget. Alle større søgemaskiner (Google, Bing, Baidu) respekterer robots.txt.

Vigtigt: Robots.txt er en retningslinje, ikke en firewall. Ordentlige bots (Google, Bing) respekterer reglerne i robots.txt. Ondsindede bots og scrapere ignorerer robots.txt. Brug robots.txt til at styre søgemaskinernes crawling, ikke til at blokere hackere eller scrapere. Til sikkerhed skal du bruge værktøjer på serverniveau.

Robots.txt-syntaks og grundregler

Robots.txt bruger en enkel tekstsyntaks. Hver regel har to dele: en User-agent (hvilken bot reglen gælder for) og Disallow-stier (hvilke sider der skal blokeres).

Grundlæggende eksempel:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Dette fortæller alle bots (`*` betyder alle), at de ikke skal crawle mapperne `/admin/` og `/staging/`. Linjen Sitemap fortæller botterne, hvor dit sitemap ligger.

User-agent: \* betyder alle bots. Du kan også angive enkelte bots:

`User-agent: Googlebot` gælder kun for Googles bot. `User-agent: Bingbot` gælder kun for Bings bot. Du kan have flere User-agent-afsnit med forskellige regler.

Disallow: /path/ fortæller bots ikke at crawle den pågældende sti. Disallow: / blokerer hele sitet. Disallow: (tom) tillader alt. Du kan angive flere Disallow-regler pr. User-agent.

Allow: /path/ tillader crawling af en bestemt sti, selvom en overordnet mappe er blokeret. Eksempel: Disallow: /temp/ men Allow: /temp/important/ tillader kun crawling af undermappen /important/.

Almindelige robots.txt-mønstre

Mønster 1: Bloker admin-sider

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Dette blokerer crawling af administrative sider, brugersider og kontosider. Disse sider er typisk ikke beregnet til søgemaskiner.

Mønster 2: Bloker staging-miljø

User-agent: *
Disallow: /staging/
Disallow: /test/

Forhindrer bots i at crawle test- eller staging-versioner af dit site.

Mønster 3: Bloker bestemte filtyper

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Forhindrer bots i at crawle PDF- og ZIP-filer. Det er nyttigt, hvis du har mange PDF'er, der ikke bør indekseres.

Mønster 4: Langsomme bots, der belaster din server

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Blokerer helt Ahrefs-botten (hvis du ikke vil have dit site crawlet af SEO-værktøjer). Bremser Semrush-botten ved at tilføje en forsinkelse på 10 sekunder mellem forespørgslerne. Crawl-delay er nyttig over for aggressive bots, der overbelaster din server.

Mønster 5: Tillad alt (standard)

User-agent: *
Disallow:

Dette er standarden. En tom Disallow betyder, at alt er tilladt. Du kan også udelade robots.txt helt, hvis alt indhold skal kunne crawles.

Robots.txt vs. meta robots noindex

Robots.txt blokerer crawling. Meta robots noindex blokerer indeksering. De tjener forskellige formål.

Brug robots.txt, når: Du vil spare crawlbudget. Du har dubleret indhold, der ikke bør crawles. Du har admin-sider, som botterne ikke skal røre. Du vil bremse aggressive bots.

Brug meta robots noindex, når: Du vil have en side crawlet, men ikke indekseret (for at se fejl og problemer). Du vil forhindre indeksering, men stadig tillade interne links og crawling. Du på sigt vil fjerne en side fra søgeresultaterne, men holde den live.

Eksempel: Pagineringssider som `/products?page=2` kan blokeres i robots.txt for at spare crawlbudget (da Google typisk samler paginering). Men du vil måske have dem crawlet for at identificere canonical-forbindelser. I så fald skal du bruge canonicals i stedet for robots.txt.

Styring af crawlbudget med robots.txt

Crawlbudget er antallet af URL'er, Google crawler dagligt på dit site. Store sites med millioner af sider kan ikke få alle sider crawlet dagligt. Google fordeler crawlbudget ud fra dit sites autoritet og hyppigheden af ændringer. Crawlbudget er begrænset. Hvis det spildes på ubetydelige sider, bliver de vigtige sider crawlet sjældnere.

Optimer crawlbudgettet ved at blokere sider, der ikke bør crawles: dubleret indhold, pagineringer af søgeresultater, brugerkontosider og testsider. Hver side, du blokerer, giver Google mere budget til at crawle dit vigtige indhold.

Almindelige crawlbudget-spildere: uendelig paginering (produktfiltre skaber ubegrænsede URL'er), dubleret indhold med forskellige parametre, session-ID'er tilføjet til hver URL, kalender- og eventsider, der genererer endeløse URL'er. Brug robots.txt til at blokere disse mønstre.

Google Search Console viser dit sites crawlstatistik. Overvåg crawlforespørgsler dagligt. Hvis Google gentagne gange crawler de samme sider uden at opdage nyt indhold, bør du gennemgå din robots.txt og din blokeringsstrategi.

Sitemap i robots.txt

Inkluder din sitemap-URL i robots.txt. Tilføj `Sitemap: https://example.com/sitemap.xml` til slutningen af din robots.txt-fil. Det fortæller Google, hvor den finder dit XML-sitemap. Du kan angive flere sitemaps, hvis du har flere filer.

Eksempel:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

At angive sitemaps i robots.txt er valgfrit (du kan indsende sitemaps via Google Search Console), men det er bedste praksis.

Test og validering af robots.txt

Google Search Console har en tester til robots.txt. Gå til Indstillinger > Crawling > Test robots.txt. Indtast en URL, og se, om robots.txt blokerer den. Det er uvurderligt til at validere dine regler, før du udruller dem.

Test altid, før du udruller ændringer i robots.txt. En enkelt fejl (som `Disallow: /`, der blokerer hele dit site) kan ødelægge dine placeringer. Brug testeren til at verificere, at:

Vigtige sider ikke er blokeret. Admin-sider er blokeret. Mønstre for dubleret indhold er blokeret. Ingen kritiske stier er blokeret ved en fejl.

Efter du har udrullet robots.txt, skal du overvåge Crawl-rapporten i Google Search Console for ændringer. Hvis crawlhastigheden falder uventet, kan du have blokeret vigtigt indhold ved en fejl.

Almindelige fejl med robots.txt

Fejl 1: At blokere CSS og JavaScript. Hvis du blokerer `/css/` eller `/js/` i robots.txt, kan Google ikke crawle din CSS og JavaScript. Uden CSS kan Google ikke gengive dine sider korrekt. Bloker aldrig CSS eller JavaScript.

Fejl 2: At blokere vigtigt indhold. Test altid, før du udruller. En tastefejl som `Disallow: /p` i stedet for `Disallow: /staging/` kan blokere `/products/` ved en fejl.

Fejl 3: At bruge robots.txt til sikkerhed. Stol ikke på robots.txt til at beskytte følsomme data. Sider med sikkerhedskrav bør kræve login, ikke kun en robots.txt-regel. Robots.txt er offentlig og let at omgå.

Fejl 4: Uensartet robots.txt på tværs af domæner. Hvis du har flere domæner, så hold robots.txt-reglerne ensartede. Utilsigtet forskellige regler kan give problemer med crawl-effektiviteten.

Fejl 5: At blokere selve sitemapet. Bloker aldrig `/sitemap.xml` i robots.txt. Google skal crawle sitemapet for at opdage sider.

Avancerede robots.txt-funktioner

Crawl-delay og Request-rate: Disse direktiver bremser bots. `Crawl-delay: 10` tilføjer 10 sekunder mellem forespørgslerne. `Request-rate: 1/10` tillader 1 forespørgsel pr. 10 sekunder. Brug dem over for bots, der overbelaster din server. Google anbefaler at bruge indstillingerne i Search Console i stedet for disse direktiver.

Allow-direktivet: Tillader crawling af en bestemt sti, selvom en overordnet sti er blokeret. Nyttigt til at lave undtagelser. Eksempel: `Disallow: /temp/` men `Allow: /temp/keep/` tillader kun undermappen keep.

Googles specifikation for robots.txt dokumenterer alle understøttede direktiver. De fleste funktioner er sjældent nødvendige. Hold dig til grundlæggende User-agent, Disallow og Sitemap for de fleste sites.

Avancerede robots.txt-direktiver

Regler for bestemte User-agents giver forskellige crawlregler til forskellige bots. Du kan angive regler for Googlebot, Bingbot og andre user-agents hver for sig. Det er nyttigt, hvis du vil have Google til at crawle hele dit site, men begrænse Bing i adgangen til bestemte afsnit. Angiv user-agent i starten af hver regelblok:

`User-agent: Googlebot` gælder regler kun for Googles crawler. `User-agent: *` gælder regler for alle bots. Reglerne gælder for den bestemte user-agent, indtil næste user-agent-direktiv. Du kan oprette flere regelblokke for forskellige bots.

Direktiver for crawl-delay og request-rate fortæller bots, hvor ofte de må crawle. `Crawl-delay: 5` fortæller botten at vente 5 sekunder mellem forespørgslerne. Det mindsker serverbelastningen. `Request-rate: 1/10` fortæller botten at lave højst 1 forespørgsel pr. 10 sekunder. Googles dokumentation for robots.txt beskriver alle understøttede direktiver i detaljer.

Direktiver for sitemap-placering fortæller bots, hvor de finder dit sitemap. `Sitemap: https://example.com/sitemap.xml` peger botterne hen mod dit XML-sitemap. Du kan angive flere sitemaps. Det anbefales, fordi det hjælper botterne med effektivt at opdage alle dine sider.

Clean-param-direktivet fjerner URL-parametre før crawling. `Clean-param: utm_source&utm_medium https://example.com` fortæller Google at ignorere UTM-parametre på example.com. Det forhindrer Google i at behandle sporede links som dubleret indhold. Det bruges sjældnere nu, da Google selv håndterer de fleste sporingsparametre automatisk.

Test din robots.txt-fil i Google Search Consoles tester til robots.txt. Værktøjet viser, hvilke URL'er der ville blive blokeret af din robots.txt for Googlebot. Det forhindrer utilsigtet blokering af vigtige sider.

Konklusion

Robots.txt er en enkel, men afgørende fil til at styre søgemaskinernes crawling og beskytte dit sites privatliv. En veloplagt robots.txt blokerer ubetydelige sider, sparer crawlbudget og forhindrer, at dubleret indhold crawles flere gange. En forkert konfigureret robots.txt kan ved en fejl blokere vigtigt indhold og ødelægge dine placeringer.

Test altid ændringer i robots.txt, før du udruller dem. Brug Google Search Consoles tester til at validere reglerne. Overvåg dine crawlstatistikker månedligt. Bloker ubetydeligt indhold, og styr crawlbudgettet effektivt. Brug vores GEO SEO-audit til at gennemgå din robots.txt-konfiguration og finde potentielle problemer med crawlbarhed og indeksering på hele dit site.