Robots.txt: Styr hur Googlebot crawlar

Robots.txt är en enkel men kraftfull fil som styr hur sökmotorer crawlar din webbplats. Den ligger på `https://example.com/robots.txt` och innehåller regler som anger vilka sidor och kataloger Google, Bing och andra bottar får crawla. Robots.txt hjälper dig att hantera crawlbudgeten (antalet sidor Google crawlar per dag), förhindrar att crawlning slösas på oviktiga sidor och håller privat innehåll borta från sökresultaten.

De flesta webbplatser har en robots.txt-fil, men många är felkonfigurerade. En felkonfigurerad robots.txt kan av misstag blockera viktiga sidor och slösa bort rankingpotential. En välkonfigurerad robots.txt förbättrar crawl-effektiviteten och skyddar din webbplats integritet. Den här guiden går igenom robots.txt-syntax, bästa praxis och exempel från verkligheten.

Vad är Robots.txt och hur sökmotorer använder den

Robots.txt är en standardiserad textfil som kommunicerar crawlinstruktioner till sökmotorbottar. När en bot första gången besöker din webbplats begär den `/robots.txt` innan den crawlar något annat. Boten läser reglerna och följer dem (förutsatt att boten uppför sig korrekt).

Googles dokumentation om robots.txt är den auktoritativa källan för standarden. Formatet för robots.txt skapades 1994 och har fått ett brett genomslag. Alla större sökmotorer (Google, Bing, Baidu) respekterar robots.txt.

Viktigt: Robots.txt är en riktlinje, inte en brandvägg. Bottar som uppför sig väl (Google, Bing) respekterar reglerna i robots.txt. Skadliga bottar och scrapers ignorerar robots.txt. Använd robots.txt för att styra sökmotorernas crawlning, inte för att blockera hackare eller scrapers. För säkerhet använder du verktyg på servernivå.

Robots.txt-syntax och grundregler

Robots.txt använder enkel textsyntax. Varje regel har två delar: en User-agent (vilken bot regeln gäller för) och Disallow-sökvägar (vilka sidor som ska blockeras).

Grundexempel:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Detta talar om för alla bottar (`*` betyder alla) att de inte ska crawla katalogerna `/admin/` och `/staging/`. Sitemap-raden talar om för bottarna var din sitemap finns.

User-agent: \* betyder alla bottar. Du kan också ange enskilda bottar:

`User-agent: Googlebot` gäller endast Googles bot. `User-agent: Bingbot` gäller endast Bings bot. Du kan ha flera User-agent-avsnitt med olika regler.

Disallow: /sökväg/ talar om för bottar att inte crawla den sökvägen. Disallow: / blockerar hela webbplatsen. Disallow: (tomt) tillåter allt. Du kan lista flera Disallow-regler per User-agent.

Allow: /sökväg/ tillåter crawlning av en specifik sökväg även om en överordnad katalog är förbjuden. Exempel: Disallow: /temp/ men Allow: /temp/important/ tillåter crawlning endast av underkatalogen /important/.

Vanliga mönster i robots.txt

Mönster 1: Blockera adminsidor

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Detta blockerar administrativa sidor, användarsidor och kontosidor från crawlning. Dessa sidor är vanligtvis inte avsedda för sökmotorer.

Mönster 2: Blockera staging-miljön

User-agent: *
Disallow: /staging/
Disallow: /test/

Förhindrar att bottar crawlar test- eller staging-versioner av din webbplats.

Mönster 3: Blockera vissa filtyper

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Förhindrar att bottar crawlar PDF- och ZIP-filer. Det är användbart om du har många PDF-filer som inte ska indexeras.

Mönster 4: Långsamma bottar som belastar din server

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Blockerar helt Ahrefs-boten (om du inte vill att din webbplats ska crawlas av SEO-verktyg). Bromsar Semrush-boten genom att lägga till en fördröjning på 10 sekunder mellan förfrågningarna. Crawl-delay är användbart för aggressiva bottar som överbelastar din server.

Mönster 5: Tillåt allt (standard)

User-agent: *
Disallow:

Det här är standardläget. En tom Disallow betyder att allt är tillåtet. Du kan också utelämna robots.txt helt om allt innehåll ska kunna crawlas.

Robots.txt jämfört med meta robots noindex

Robots.txt blockerar crawlning. Meta robots noindex blockerar indexering. De har olika syften.

Använd robots.txt när: du vill spara crawlbudget. Du har duplicerat innehåll som inte ska crawlas. Du har adminsidor som bottar inte ska röra. Du vill bromsa aggressiva bottar.

Använd meta robots noindex när: du vill att en sida ska crawlas men inte indexeras (för att se fel och problem). Du vill förhindra indexering men ändå tillåta interna länkar och crawlning. Du vill så småningom ta bort en sida från sökresultaten men behålla den live.

Exempel: Pagineringssidor som `/products?page=2` kan blockeras i robots.txt för att spara crawlbudget (eftersom Google oftast samlar paginering). Men du kanske vill att de ska crawlas för att identifiera canonical-relationer. I så fall använder du canonicals i stället för robots.txt.

Hantera crawlbudget med robots.txt

Crawlbudgeten är antalet URL:er Google crawlar per dag på din webbplats. Stora webbplatser med miljontals sidor kan inte få alla sidor crawlade varje dag. Google fördelar crawlbudget utifrån din webbplats auktoritet och hur ofta den ändras. Crawlbudgeten är begränsad. Om den slösas på oviktiga sidor crawlas de viktiga sidorna mer sällan.

Optimera crawlbudgeten genom att blockera sidor som inte ska crawlas: duplicerat innehåll, paginerade sökresultat, användarkontosidor och testsidor. Varje sida du blockerar ger Google mer budget för att crawla ditt viktiga innehåll.

Vanliga sätt att slösa crawlbudget: oändlig paginering (produktfilter skapar oändligt många URL:er), duplicerat innehåll med olika parametrar, sessions-ID:n som läggs till i varje URL och kalender- eller eventsidor som genererar oändligt många URL:er. Använd robots.txt för att blockera dessa mönster.

Google Search Console visar din webbplats crawlstatistik. Övervaka crawlförfrågningar dagligen. Om Google crawlar samma sidor upprepade gånger utan att hitta nytt innehåll bör du granska din robots.txt och din blockeringsstrategi.

Sitemap i robots.txt

Ta med din sitemap-URL i robots.txt. Lägg till `Sitemap: https://example.com/sitemap.xml` i slutet av din robots.txt-fil. Det talar om för Google var du hittar din XML-sitemap. Du kan lista flera sitemaps om du har flera filer.

Exempel:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Att lista sitemaps i robots.txt är valfritt (du kan skicka in sitemaps via Google Search Console), men det är bästa praxis.

Testa och validera robots.txt

Google Search Console har ett verktyg för att testa robots.txt. Gå till Inställningar > Crawlning > Testa robots.txt. Ange en URL och se om robots.txt blockerar den. Det är ovärderligt för att validera dina regler innan du publicerar dem.

Testa alltid innan du publicerar ändringar i robots.txt. Ett enda misstag (som `Disallow: /` som blockerar hela din webbplats) kan slå ut dina rankingar. Använd testverktyget för att kontrollera att:

Viktiga sidor inte är blockerade. Adminsidor är blockerade. Mönster för duplicerat innehåll är blockerade. Inga kritiska sökvägar förbjuds av misstag.

Efter att du publicerat robots.txt ska du övervaka rapporten Crawl i Google Search Console för förändringar. Om crawlhastigheten sjunker oväntat kan du av misstag ha blockerat viktigt innehåll.

Vanliga misstag med robots.txt

Misstag 1: Att blockera CSS och JavaScript. Om du blockerar `/css/` eller `/js/` i robots.txt kan Google inte crawla din CSS och ditt JavaScript. Utan CSS kan Google inte rendera dina sidor korrekt. Blockera inte CSS eller JavaScript.

Misstag 2: Att blockera viktigt innehåll. Testa alltid innan du publicerar. Ett stavfel som `Disallow: /p` i stället för `Disallow: /staging/` kan av misstag blockera `/products/`.

Misstag 3: Att använda robots.txt för säkerhet. Lita inte på robots.txt för att skydda känsliga uppgifter. Säkerhetskänsliga sidor ska kräva inloggning, inte bara robots.txt. Robots.txt är offentlig och lätt att kringgå.

Misstag 4: Olika robots.txt för olika domäner. Om du har flera domäner bör du hålla robots.txt-reglerna konsekventa. Oavsiktligt olika regler kan skapa problem med crawl-effektiviteten.

Misstag 5: Att blockera själva sitemapen. Blockera aldrig `/sitemap.xml` i robots.txt. Google behöver crawla sitemapen för att hitta sidor.

Avancerade funktioner i Robots.txt

Crawl-delay och Request-rate: Dessa direktiv bromsar bottar. `Crawl-delay: 10` lägger till 10 sekunder mellan förfrågningarna. `Request-rate: 1/10` tillåter 1 förfrågan per 10 sekunder. Använd dessa för bottar som överbelastar din server. Google rekommenderar att man använder inställningarna i Search Console i stället för dessa direktiv.

Allow-direktivet: Tillåter crawlning av en specifik sökväg även om en överordnad sökväg är förbjuden. Användbart för att skapa undantag. Exempel: `Disallow: /temp/` men `Allow: /temp/keep/` tillåter endast underkatalogen keep.

Googles specifikation för robots.txt dokumenterar alla stödda direktiv. De flesta funktionerna behövs sällan. Håll dig till grundläggande User-agent, Disallow och Sitemap för de flesta webbplatser.

Avancerade direktiv i Robots.txt

Regler för specifika User-agenter gör det möjligt att ge olika bottar olika crawlregler. Du kan ange regler för Googlebot, Bingbot och andra user-agenter var för sig. Det är användbart om du vill att Google ska crawla hela din webbplats men begränsa Bing från vissa delar. Ange user-agent i början av varje regelblock:

`User-agent: Googlebot` gäller regler endast för Googles crawler. `User-agent: *` gäller regler för alla bottar. Reglerna gäller för den specifika user-agenten tills nästa user-agent-direktiv. Du kan skapa flera regelblock för olika bottar.

Direktiven Crawl-delay och request-rate talar om för bottar hur ofta de ska crawla. `Crawl-delay: 5` talar om för boten att vänta 5 sekunder mellan förfrågningarna. Det minskar serverbelastningen. `Request-rate: 1/10` talar om för boten att göra högst 1 förfrågan per 10 sekunder. Googles dokumentation för robots.txt beskriver alla stödda direktiv i detalj.

Direktiv för sitemap-plats talar om för bottar var de hittar din sitemap. `Sitemap: https://example.com/sitemap.xml` pekar bottarna till din XML-sitemap. Du kan ange flera sitemaps. Det rekommenderas eftersom det hjälper bottarna att hitta alla dina sidor effektivt.

Direktivet Clean-param tar bort URL-parametrar innan crawlning. `Clean-param: utm_source&utm_medium https://example.com` talar om för Google att ignorera UTM-parametrar på example.com. Det förhindrar att Google behandlar spårade länkar som duplicerat innehåll. Det används mindre nu eftersom Google hanterar de flesta spårningsparametrar automatiskt.

Testa din robots.txt-fil i Google Search Consoles testverktyg för robots.txt. Verktyget visar vilka URL:er som skulle blockeras för Googlebot av din robots.txt. Det förhindrar att viktiga sidor blockeras av misstag.

Slutsats

Robots.txt är en enkel men kritisk fil för att styra sökmotorernas crawlning och skydda din webbplats integritet. En välkonfigurerad robots.txt blockerar oviktiga sidor, sparar crawlbudget och förhindrar att duplicerat innehåll crawlas flera gånger. En felkonfigurerad robots.txt kan av misstag blockera viktigt innehåll och slå ut dina rankingar.

Testa alltid ändringar i robots.txt innan du publicerar dem. Använd Google Search Consoles testverktyg för att validera reglerna. Övervaka din crawlstatistik varje månad. Blockera oviktigt innehåll och hantera crawlbudgeten på ett effektivt sätt. Använd vårt GEO SEO-granskningsverktyg för att granska din robots.txt-konfiguration och hitta potentiella problem med crawlbarhet och indexering på hela din webbplats.