Integritet är viktigt för oss, så du kan välja att inaktivera vissa typer av lagring som kanske inte är nödvändig för webbplatsens grundläggande funktioner. Om du blockerar kategorier kan det påverka din upplevelse av webbplatsen. Mer information
Crawlbarhet är hur enkelt robotar kan upptäcka och hämta en webbplats sidor. Vad som blockerar crawlers, hur du testar det och hur du åtgärdar det för Google och AI-assistenterna.
Verktyg
Grundare av Sorank, med över 7 års erfarenhet av SEO och ett stort intresse för GEO.
Sammanfattning
Crawlbarhet är förmågan hos sökmotorers och AI-robotars att upptäcka sidorna på en webbplats och hämta deras innehåll utan hinder. En sida som inte kan crawlas kan varken indexeras, rankas eller citeras.
Vill du veta mer? Fråga
Crawlbarhet beskriver hur lätt en crawler, som Googlebot, Bingbot eller en AI-robot som GPTBot, kan hitta sidorna på en webbplats genom att följa länkar och sitemaps och sedan hämta deras innehåll. Det beror på webbplatsens struktur, dess server, reglerna för robotar och hur sidorna är byggda. Det är det första villkoret för organisk synlighet: innan någon fråga om innehåll eller auktoritet kommer måste sidan vara nåbar.
Crawlbarhet blandas ofta ihop med crawling självt. Crawling är processen som sökmotorn kör, medan crawlbarhet är en egenskap hos din webbplats som gör processen enkel eller svår. Den skiljer sig också från indexerbarhet: en sida kan vara crawlbar men ändå uteslutas från indexet av ett noindex-direktiv, eller av en canonical som pekar någon annanstans.
Länkar och struktur. Crawlers rör sig från länk till länk. Sidor som inte får några interna länkar, så kallade föräldralösa sidor, är svåra att upptäcka. Sidor som ligger sex eller sju klick från startsidan crawlas mer sällan. En tydlig hierarki och bra interna länkar är grunden.
Regler för robotar. Filen robots.txt kan blockera hela avsnitt, ibland av misstag. Inloggningsmurar, aggressiva brandväggar eller botskydd kan också stoppa crawlers som är välkomna.
Serverhälsa. Långsamma svar, timeouts och 5xx-fel gör att Google minskar sin crawlhastighet för att skydda din server. Långa omdirigeringskedjor och trasiga länkar slösar crawlförfrågningar.
Rendering. När innehåll och länkar bara syns efter att JavaScript har körts måste crawlers rendera sidan. Google gör det, med viss fördröjning, men många AI-crawlers hämtar bara den råa HTML:en och missar innehåll som skapas i webbläsaren.
Börja med Google Search Console: rapporten om sidindexering listar URL:er som inte kunde hämtas, och rapporten om crawlstatistik visar svarstider, statuskoder och andelen förfrågningar per typ av robot. Använd verktyget för URL-inspektion för att se vilken renderad HTML Google får för en viss sida.
Crawla sedan webbplatsen själv, med ett skrivbordsprogram för crawling eller med Sorank:s kostnadsfria AI-granskning av crawlbarhet, för att hitta föräldralösa sidor, trasiga länkar, omdirigeringskedjor och sidor som blockeras av robots.txt. Jämför URL:erna från crawlen med dem i din XML-sitemap: avvikelser åt något håll visar strukturella problem.
Länka varje viktig sida från minst en relevant sida, och håll nyckelsidor inom tre klick från startsidan. Publicera en aktuell XML-sitemap som bara innehåller kanoniska, indexerbara URL:er. Gå igenom robots.txt så att den blockerar endast det som ska hållas borta, till exempel intern sökning eller oändliga filterkombinationer. Åtgärda trasiga länkar och ersätt omdirigeringskedjor med direkta länkar.
På den tekniska sidan servar du viktigt innehåll och viktiga länkar i den första HTML:en, genom rendering på servern eller statisk generering, i stället för att enbart förlita dig på JavaScript i klienten. Håll serversvarstiderna låga och övervaka 5xx-fel. För stora webbplatser hanterar du crawl-budgeten genom att minska antalet URL:er med lågt värde.
Det klassiska misstaget är en regel i robots.txt som blivit kvar från en utvecklingsmiljö och blockerar hela webbplatsen, eller en mapp med CSS- och JavaScript-filer som behövs för rendering. Andra fel är navigering som bara byggts med JavaScript-klickhändelser i stället för riktiga länkar med ett href-attribut, oändliga URL-parametrar från filter och sortering, samt länkar som pekar på omdirigerade eller borttagna sidor efter en migrering.
För SEO är crawlbarhet en förutsättning: sidor som inte crawlas blir inte indexerade och kan inte rankas, och nytt eller uppdaterat innehåll tar längre tid att synas. För GEO är den lika avgörande. AI-assistenter förlitar sig på egna crawlers och på sökindex. GPTBot, ClaudeBot eller PerplexityBot måste vara tillåtna i robots.txt, och de behöver innehåll i vanlig HTML för att kunna läsa det. Vår sida om AI-crawlers förklarar vilka robotar du bör släppa in.
Crawlbarhet är hur lätt robotar kan hitta och hämta dina sidor. Den bygger på tydliga interna länkar, en genomtänkt robots.txt, en frisk server och innehåll som finns utan tung JavaScript. Den kommer före indexering, ranking och AI-citeringar, så den förtjänar en regelbunden kontroll.
För att gå vidare, läs våra sidor om crawling och crawl-budget. Källor: Googles översikt över sina crawlers och Googles grunder i JavaScript-SEO.
Källor
Crawlbarhet handlar om huruvida robotar kan nå och hämta en sida. Indexerbarhet handlar om huruvida sidan, när den har crawlats, tillåts och bedöms värd att lagras i indexet. En sida som blockeras i robots.txt är inte crawlbar, och en crawlbar sida med en noindex-tagg är inte indexerbar.
De flesta AI-crawlers hämtar den råa HTML:en och kör inte JavaScript på samma sätt som Googles renderare. Innehåll och länkar som bara syns efter rendering i webbläsaren kan vara osynliga för dem. Det säkraste är att servera viktigt innehåll i den första HTML:en.
Kontrollera rapporterna om crawlstatistik och sidindexering i Google Search Console. Fler serverfel, längre svarstider, många URL:er med statusen "Identifierad, för närvarande inte indexerad" eller viktiga sidor som saknas i indexet är typiska tecken på crawlbarhetsproblem.
DE TESTADE SORANK FÖRE DIG
“Jag testade Sorank på en riktig kundsajt och det är helt otroligt. Det gör allt som en byrå skulle ta 1500 dollar i månaden för. Den används nu i produktion för den kunden.”
Guillaume Guersanguersanguillaume.com“Vi är en annonsbyrå och ville få igång vår SEO på rätt spår en gång för alla. Sorank gav oss en tydlig bild av vår webbplats, hjälpte oss att prioritera optimeringarna och att strukturera vårt innehåll på rätt sätt. Verktyget är lätt att använda, väl genomtänkt för ett team och mycket praktiskt för att samla uppföljningen på ett ställe utan att jonglera med flera plattformar. En mycket stabil grund för att börja om från början med vår SEO.”
Gaspard MadouiAnnonsbyrå
“Jag lät bara Sorank-programvaran göra sitt, och nu är min DR 25 och min sida rankas högre.”
Lucas Flandrefoundertrace.fr“Jag specialiserade mig på GEO tack vare Sorank. GEO-rankningen gör det möjligt för mig att visa mina kunder deras position jämfört med konkurrenterna i ChatGPT. Det är en verklig konkurrensfördel.”
MélanieFrilans SEO-konsult“Bra service, den fungerar bra för vår webbplats och hjälper oss att förstå hur vi kan förbättra den för att rankas bättre på Google och på andra ställen. Grattis, fortsätt så, jag rekommenderar det.”
Hugo T.Handlare inom e-handel
