Præferencer
Privatliv er vigtigt for os, så du kan vælge at slå visse typer lagring fra, som ikke er nødvendige for, at websitet fungerer grundlæggende. Hvis du blokerer kategorier, kan det påvirke din oplevelse af websitet. Mere information
Privatliv er vigtigt for os, så du kan vælge at slå visse typer lagring fra, som ikke er nødvendige for, at websitet fungerer grundlæggende. Hvis du blokerer kategorier, kan det påvirke din oplevelse af websitet. Mere information
Crawlbarhed er, hvor let bots kan finde og hente siderne på et websted. Hvad blokerer crawlere, hvordan tester du det, og hvordan retter du det for Google og AI'erne.
Værktøjer
Grundlægger af Sorank, 7+ års erfaring inden for SEO, GEO-entusiast.
Resumé
Crawlbarhed er søgemaskine- og AI-bots evne til at finde et websteds sider og hente deres indhold uden forhindringer. En side, der ikke kan crawles, kan hverken indekseres, rangeres eller citeres.
Vil du vide mere? Spørg
Crawlbarhed beskriver, hvor let en crawler, som Googlebot, Bingbot eller en AI-bot som GPTBot, kan finde et websteds sider ved at følge links og sitemaps og derefter hente deres indhold. Det afhænger af sitets struktur, dets server, dets regler for bots og måden, siderne er bygget på. Det er den første forudsætning for organisk synlighed: før spørgsmål om indhold eller autoritet skal siden kunne nås.
Crawlbarhed forveksles ofte med selve crawling. Crawling er den proces, søgemaskinen kører; crawlbarhed er den egenskab ved dit websted, der gør processen nem eller svær. Den er også forskellig fra indekserbarhed: en side kan være crawlbar, men udelukket fra indekset af et noindex-direktiv eller en canonical, der peger et andet sted hen.
Links og struktur. Crawlere bevæger sig fra link til link. Sider, der ikke modtager nogen interne links, kaldet forældreløse sider, er svære at opdage. Sider, der ligger seks eller syv klik fra forsiden, crawles sjældnere. Et klart hierarki og en solid intern linkning er fundamentet.
Regler for bots. Filen robots.txt kan blokere hele sektioner, nogle gange ved en fejl. Login-vægge, aggressive firewalls eller botbeskyttelse kan også stoppe crawlere, der er velkomne.
Serverens sundhed. Langsomme svar, timeouts og 5xx-fejl får Google til at sænke sin crawlhastighed for at beskytte din server. Lange redirect-kæder og ødelagte links spilder crawl-forespørgsler.
Rendering. Når indhold og links først vises, efter JavaScript er kørt, må crawlere rendere siden. Google gør det, med en forsinkelse, men mange AI-crawlere henter kun den rå HTML og overser indhold, der genereres i browseren.
Start med Google Search Console: rapporten om sideindeksering viser de URL'er, der ikke kunne hentes, og rapporten crawl-statistik viser svartider, statuskoder og andelen af forespørgsler fordelt på botype. Brug værktøjet URL-kontrol til at se den renderede HTML, som Google får for en bestemt side.
Crawl derefter sitet selv med en desktop-crawler, eller med Sorank's gratis AI-audit af crawlbarhed, for at finde forældreløse sider, ødelagte links, redirect-kæder og sider, der er blokeret af robots.txt. Sammenlign de URL'er, som crawlet finder, med dem i dit XML-sitemap: huller i begge retninger afslører strukturelle problemer.
Link alle vigtige sider fra mindst én relevant side, og hold nøglesider inden for tre klik fra forsiden. Publicér et opdateret XML-sitemap, der kun indeholder kanoniske, indekserbare URL'er. Gennemgå robots.txt, så den kun blokerer det, der skal holdes ude, som intern søgning eller uendelige filterkombinationer. Ret ødelagte links, og erstat redirect-kæder med direkte links.
Teknisk set skal vigtigt indhold og vigtige links stå i den første HTML, via server-side rendering eller statisk generering, frem for kun at stole på JavaScript i klienten. Hold serverens svartider lave, og overvåg 5xx-fejl. Til store sites styrer du crawl-budgettet ved at reducere URL'er med lav værdi.
Den klassiske fejl er en robots.txt-regel, der er efterladt fra et udviklingsmiljø og blokerer hele sitet, eller en mappe, der indeholder CSS- og JavaScript-filer, som er nødvendige for rendering. Andre fejl er navigation, der kun er bygget med JavaScript-klikhændelser i stedet for rigtige links med et href-attribut, endeløse URL-parametre skabt af filtre og sortering, og links, der peger på omdirigerede eller slettede sider efter en migrering.
For SEO er crawlbarhed en forudsætning: sider, der ikke crawles, bliver ikke indekseret og kan ikke rangere, og nyt eller opdateret indhold tager længere tid om at dukke op. For GEO er den lige så afgørende. AI-assistenter bygger på deres egne crawlere og på søgeindekser. GPTBot, ClaudeBot og PerplexityBot skal være tilladt i robots.txt, og de har brug for indhold i almindelig HTML for at kunne læse det. Vores side om AI-crawlere gennemgår, hvilke bots du skal tillade.
Crawlbarhed er, hvor let bots kan finde og hente dine sider. Den hviler på klar intern linkning, en gennemtænkt robots.txt, en sund server og indhold, der er tilgængeligt uden tung JavaScript. Den kommer før indeksering, rangering og AI-citater, så den fortjener et jævnligt tjek.
For at gå videre kan du læse vores sider om crawling og crawl-budget. Kildehenvisninger: Googles oversigt over dets crawlere og Googles grundlæggende om JavaScript-SEO.
Kilder
Crawlbarhed handler om, hvorvidt bots kan nå og hente en side. Indekserbarhed handler om, hvorvidt siden, når den er crawlet, må og bør gemmes i indekset. En side, der er blokeret i robots.txt, er ikke crawlbar; en crawlbar side med et noindex-tag er ikke indekserbar.
De fleste AI-crawlere henter den rå HTML og kører ikke JavaScript på samme måde som Googles renderer. Indhold og links, der først vises efter rendering i browseren, kan være usynlige for dem. At levere vigtigt indhold i den første HTML er den sikreste løsning.
Tjek rapporterne crawl-statistik og sideindeksering i Google Search Console. En stigning i serverfejl, lange svartider, mange URL'er med status „Opdaget – i øjeblikket ikke indekseret” eller vigtige sider, der mangler i indekset, er typiske tegn på crawlbarhedsproblemer.
DE PRØVEDE SORANK, FØR DU GJORDE DET
“Jeg testede Sorank på en rigtig kundes site, og det er vanvittigt. Det gør alt, et bureau ville opkræve dig 1500 dollar om måneden for. Det går nu i produktion på den kunde.”
Guillaume Guersanguersanguillaume.com“Vi er et annoncebureau, og vi ville have vores SEO på rette spor en gang for alle. Sorank gav os et klart overblik over vores site, hjalp os med at prioritere optimeringer og strukturere vores indhold ordentligt. Værktøjet er nemt at bruge, velegnet til et team og meget praktisk til at samle opfølgningen et sted uden at jonglere med flere platforme. Et meget solidt fundament til at starte forfra med vores SEO.”
Gaspard MadouiAnnoncebureau
“Jeg lod bare Sorank-softwaren gøre sit arbejde, og nu er min DR 25, og min side rangerer højere.”
Lucas Flandrefoundertrace.fr“Jeg specialiserede mig i GEO takket være Sorank. GEO-ranglisten gør det muligt at vise mine kunder deres placering i forhold til konkurrenterne på ChatGPT. Det er en reel kommerciel fordel.”
MélanieSEO-freelancer“Fantastisk service, den virker godt til vores hjemmeside og hjælper os med at forstå, hvordan vi kan forbedre den for at rangere bedre på Google og andre steder. Tillykke, bliv ved, jeg anbefaler det.”
Hugo T.Netbutiksejer
