Innstillinger
Personvern er viktig for oss, så du kan velge å slå av enkelte typer lagring som ikke er nødvendig for at nettstedet skal fungere grunnleggende. Blokkering av kategorier kan påvirke opplevelsen din på nettstedet. Mer informasjon
Personvern er viktig for oss, så du kan velge å slå av enkelte typer lagring som ikke er nødvendig for at nettstedet skal fungere grunnleggende. Blokkering av kategorier kan påvirke opplevelsen din på nettstedet. Mer informasjon
Crawlbarhet er hvor enkelt boter kan oppdage og hente sidene på et nettsted. Hva som blokkerer crawlere, hvordan du tester det og hvordan du fikser det for Google og KI-tjenestene.
Verktøy
Grunnlegger av Sorank, med over 7 års erfaring innen SEO og en entusiast for GEO.
Sammendrag
Crawlbarhet er evnen søkemotor- og KI-boter har til å finne sidene på et nettsted og hente innholdet deres uten hindringer. En side som ikke kan crawles, kan verken indekseres, rangeres eller siteres.
Vil du vite mer? Spør
Crawlbarhet beskriver hvor enkelt en crawler, som Googlebot, Bingbot eller en KI-bot som GPTBot, kan finne sidene på et nettsted ved å følge lenker og områdekart, og deretter laste ned innholdet. Det avhenger av nettstedets struktur, serveren, reglene for boter og måten sidene er bygd på. Det er første forutsetning for organisk synlighet: før spørsmål om innhold og autoritet må siden kunne nås.
Crawlbarhet forveksles ofte med selve crawling. Crawling er prosessen søkemotoren kjører; crawlbarhet er egenskapen ved nettstedet ditt som gjør denne prosessen enkel eller vanskelig. Det skiller seg også fra indekserbarhet: en side kan være crawlbar, men holdes utenfor indeksen av et noindex-direktiv eller en kanonisk adresse som peker et annet sted.
Lenker og struktur. Crawlere beveger seg fra lenke til lenke. Sider uten interne lenker, såkalte foreldreløse sider, er vanskelige å oppdage. Sider som ligger seks eller sju klikk fra forsiden, crawles sjeldnere. Et tydelig hierarki og god intern lenking er grunnlaget.
Regler for boter. Filen robots.txt kan blokkere hele deler av nettstedet, noen ganger ved en feil. Innloggingsmurer, aggressive brannmurer eller botbeskyttelse kan også stoppe crawlere som er velkomne.
Serverens helse. Trege svar, tidsavbrudd og 5xx-feil får Google til å senke crawlhastigheten for å beskytte serveren din. Lange omdirigeringskjeder og ødelagte lenker sløser med crawlforespørsler.
Rendering. Når innhold og lenker først vises etter at JavaScript har kjørt, må crawlerne rendre siden. Google gjør det, med en viss forsinkelse, men mange KI-crawlere henter bare rå HTML og går glipp av innhold som genereres i nettleseren.
Start med Google Search Console: rapporten for sideindeksering viser URL-er som ikke kunne hentes, og rapporten for crawlstatistikk viser svartider, statuskoder og andelen forespørsler per type bot. Bruk verktøyet for URL-inspeksjon for å se den renderte HTML-koden Google får for en gitt side.
Crawl deretter nettstedet selv med et skrivebordsbasert crawl-verktøy, eller med Sorank sin gratis KI-revisjon av crawlbarhet, for å finne foreldreløse sider, ødelagte lenker, omdirigeringskjeder og sider blokkert av robots.txt. Sammenlign URL-ene crawlingen finner med dem i ditt XML-sitemap: avvik i begge retninger viser strukturelle problemer.
Lenk til hver viktig side fra minst én relevant side, og hold nøkkelsidene innen tre klikk fra forsiden. Publiser et oppdatert XML-sitemap som bare inneholder kanoniske URL-er som kan indekseres. Gå gjennom robots.txt slik at den bare blokkerer det som må holdes ute, for eksempel internt søk eller uendelige kombinasjoner av filtre. Rett opp ødelagte lenker og erstatt omdirigeringskjeder med direkte lenker.
Teknisk sett bør viktig innhold og viktige lenker være med i den første HTML-koden, via server-side rendering eller statisk generering, i stedet for å stole bare på JavaScript i nettleseren. Hold svartidene til serveren lave og overvåk 5xx-feil. For store nettsteder bør du styre crawlbudsjettet ved å redusere URL-er med lav verdi.
Den klassiske feilen er en regel i robots.txt som er igjen fra et utviklingsmiljø og blokkerer hele nettstedet, eller en mappe med CSS- og JavaScript-filer som trengs for rendering. Andre feil er navigasjon bygd bare med JavaScript-klikkhendelser i stedet for ekte lenker med et href-attributt, uendelige URL-parametere fra filtre og sortering, og lenker til omdirigerte eller slettede sider etter en migrering.
For SEO er crawlbarhet en forutsetning: sider som ikke crawles, blir ikke indeksert og kan ikke rangeres, og nytt eller oppdatert innhold bruker lenger tid på å dukke opp. For GEO er det like avgjørende. KI-assistenter er avhengige av egne crawlere og av søkeindekser. GPTBot, ClaudeBot og PerplexityBot må være tillatt i robots.txt, og de må få innhold i ren HTML for å kunne lese det. Vår side om KI-crawlere forklarer i detalj hvilke boter du bør tillate.
Crawlbarhet er hvor enkelt boter kan oppdage og hente sidene dine. Den hviler på tydelige interne lenker, en gjennomtenkt robots.txt, en sunn server og innhold som er tilgjengelig uten tung JavaScript. Den kommer før indeksering, rangering og KI-siteringer, og bør derfor kontrolleres jevnlig.
For å gå videre kan du lese våre sider om crawling og crawlbudsjett. Kilder: Googles oversikt over crawlerne sine og Googles grunnleggende om JavaScript-SEO.
Kilder
Crawlbarhet handler om hvorvidt boter kan nå og hente en side. Indekserbarhet handler om hvorvidt siden, når den er crawlet, har lov til å lagres i indeksen og er vurdert som verdig å lagres der. En side som er blokkert i robots.txt, er ikke crawlbar; en crawlbar side med en noindex-tagg er ikke indekserbar.
De fleste KI-crawlere henter rå HTML og kjører ikke JavaScript slik Googles renderer gjør. Innhold og lenker som bare vises etter rendering i klienten, kan være usynlige for dem. Den sikreste løsningen er å levere viktig innhold i den første HTML-koden.
Sjekk rapportene for crawlstatistikk og sideindeksering i Google Search Console. Økende serverfeil, lange svartider, mange URL-er med status «Oppdaget, foreløpig ikke indeksert» eller viktige sider som mangler i indeksen, er typiske tegn på problemer med crawlbarheten.
DE PRØVDE SORANK FØR DEG
“Jeg testet Sorank på et ekte kundenettsted, og det er helt utrolig. Det gjør alt et byrå ville tatt deg $1500 i måneden for. Nå går det i produksjon på den kunden.”
Guillaume Guersanguersanguillaume.com“Vi er et annonsebyrå, og vi ville få SEO-en vår på rett spor en gang for alle. Sorank ga oss en tydelig oversikt over nettstedet vårt, hjalp oss å prioritere optimaliseringene og å strukturere innholdet vårt på riktig måte. Verktøyet er enkelt å bruke, godt utformet for et team, og veldig praktisk for å samle oppfølgingen på ett sted uten å jonglere med flere plattformer. Et veldig solid grunnlag for å starte på nytt med SEO.”
Gaspard MadouiAnnonsebyrå
“Jeg lot bare Sorank-programvaren gjøre jobben sin, og nå er DR-en min 25, og siden min rangerer høyere.”
Lucas Flandrefoundertrace.fr“Jeg spesialiserte meg på GEO takket være Sorank. GEO-rangeringen lar meg vise kundene mine hvor de står mot konkurrentene på ChatGPT. Det er en reell kommersiell fordel.”
MélanieSEO-frilanser“Kjempebra service, den fungerer godt for nettstedet vårt og hjelper oss å forstå hvordan vi kan forbedre det for å rangere bedre på Google og andre steder. Gratulerer, fortsett slik, jeg anbefaler det.”
Hugo T.Netthandler
