Åtgärda genomsökningsfel: DNS, server, robots.txt, 404, soft 404 och omdirigeringsfel. Hur Googlebot reagerar på varje fel, och en metod i 6 steg.

På den här sidan
Kort sagt
genomsökningsfel är de förfrågningar som en sökmotor eller AI-crawler gör mot din webbplats och som misslyckas: servern svarar inte i tid, DNS svarar inte, robots.txt kan inte hämtas, en omdirigering går i loop eller en sida returnerar en 4xx- eller 5xx-kod. Fel på webbplatsnivå (DNS, server, robots.txt) kan stoppa Googles genomsökning av hela webbplatsen, så åtgärda dem först; fel på URL-nivå (404, soft 404, omdirigeringsfel) spelar bara roll när de drabbar sidor som du vill ha indexerade. Du hittar dem i Search Consoles rapporter Genomsökningsstatistik och Sidindexering, bekräftar dem med en crawler och dina serverloggar, och åtgärdar sedan orsaken och validerar.
Vill du veta mer? Fråga
Snabbquiz
Vem ska åtgärda den tekniska sidan av din webbplats?
Våra råd till dig
Kontrollera själv med gratis Google-verktyg
Search Console listar sidorna som Google inte kan läsa, och PageSpeed Insights testar hastigheten. Många små problem åtgärdas i inställningarna för din webbyggare.
Våra råd till dig
En webbutvecklare
Ditt problem finns i koden eller på servern: en utvecklare som kan SEO är rätt person. Ge dem listan över fel från Search Console.
Våra råd till dig
Ett verktyg för teknisk granskning
Din webbplats har många sidor: en crawler läser alla som Google gör och ger en fullständig lista över fel att åtgärda, sida för sida.
Våra råd till dig
En automatisk granskning, sedan innehåll
Din webbplats fungerar men ger få besökare: tekniska problem är sällan orsaken. Sorank granskar webbplatsen och skriver sedan sidorna som ger trafik.
En crawler fungerar som en mycket tålmodig besökare. Den ber din server om en URL, väntar på svar, läser statuskoden och innehållet och går sedan vidare till länkarna den hittade. Ett genomsökningsfel är varje steg i den kedjan som misslyckas. Besökaren får aldrig en användbar sida.
Definitionen är viktig eftersom många rapporter blandar ihop genomsökningsfel med indexeringsbeslut. "Genomsökt, för närvarande inte indexerad" är inte ett genomsökningsfel: Google hämtade sidan utan problem och valde att inte behålla den. "Utesluten av noindex" är inte heller ett genomsökningsfel: du bad Google att ta bort sidan. Ett genomsökningsfel betyder att själva hämtningen gick fel.
Google delar upp problemen på två nivåer, och det bör du också göra.
Webbplatsfel kontra URL-fel
En butik med 4000 gamla produkt-URL:er som returnerar 404 kan vara helt frisk om produkterna är borta för gott. Samma butik med en robots.txt som returnerar 503 i sex timmar har en verklig nödsituation, även om varje produktsida fungerar. Börja med värden, sedan URL:erna som drar in pengar, sedan resten.
För att åtgärda genomsökningsfel på rätt sätt behöver du veta vad Google faktiskt gör när den stöter på ett. Googles dokumentation om hur HTTP-statuskoder och nätverksfel påverkar Google Sök (Google Search Central) anger reglerna. Så här betyder de i praktiken.
| Svar | Vad Google gör | Är det ett problem? |
|---|---|---|
| 2xx | Skickar innehållet vidare till indexering. Indexering är inte garanterad. | Nej, om inte sidan är tom (soft 404). |
| 301, 308 | Stark signal om att målet är den nya URL:en. | Nej, om det är ett hopp till en 200. |
| 302, 303, 307 | Svag signal: den ursprungliga URL:en tenderar att förbli kanonisk. | Ja, om flytten är permanent. |
| 3xx-kedjor | Följer upp till 10 hopp som standard och ger sedan upp. | Ja: varje hopp slösar en förfrågan, och loopar löses aldrig. |
| 404, 410, andra 4xx (utom 429) | Behandlar innehållet som obefintligt, tar bort indexerade URL:er med tiden och genomsöker dem mer sällan. | Bara om sidan borde finnas. |
| 401, 403 | Samma som andra 4xx. De saktar inte ner genomsökningen. | Ja, om de blockerar Googlebot från offentliga sidor. |
| 429 | Behandlas som en signal om överbelastad server, som en 5xx. | Ja: genomsökningen saktas ner. |
| 5xx | Saktar ner genomsökningen i proportion till felen. URL:er som fortsätter att misslyckas tas bort från indexet. | Ja, alltid. |
Två detaljer får många team att snubbla. För det första minskar 401 och 403 inte genomsökningstakten. Om din server har det tungt hjälper det inte att returnera 403 till Googlebot; Google ber dig i stället att tillfälligt returnera 503 eller 429. För det andra är en 404 inget straff. Det är rätt svar för en sida som är borta.
Googles dokumentation om rapporten Genomsökningsstatistik (Search Console-hjälpen) förklarar regeln. En robots.txt som svarar 200 (även tom) eller 403, 404 eller 410 (ingen fil) är okej. En robots.txt som svarar 429 eller 5xx är ett fel, och då spelar Google säkert.
Vad Google gör när robots.txt fortsätter att misslyckas
Källa: Search Console-hjälpen, rapporten Genomsökningsstatistik
En CDN-regel eller brandvägg som serverar 503 på /robots.txt kan alltså frysa hela din webbplats i ett halvt dygn, även om alla andra URL:er fungerar. Kontrollera den här filen först i varje utredning av genomsökningsfel. Vår guide om statusen "Blockerad av robots.txt" tar upp det motsatta problemet, när filen fungerar men blockerar för mycket.
Googles genomsökningsgränser att komma ihåg
Källor: Google Search Central, HTTP-statuskoder och nätverksfel; Search Console-hjälpen, rapporten Genomsökningsstatistik

Här är hela listan du möter i Search Console och i crawlers, med orsak och åtgärd för var och en. Namnen följer Googles dokumentation om rapporten Sidindexering (Search Console-hjälpen).
Google kunde inte översätta ditt domännamn till en IP-adress, eller så svarade inte DNS-servern. Vanliga orsaker: en utgången domän, ett avbrott hos DNS-leverantören, en felaktig post efter en migrering eller en felkonfigurerad DNSSEC. Kontrollera med en uppslagning utanför ditt nätverk:
dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec
Åtgärd: rätta posterna, sänk TTL före varje migrering och använd en DNS-leverantör med redundans. Om både example.com och www.example.com finns måste båda lösas upp, även om den ena bara omdirigerar.
Servern svarade inte i tid, stängde anslutningen eller svarade med 500, 502, 503 eller 504. Typiska orsaker: en överbelastad databas, en PHP- eller Node-process som kraschar under last, en timeout i en omvänd proxy, en pluginuppdatering eller en brandvägg som begränsar botar. Titta på tidsmönstret: fel vid samma klockslag varje natt pekar ofta på en säkerhetskopiering eller ett cron-jobb.
Åtgärd: läs serverns fellogg vid de tidpunkter Google rapporterar, höj timeouts eller antalet arbetsprocesser, cacha tunga sidor och se till att ditt botskydd släpper igenom verifierad Googlebot. Vid planerat underhåll, returnera 503 med en Retry-After-header i stället för en 200-sida som säger "tillbaka snart":
HTTP/1.1 503 Service Unavailable
Retry-After: 3600
Sidan finns inte. Det är okej när den raderades med avsikt och inget länkar till den. Det är ett problem när URL:en fortfarande har bakåtlänkar, trafik eller interna länkar, eller när sidan borde finnas och en driftsättning förstörde den.
Åtgärd: om innehållet flyttades, lägg till en enda 301 till den närmaste motsvarigheten. Om det är borta för gott, behåll 404 eller använd 410, och ta bort de interna länkar och sitemapposter som pekar dit. Omdirigera aldrig alla 404 till startsidan: Google tenderar att behandla dem som soft 404.
Servern säger 200 men sidan ser tom ut eller säger "hittades inte": en tom kategori, en söksida utan resultat, en slutsåld produkt utan innehåll. Google lägger en förfrågan på den och får ingenting. Vi går igenom detta på djupet i vår guide om soft 404-fel.
Googlebot skickar aldrig inloggningsuppgifter, så en 401 eller 403 på en offentlig sida betyder att din server eller ett säkerhetslager blockerar den. Vanliga bovar: ett lösenord från testmiljön som lämnats kvar i produktion, en WAF-regel, en landsblockering eller ett hotlink-skydd som tillämpas på HTML. Åtgärda regeln, inte symptomet, och testa med verktyget för URL-inspektion i Search Console.
Google rapporterar ett omdirigeringsfel när den stöter på en loop, en för lång kedja, en URL som överskrider maxlängden eller en felaktig eller tom URL i kedjan. Det klassiska fallet efter en migrering: http till https, sedan till www, sedan till ett avslutande snedstreck, sedan till en ny sökväg. Fyra hopp där ett hade räckt. Vår kompletta guide om omdirigeringar för SEO förklarar hur du slår ihop dem.
Tips
Klistra in en misstänkt URL i den kostnadsfria omdirigeringskontrollen från Sorank: den följer hela kedjan, visar varje hopp och dess statuskod och berättar var loopen eller det extra hoppet finns.
Vissa fel visar aldrig någon statuskod. Sidan börjar laddas och stannar, eller så är den så tung att crawlern bara läser en del av den. Googles crawlers läser ett begränsat antal byte per fil, så en sida som är uppblåst av inbäddade skript eller base64-bilder kan förlora innehållet längst ner. Kontrollera tunga mallar med verktyget för sidstorlek.
Inget enskilt verktyg visar alla genomsökningsfel. Varje metod ser problemet från en annan vinkel, och en seriös granskning kombinerar minst två.
Princip: Google visar sina egna genomsökningsförfrågningar under de senaste 90 dagarna, grupperade efter svar, filtyp, syfte och typ av Googlebot, samt värdstatus för DNS, server och robots.txt. När den ska användas: alltid, och först, för webbplatsfel. Fördelar: det är sanningen direkt från Google. Begränsningar: bara för egendomar på rotnivå, exempel i urval, och Google säger att webbplatser under tusen sidor sällan behöver den. Exempel: en topp av svar med "sidtimeout" varje söndag kl. 3 som sammanfaller med en databassäkerhetskopiering.

Princip: listar URL:er som Google känner till och varför de inte är indexerade, med orsaker som Serverfel (5xx), Omdirigeringsfel, Hittades inte (404) eller Soft 404. När den ska användas: för att sortera URL-fel och validera åtgärder. Fördelar: kopplad till de sidor Google faktiskt försökte hämta. Begränsningar: rapporterna släpar efter med flera dagar, exempellistorna är begränsade och den blandar genomsökningsfel med indexeringsval. Exempel: 300 URL:er under "Omdirigeringsfel" som alla delar samma gamla prefix /blog/.
Princip: ett verktyg som Screaming Frog genomsöker din webbplats som en bot skulle göra, följer länkar från startsidan och loggar varje statuskod, omdirigeringskedja och trasig länk. När den ska användas: före och efter en migrering, en omdesign eller en stor driftsättning, och varje månad på stora webbplatser. Fördelar: omedelbar, komplett för länkade sidor, visar var varje trasig länk sitter. Begränsningar: den vet inte vad Google faktiskt begärde, missar föräldralösa sidor och din server kan behandla den annorlunda än Googlebot. Vår guide för att konfigurera Screaming Frog går igenom en fullständig granskning.

Princip: dina åtkomstloggar registrerar varje förfrågan, även de från Googlebot, Bingbot, GPTBot, ClaudeBot och PerplexityBot, med exakt statuskod och svarstid. När den ska användas: på stora webbplatser, efter oförklarade trafikfall och för att se vad AI-crawlers besöker. Fördelar: riktiga förfrågningar, riktiga koder, inget urval, alla botar. Begränsningar: kräver åtkomst till loggarna och lite skriptande; du måste verifiera att "Googlebot" verkligen är Google. Vår guide om logganalys för SEO går steg för steg. En snabb första titt:
# Googlebot-förfrågningar som inte returnerade 200, 301 eller 304, vanligast först
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50
Princip: testa en URL i taget med curl eller en kostnadsfri onlinekontroll. När den ska användas: för att bekräfta en åtgärd eller kontrollera en viktig sida efter en driftsättning. Fördelar: omedelbar och exakt. Begränsningar: skalar inte. Använd en Googlebot-användaragent för att fånga regler som behandlar botar annorlunda:
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
| Metod | Ser webbplatsfel | Ser URL-fel | Riktiga Googlebot-data | Ser AI-crawlers | Bäst för |
|---|---|---|---|---|---|
| Genomsökningsstatistik | Ja | I urval | Ja | Nej | Värdens hälsa |
| Sidindexering | Delvis | Ja | Ja | Nej | Sortering och validering |
| Crawler (Screaming Frog...) | Nej | Ja, länkade sidor | Nej | Nej | Hitta trasiga länkar vid källan |
| Serverloggar | Delvis | Ja | Ja | Ja | Stora webbplatser, grundorsaker |
| Kontroll av enskild URL | Nej | En i taget | Nej | Nej | Bekräfta åtgärder |
En 5xx-status betyder att servern inte kunde hantera en förfrågan som såg giltig ut. Google sänker sin genomsökning som svar, och sänker den mer när fler av dina URL:er ger fel. Google behåller redan indexerade URL:er en tid, men tar bort de som ger ett serverfel under lång tid. Ett kort utbrott går att återhämta sig från, eftersom Google gradvis höjer genomsökningstakten igen när din server svarar med 2xx-koder. Ett långt sammanhängande fel är det som skadar ditt index.
Varje 5xx-kod pekar på en annan del av stacken. Tabellen ger dig ett första ställe att titta på för var och en.
| Kod | Vad det oftast betyder | Titta på först |
|---|---|---|
| 500 | Applikationen föll när den hanterade förfrågan | Applikationens felogg vid exakt den tidpunkt då förfrågan kom |
| 502 | Proxyn eller CDN:en fick ett ogiltigt svar från applikationen, ofta för att den kraschade eller startade om | Omstarter och drifttid för applikationsprocessen |
| 503 | Tjänsten är överbelastad, begränsad av hastighetsgränser eller under underhåll | Belastningsgrafer, driftsättningshistorik och underhållsfönster |
| 504 | Proxyn gav upp och väntade inte längre på applikationen | Långsamma databasfrågor och timeout-inställningar i proxyn |
| 429 | En hastighetsbegränsare säger att det kommer för många förfrågningar | Regler för hastighetsbegränsning, och om de gäller verifierad Googlebot |
Genomsökningsstatistiken visar de dagar och timmar när Google stötte på fel (vår guide till genomsökningsstatistik förklarar varje graf). Din serverlogg visar vad som hände just då. Filtrera förfrågningarna från Googlebot och räkna 5xx-svaren per timme:
grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c
Varje rad i utdatan är en timme, en statuskod och ett antal. Ett kluster under samma timme varje natt pekar oftast på en backup, ett cron-jobb eller en schemalagd import. Fel som sprids över hela dygnet pekar oftare på belastning, så lösningen är kapacitet eller cachning snarare än en enskild bugg. För en djupare metod, se vår guide till analys av serverloggar.
Google minskar genomsökningen i proportion till antalet URL:er som ger fel. En trasig mall som påverkar några få URL:er kostar lite genomsökningstid. Ett databasavbrott som slår ut varje sida kostar mycket, och det är den du ska åtgärda först.
Ett 429-svar har samma effekt som ett 5xx, eftersom Google läser det som en överbelastad server. Om din hastighetsbegränsare eller ditt botskydd returnerar 429 till Googlebot betalar du för det i genomsökningstid. Googles dokumentation nämner inte rubriken Retry-After. Fortsätt skicka den till mänskliga besökare och API-klienter, men förlita dig inte på att Googlebot väntar så länge som du angett.
En 4xx-status betyder att servern avvisade förfrågan på grund av något på klientsidan: URL:en finns inte, åtkomst är förbjuden eller adressen är felaktigt utformad. Google behandlar alla 4xx-koder utom 429 likadant. Google slutar använda innehållet bakom URL:en och tar bort URL:en från indexet om den var indexerad. Innan du rör en 4xx-kod, ta reda på varifrån förfrågan kommer, eftersom åtgärden ofta sitter på ett enda ställe: en länk, en mall eller en omdirigeringsregel.
Din åtkomstlogg registrerar hänvisaren för varje förfrågan, vilket visar vilken sida som skickade besökaren eller boten till den URL:en. Räkna 4xx-svaren per sökväg och per hänvisare:
awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20
Läs hänvisarkolumnen så här:
En release som byter namn på en rutt, ändrar en slug eller bygger om en mall ger ofta en våg av 404-fel samma dag. Exportera antalet 4xx-svar per dag för veckan före driftsättningen och veckan efter. Ett hopp som samlas i en enda mapp pekar rakt på ändringen. Lägg till omdirigeringen från den gamla URL:en till den nya i samma release, inte i ett senare ärende. För en fullständig flytt, se vår checklista för SEO-migrering.
Tips
Ersätt inte en saknad sida med ett 200-svar som visar ett kort meddelande eller en tom lista. Google kan behandla den som en soft 404, vilket kostar en full hämtning och inte ger något tillbaka.
Det här är metoden vi använder. Den går från felen som kan stoppa hela webbplatsen till dem som bara slösar lite genomsökning.
Metoden i 6 steg för genomsökningsfel
I Search Console, öppna Inställningar, sedan Genomsökningsstatistik, sedan Värdstatus. Grönt betyder inget betydande problem på 90 dagar. "Nyligt problem" betyder ett betydande problem den senaste veckan: släpp allt annat. Klicka på varje kategori för att se felfrekvensen per dag och matcha sedan de dåliga dagarna med din hosting-, CDN- och driftsättningshistorik.
Öppna Indexering, sedan Sidor, och exportera varje felorsak. Åtgärda inte URL:er en och en. Lägg dem i ett kalkylark och extrahera den första mappen:
=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")
En pivottabell på den kolumnen visar oftast att de flesta fel kommer från två eller tre mallar: en nedlagd bloggkategori, en filterparameter, ett gammalt produktflöde.
Ställ fyra frågor för varje mönster. Får den organiska klick? Har den bakåtlänkar? Länkas den internt? Finns den i sitemapen? En 404 utan något av de fyra kan vänta för evigt. En 404 med bakåtlänkar behöver en 301 i dag. Den kostnadsfria kontrollen av trasiga länkar visar vilka av dina egna sidor som fortfarande länkar till döda URL:er.
Åtgärda regler, inte URL:er. En omdirigeringskarta i serverkonfigurationen slår 400 omdirigeringar som lagts in för hand i ett plugin. Till exempel i nginx:
map $request_uri $new_uri {
/old-blog/seo-tips/ /blog-geo-seo/seo-best-practices/;
/old-blog/sitemaps/ /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
if ($new_uri) { return 301 $new_uri; }
}
För 5xx, åtgärda kapaciteten eller buggen. För 401 och 403, åtgärda säkerhetsregeln. För soft 404, lägg antingen till riktigt innehåll eller returnera en riktig 404.
Varje intern länk bör peka direkt på en URL som returnerar 200. Varje post i sitemapen bör vara en kanonisk, indexerbar 200-URL. En sitemap full av omdirigeringar och 404 lär Google att lita mindre på den. Vår guide om hur du skapar en sitemap förklarar vad som hör hemma där.
I rapporten Sidindexering, öppna den åtgärdade orsaken och klicka på Validera åtgärd. Google kontrollerar först ett urval och sedan resten; det tar vanligtvis upp till ungefär två veckor, och valideringen stoppas om en enda URL fortfarande misslyckas. Klicka inte igen medan den pågår. Inför sedan en veckorutin: Genomsökningsstatistik för värden, loggar för toppar, en genomsökning efter varje driftsättning.
En omdirigeringskedja före och efter åtgärden
Vad det är: ett plugin eller en regel som skickar varje saknad URL till /. Hur du upptäcker det: många URL:er under "Soft 404" eller "Sida med omdirigering" som alla hamnar på startsidan; en crawler visar hundratals 301 med samma mål. Hur du rättar det: omdirigera bara till en nära motsvarighet och låt resten returnera 404 eller 410.
Vad det är: en WAF, bothanterare eller hastighetsbegränsare som serverar 403, 429 eller en utmaningssida till Google. Hur du upptäcker det: 403 eller 429 i Genomsökningsstatistik, medan sidan laddas fint i din webbläsare; loggarna visar blockeringarna per IP. Hur du rättar det: tillåt verifierad Googlebot via omvänd DNS eller Googles publicerade IP-intervall, i stället för att lita på användaragentsträngen.
Vad det är: robots.txt genereras av applikationen, så den misslyckas varje gång applikationen gör det, eller serveras via en CDN-regel som cachar en 5xx. Hur du upptäcker det: kategorin för hämtning av robots.txt i Värdstatus är inte grön. Hur du rättar det: servera den som en statisk fil, utanför applikationen, och testa den med robots.txt-kontrollen.
Vad det är: en sida "Vi är snart tillbaka" som serveras med status 200 på alla URL:er. Hur du upptäcker det: efter underhållet, en våg av soft 404 eller dubblerade titlar. Hur du rättar det: returnera 503 med Retry-After under underhållet, och håll det kort.
Vad det är: svara 403 till Googlebot när servern är överbelastad. Hur du upptäcker det: toppar av 403 som sammanfaller med lasttoppar. Hur du rättar det: Google säger att andra 4xx-koder än 429 inte påverkar genomsökningstakten. Returnera 503 eller 429 en kort stund och åtgärda kapaciteten.
Vad det är: klicka igenom listan i Search Console och redigera varje URL. Hur du upptäcker det: samma orsak kommer tillbaka varje månad. Hur du rättar det: gruppera efter mönster, åtgärda mallen eller regeln och validera sedan en gång.
Vad det är: lägga dagar på 404 för skräp-URL:er eller sidor som raderades för länge sedan och saknar länkar. Hur du upptäcker det: URL:erna har inga klick, inga bakåtlänkar och inga interna länkar. Hur du rättar det: låt dem vara. Google säger att en 404 för en borttagen sida inte nödvändigtvis är ett problem.
Varning
Blockera aldrig en URL i robots.txt för att "dölja" ett genomsökningsfel. Google kan inte längre se 404:an eller omdirigeringen, URL:en kan förbli indexerad och du förlorar den signal du försökte skicka.
På en webbplats med några hundra sidor har Google tid för allt, och genomsökningsfel spelar främst roll för de sidor de förstör. På stora webbplatser (butiker med filter, marknadsplatser, nyhetssajter) tar varje misslyckad eller slösad förfrågan tid från dina riktiga sidor. Det är idén bakom genomsökningsbudget.
5xx och 429 får Google att sakta ner på hela värden, så några trasiga mallar kan fördröja genomsökningen av dina nya produktsidor. Omdirigeringskedjor kostar en förfrågan per hopp. Soft 404 kostar en hel hämtning och ger ingenting tillbaka. Åtgärda de tre så räcker samma budget till fler användbara sidor.
När Google hittar URL:er men skjuter upp genomsökningen är orsaken ofta en server som Google anser vara ömtålig. Om du ser ett växande antal "Upptäckt, för närvarande inte indexerad" samtidigt som serverfel i Genomsökningsstatistik, åtgärda servern först. De två rapporterna berättar samma historia.
Googlebot är inte längre den enda besökaren som spelar roll. GPTBot, OAI-SearchBot, ClaudeBot och PerplexityBot hämtar sidor för att träna modeller eller svara på frågor i realtid. De träffar samma server och lider av samma fel, med en skillnad: du har ingen Search Console för dem.
De flesta AI-crawlers kör inte JavaScript, så en sida som bara bygger sitt innehåll i webbläsaren kan se tom ut för dem, en sorts soft 404 som du aldrig kommer att se i Googles rapporter. Många blockeras som standard av botskyddstjänster, ofta med en 403. Och eftersom de hämtar på begäran när en användare ställer en fråga betyder en timeout i det ögonblicket att svaret citerar någon annan. Vår guide om JavaScript och SEO tar upp rendering för både sök- och AI-crawlers.
Dina serverloggar är den enda pålitliga källan. Filtrera på användaragent och titta på statuskoderna:
grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
Om AI-botar får 403 som du inte avsåg, åtgärda regeln. Kontrollera sedan om de faktiskt citerar dig: Soranks bevakning av AI-omnämnanden följer hur ofta ChatGPT, Gemini, Claude och Perplexity nämner ditt varumärke, så att du ser om en genomsökningsåtgärd ändrar något.
Gå igenom listan efter varje migrering, omdesign eller större driftsättning, och en gång i månaden på stora webbplatser.
Checklista för genomsökningshälsa
Öppna Genomsökningsstatistik och kontrollera de tre raderna för värdstatus. Kör sedan den kostnadsfria indexerbarhetskontrollen på dina fem mest värdefulla sidor. Om båda är rena, exportera felen i Sidindexering och gruppera dem efter mapp: då har du en kort, rangordnad åtgärdslista i stället för en skrämmande rapport.
När genomsökningen är ren är nästa gräns själva innehållet. Soranks innehållsoptimering skriver om och uppdaterar dina befintliga sidor på autopilot, så att de sidor Google nu kan nå är värda att indexera och citera. För de sidor Google genomsökte men lämnade utanför, läs vår guide om "Genomsökt, för närvarande inte indexerad".
Genomsökningsfel är förfrågningar från en sökmotor eller AI-crawler som misslyckas: DNS löses inte upp, servern får timeout eller returnerar 5xx, robots.txt kan inte hämtas, en omdirigering går i loop eller en sida returnerar en 4xx-kod. Fel på webbplatsnivå kan pausa genomsökningen av hela webbplatsen, medan URL-fel bara påverkar den berörda sidan.
Inte i sig. Google säger att en 404 för en sida som tagits bort utan ersättning inte nödvändigtvis är ett problem. Det blir ett när URL:en fortfarande har bakåtlänkar, trafik eller interna länkar, och då är en enda 301 till en nära motsvarighet rätt åtgärd.
När du har klickat på Validera åtgärd i rapporten Sidindexering i Search Console tar valideringen vanligtvis upp till ungefär två veckor. Google kontrollerar först ett urval av URL:er och sedan resten, och valideringen stoppas om en enda berörd URL fortfarande misslyckas.
