Feltérképezési hibák javítása: DNS, szerver, robots.txt, 404, soft 404 és átirányítási hibák. Így reagál a Googlebot, és egy 6 lépéses módszer a javításhoz.

Ezen az oldalon
Röviden
a feltérképezési hibák azok a kérések, amelyeket egy keresőmotor vagy AI-crawler küld a webhelyedre, és amelyek nem sikerülnek: a szerver nem válaszol időben, a DNS nem felel, a robots.txt nem tölthető le, egy átirányítás körbe fut, vagy egy oldal 4xx vagy 5xx kódot ad vissza. A webhelyszintű hibák (DNS, szerver, robots.txt) leállíthatják a Google feltérképezését az egész webhelyen, ezért ezeket javítsd először; az URL-szintű hibák (404, soft 404, átirányítási hibák) csak akkor számítanak, ha olyan oldalakat érintenek, amelyeket indexelni szeretnél. A Search Console Feltérképezési statisztikák és Oldalindexelés jelentésében találod meg őket, egy crawlerrel és a szervernaplóiddal igazolod, majd kijavítod az okot és érvényesíted a javítást.
Szeretnél többet megtudni? Kérdezd meg
Gyors kvíz
Ki javítsa a weboldalad technikai oldalát?
Javaslatunk neked
módszer: Search Console, Feltérképezési statisztikák jelentés a számodra megfelelő megoldás
A rangsor 1. helyén áll, a válaszaidra leginkább illő megoldás.
Javaslatunk neked
módszer: Search Console, Oldalindexelés jelentés és URL-ellenőrzés a számodra megfelelő megoldás
A rangsor 2. helyén áll, a válaszaidra leginkább illő megoldás.
Javaslatunk neked
módszer: Asztali vagy felhőalapú crawler a számodra megfelelő megoldás
A rangsor 3. helyén áll, a válaszaidra leginkább illő megoldás.
Javaslatunk neked
módszer: Szervernaplók elemzése a számodra megfelelő megoldás
A rangsor 4. helyén áll, a válaszaidra leginkább illő megoldás.
A crawler úgy működik, mint egy nagyon türelmes látogató. Lekér egy URL-t a szerveredtől, vár a válaszra, elolvassa az állapotkódot és a tartalmat, majd továbblép a talált linkekre. Feltérképezési hiba ennek a láncnak bármely lépése, amely nem sikerül. A látogató így soha nem kap használható oldalt.
A meghatározás azért fontos, mert sok jelentés összekeveri a feltérképezési hibákat az indexelési döntésekkel. A "Feltérképezve, jelenleg nincs indexelve" nem feltérképezési hiba: a Google gond nélkül letöltötte az oldalt, és úgy döntött, hogy nem tartja meg. A "Noindex címke miatt kizárva" sem feltérképezési hiba: te kérted a Google-t, hogy hagyja ki az oldalt. Feltérképezési hiba akkor van, ha maga a letöltés hiúsul meg.
A Google két szintre osztja a problémákat, és neked is érdemes így tenned.
Webhelyhibák és URL-hibák
Egy webáruház 4000 régi, 404-et visszaadó termék-URL-lel teljesen egészséges lehet, ha a termékek végleg megszűntek. Ugyanez a webáruház egy hat órán át 503-at visszaadó robots.txt-vel valódi vészhelyzetben van, még akkor is, ha minden termékoldal működik. Kezdd a gazdagéppel, aztán a pénzt hozó URL-ekkel, aztán a többivel.
A feltérképezési hibák jó javításához tudnod kell, mit csinál valójában a Google, amikor egybe beleütközik. A Google dokumentációja arról, hogy hogyan hatnak a HTTP-állapotkódok és a hálózati hibák a Google Keresőre (Google Search Central), megadja a szabályokat. Íme, mit jelentenek a gyakorlatban.
| Válasz | Mit csinál a Google | Probléma? |
|---|---|---|
| 2xx | Továbbadja a tartalmat indexelésre. Az indexelés nem garantált. | Nem, hacsak az oldal nem üres (soft 404). |
| 301, 308 | Erős jelzés, hogy a cél az új URL. | Nem, ha egyetlen ugrás egy 200-as oldalra. |
| 302, 303, 307 | Gyenge jelzés: az eredeti URL általában kanonikus marad. | Igen, ha az áthelyezés végleges. |
| 3xx-láncok | Alapértelmezés szerint legfeljebb 10 ugrást követ, aztán feladja. | Igen: minden ugrás elpazarol egy kérést, a hurkok pedig soha nem oldódnak fel. |
| 404, 410, egyéb 4xx (a 429 kivételével) | Nem létezőnek tekinti a tartalmat, idővel eltávolítja az indexelt URL-eket, és ritkábban térképezi fel őket. | Csak ha az oldalnak léteznie kellene. |
| 401, 403 | Ugyanúgy kezeli, mint a többi 4xx-et. Nem lassítják a feltérképezést. | Igen, ha nyilvános oldalakon blokkolják a Googlebotot. |
| 429 | Szervertúlterhelési jelzésként kezeli, mint egy 5xx-et. | Igen: a feltérképezés lelassul. |
| 5xx | A hibák arányában lassítja a feltérképezést. A tartósan hibás URL-ek kikerülnek az indexből. | Igen, mindig. |
Két részlet sok csapatot megtréfál. Először: a 401 és a 403 nem csökkenti a feltérképezési sebességet. Ha a szervered küszködik, nem segít, ha 403-at adsz vissza a Googlebotnak; a Google ehelyett azt kéri, hogy átmenetileg 503-at vagy 429-et adj vissza. Másodszor: a 404 nem büntetés. Ez a helyes válasz egy megszűnt oldalra.
A Google Feltérképezési statisztikák jelentésről szóló dokumentációja (Search Console Súgó) elmagyarázza a szabályt. Rendben van az a robots.txt, amely 200-zal (akár üresen) vagy 403-mal, 404-gyel, illetve 410-zel (nincs fájl) válaszol. A 429-cel vagy 5xx-szel válaszoló robots.txt hiba, és ilyenkor a Google az óvatos utat választja.
Mit csinál a Google, ha a robots.txt tartósan hibás
Forrás: Search Console Súgó, Feltérképezési statisztikák jelentés
Egy CDN-szabály vagy tűzfal, amely 503-at szolgál ki a /robots.txt címen, tehát fél napra befagyaszthatja az egész webhelyedet, még akkor is, ha minden más URL működik. Bármilyen feltérképezési hiba vizsgálatánál ezt a fájlt ellenőrizd először. A "Robots.txt által letiltva" állapotról szóló útmutatónk az ellenkező problémával foglalkozik, amikor a fájl működik, de túl sokat tilt le.
A Google feltérképezési korlátai, amelyeket érdemes megjegyezni
Források: Google Search Central, HTTP-állapotkódok és hálózati hibák; Search Console Súgó, Feltérképezési statisztikák jelentés

Íme a teljes lista, amellyel a Search Console-ban és a crawlerekben találkozol, mindegyiknél az okkal és a javítással. A nevek a Google Oldalindexelés jelentésről szóló dokumentációját (Search Console Súgó) követik.
A Google nem tudta IP-címre fordítani a domainnevedet, vagy a DNS-szerver nem válaszolt. Gyakori okok: lejárt domain, a DNS-szolgáltató kiesése, hibás rekord egy migráció után vagy rosszul beállított DNSSEC. Ellenőrizd a hálózatodon kívülről indított lekérdezéssel:
dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec
Javítás: javítsd ki a rekordokat, minden migráció előtt csökkentsd a TTL-t, és használj redundáns DNS-szolgáltatót. Ha az example.com és a www.example.com is létezik, mindkettőnek fel kell oldódnia, még ha az egyik csak átirányít is.
A szerver nem válaszolt időben, bontotta a kapcsolatot, vagy 500, 502, 503 vagy 504 kóddal válaszolt. Tipikus okok: túlterhelt adatbázis, terhelés alatt összeomló PHP- vagy Node-folyamat, egy fordított proxy időtúllépése, egy bővítmény frissítése vagy a botokat korlátozó tűzfal. Figyeld az időbeli mintázatot: ha minden éjjel ugyanabban az órában jelentkeznek hibák, az gyakran biztonsági mentésre vagy cron-feladatra utal.
Javítás: olvasd el a szerver hibanaplóját a Google által jelzett időpontokban, növeld az időkorlátokat vagy a munkafolyamatok számát, gyorsítótárazd a nehéz oldalakat, és gondoskodj róla, hogy a botvédelem átengedje az ellenőrzött Googlebotot. Tervezett karbantartásnál 503-at adj vissza Retry-After fejléccel, ne egy "hamarosan visszatérünk" feliratú 200-as oldalt:
HTTP/1.1 503 Service Unavailable
Retry-After: 3600
Az oldal nem létezik. Ez rendben van, ha szándékosan törölted, és semmi sem hivatkozik rá. Probléma akkor, ha az URL-nek még vannak visszamutató linkjei, forgalma vagy belső linkjei, vagy ha az oldalnak léteznie kellene, de egy telepítés elrontotta.
Javítás: ha a tartalom áthelyeződött, tegyél egyetlen 301-et a legközelebbi megfelelőre. Ha végleg megszűnt, hagyd meg a 404-et vagy használj 410-et, és töröld a rá mutató belső linkeket és oldaltérkép-bejegyzéseket. Soha ne irányíts át minden 404-et a kezdőlapra: a Google ezeket általában soft 404-ként kezeli.
A szerver 200-at mond, de az oldal üresnek tűnik, vagy azt írja, "nem található": üres kategória, találat nélküli keresőoldal, készleten nem lévő, tartalom nélküli termék. A Google elhasznál rá egy kérést, és semmit nem kap. Erről részletesen írunk a soft 404 hibákról szóló útmutatónkban.
A Googlebot soha nem küld bejelentkezési adatokat, így egy nyilvános oldalon megjelenő 401 vagy 403 azt jelenti, hogy a szervered vagy egy biztonsági réteg blokkolja. Gyakori bűnösök: éles környezetben felejtett tesztkörnyezeti jelszó, egy WAF-szabály, országalapú tiltás vagy HTML-re alkalmazott hotlink-védelem. A szabályt javítsd, ne a tünetet, és teszteld a Search Console URL-ellenőrzés eszközével.
A Google átirányítási hibát jelez, ha hurokba, túl hosszú láncba, a maximális hosszt meghaladó URL-be, vagy a láncban hibás vagy üres URL-be ütközik. A klasszikus eset egy migráció után: http-ről https-re, aztán www-re, aztán záró perjelre, aztán egy új útvonalra. Négy ugrás ott, ahol egy is elég lenne. Az SEO-átirányításokról szóló teljes útmutatónk elmagyarázza, hogyan vond össze őket.
Tipp
Illeszd be a gyanús URL-t a Sorank ingyenes átirányítás-ellenőrzőjébe: végigköveti a teljes láncot, megmutatja az összes ugrást és azok állapotkódját, és megmondja, hol van a hurok vagy a felesleges ugrás.
Egyes hibák soha nem mutatnak állapotkódot. Az oldal elkezd betöltődni, aztán megáll, vagy olyan nehéz, hogy a crawler csak egy részét olvassa el. A Google crawlerei fájlonként korlátozott számú bájtot olvasnak, így a beágyazott szkriptekkel vagy base64-képekkel felfújt oldal elveszítheti az alján lévő tartalmat. A nehéz sablonokat az oldalméret-ellenőrzővel vizsgáld meg.
Egyetlen eszköz sem mutat meg minden feltérképezési hibát. Minden módszer más szögből látja a problémát, és egy komoly audit legalább kettőt kombinál.
Elv: a Google a saját feltérképezési kéréseit mutatja az elmúlt 90 napból, válasz, fájltípus, cél és Googlebot-típus szerint csoportosítva, valamint a gazdagép állapotát a DNS, a szerver és a robots.txt szempontjából. Mikor használd: mindig, és elsőként a webhelyhibákhoz. Előnyök: ez maga a Google-től származó igazság. Korlátok: csak gyökérszintű tulajdonokhoz érhető el, a példák mintavételezettek, és a Google szerint az ezer oldalnál kisebb webhelyeknek ritkán van rá szükségük. Példa: "oldal időtúllépése" válaszok csúcsa minden vasárnap hajnali 3-kor, egybeesve egy adatbázis-mentéssel.

Elv: felsorolja a Google által ismert URL-eket és azt, hogy miért nincsenek indexelve, olyan okokkal, mint a Szerverhiba (5xx), Átirányítási hiba, Nem található (404) vagy Soft 404. Mikor használd: az URL-hibák rangsorolására és a javítások érvényesítésére. Előnyök: azokhoz az oldalakhoz kötődik, amelyeket a Google ténylegesen megpróbált letölteni. Korlátok: a jelentések napokkal késnek, a példalisták korlátozottak, és összekeveri a feltérképezési hibákat az indexelési döntésekkel. Példa: 300 URL az "Átirányítási hiba" alatt, mind ugyanazzal a régi /blog/ előtaggal.
Elv: egy olyan eszköz, mint a Screaming Frog, úgy térképezi fel a webhelyedet, ahogy egy bot tenné: a kezdőlaptól követi a linkeket, és naplóz minden állapotkódot, átirányítási láncot és hibás linket. Mikor használd: migráció, újratervezés vagy nagy telepítés előtt és után, nagy webhelyeken pedig havonta. Előnyök: azonnali, a hivatkozott oldalakra teljes körű, és megmutatja, hol van az egyes hibás linkek forrása. Korlátok: nem tudja, mit kért le valójában a Google, kihagyja az árva oldalakat, és a szervered másként kezelheti, mint a Googlebotot. A Screaming Frog beállításáról szóló útmutatónk egy teljes auditot vezet végig.

Elv: a hozzáférési naplóid minden kérést rögzítenek, a Googlebot, a Bingbot, a GPTBot, a ClaudeBot és a PerplexityBot kéréseit is, pontos állapotkóddal és válaszidővel. Mikor használd: nagy webhelyeken, megmagyarázhatatlan forgalomcsökkenés után, és hogy lásd, mit látogatnak az AI-crawlerek. Előnyök: valódi kérések, valódi kódok, nincs mintavételezés, minden bot látszik. Korlátok: hozzáférés kell a naplókhoz és némi szkriptelés; ellenőrizned kell, hogy a "Googlebot" valóban a Google. A SEO-célú naplóelemzésről szóló útmutatónk lépésről lépésre halad. Egy gyors első pillantás:
# Googlebot-kérések, amelyek nem 200, 301 vagy 304 kódot adtak, a leggyakoribb elöl
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50
Elv: egyszerre egy URL-t tesztelsz curllal vagy egy ingyenes online ellenőrzővel. Mikor használd: egy javítás megerősítésére vagy egy fontos oldal ellenőrzésére telepítés után. Előnyök: azonnali és pontos. Korlátok: nem skálázható. Használj Googlebot felhasználói ügynököt, hogy elkapd a botokat másként kezelő szabályokat:
curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
| Módszer | Látja a webhelyhibákat | Látja az URL-hibákat | Valódi Googlebot-adatok | Látja az AI-crawlereket | Mire a legjobb |
|---|---|---|---|---|---|
| Feltérképezési statisztikák | Igen | Mintavételezve | Igen | Nem | A gazdagép állapota |
| Oldalindexelés | Részben | Igen | Igen | Nem | Rangsorolás és érvényesítés |
| Crawler (Screaming Frog...) | Nem | Igen, hivatkozott oldalak | Nem | Nem | Hibás linkek megtalálása a forrásnál |
| Szervernaplók | Részben | Igen | Igen | Igen | Nagy webhelyek, kiváltó okok |
| Egyedi URL-ellenőrzés | Nem | Egyszerre egy | Nem | Nem | Javítások megerősítése |
Az 5xx állapot azt jelenti, hogy a szerver nem tudta kezelni az érvényesnek tűnő kérést. A Google ennek hatására lassítja a feltérképezést, és többet lassít, ha több URL-ed ad hibát. Egy ideig megtartja a már indexelt URL-eket, de eltávolítja azokat, amelyek tartósan szerverhibával válaszolnak. Egy rövid kiesésből lehet talpra állni, mert a Google fokozatosan újra növeli a feltérképezési sebességet, amint a szervered 2xx kódokkal válaszol. A hosszú, folyamatos hibasorozat az, ami károsítja az indexedet.
Minden 5xx kód a verem egy másik részére mutat. A táblázat minden kódhoz megad egy első helyet, ahol érdemes kezdeni.
| Kód | Mit jelent általában | Először ezt nézd |
|---|---|---|
| 500 | Az alkalmazás hibát dobott a kérés kezelése közben | Az alkalmazás hibanaplója a kérés pontos idejénél |
| 502 | A proxy vagy a CDN érvénytelen választ kapott az alkalmazástól, gyakran mert az összeomlott vagy újraindult | Az alkalmazásfolyamat újraindulásai és üzemideje |
| 503 | A szolgáltatás túlterhelt, sebességkorlátozott vagy karbantartás alatt áll | Terhelési grafikonok, telepítési előzmények és karbantartási ablakok |
| 504 | A proxy feladta a várakozást az alkalmazásra | Lassú adatbázis-lekérdezések és a proxy időtúllépési beállításai |
| 429 | Egy sebességkorlátozó szerint túl sok a kérés | Sebességkorlátozási szabályok, és hogy vonatkoznak-e az ellenőrzött Googlebotra |
A Feltérképezési statisztikák megmutatja azokat a napokat és órákat, amikor a Google hibákba ütközött (a Feltérképezési statisztikákról szóló útmutatónk minden grafikont elmagyaráz). A szervernaplód megmutatja, mi történt pontosan abban a pillanatban. Szűrd a Googlebot-kéréseket, és számold az 5xx-válaszokat óránként:
grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c
A kimenet minden sora egy óra, egy állapotkód és egy darabszám. Egy fürt, amely minden éjjel ugyanabban az órában jelentkezik, általában biztonsági mentésre, cron-feladatra vagy ütemezett importra utal. Az egész napra szétszóródó hibák inkább terhelésre utalnak, így a megoldás a kapacitás vagy a gyorsítótárazás, nem egyetlen hiba javítása. Mélyebb módszerért lásd a naplófájl-elemzési útmutatónkat.
A Google a hibát adó URL-ek számával arányosan csökkenti a feltérképezést. Egy több URL-t érintő törött sablon kevés feltérképezési időbe kerül. Egy adatbázis-kiesés, amely minden oldalt megtör, sokba kerül, és ezt kell elsőként javítani.
A 429 ugyanúgy hat, mint egy 5xx, mert a Google túlterhelt szerverként olvassa. Ha a sebességkorlátozód vagy a botvédelmed 429-et ad a Googlebotnak, ezt feltérképezési idővel fizeted meg. A Google dokumentációja nem említi a Retry-After fejlécet. Továbbra is küldd az emberi látogatóknak és az API-kliensnek, de ne számíts arra, hogy a Googlebot kivárja az általad megadott időt.
A 4xx állapot azt jelenti, hogy a szerver elutasította a kérést a kliens oldalán lévő valami miatt: az URL nem létezik, a hozzáférés tiltott, vagy a cím hibásan van megadva. A Google a 429 kivételével minden 4xx-et ugyanúgy kezel. Abbahagyja az URL mögötti tartalom használatát, és ha az URL indexelve volt, eltávolítja az indexből. Mielőtt egy 4xx-hez nyúlnál, derítsd ki, honnan jön a kérés, mert a javítás gyakran egy helyen van: egy linkben, egy sablonban vagy egy átirányítási szabályban.
A hozzáférési naplód rögzíti minden kérés hivatkozóját, ami megmutatja, melyik oldal küldte a látogatót vagy a botot az adott URL-re. Számold meg a 4xx-válaszokat útvonal és hivatkozó szerint:
awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20
A hivatkozó oszlopot így olvasd:
Egy kiadás, amely átnevez egy útvonalat, megváltoztat egy slugot vagy újraépít egy sablont, gyakran egy 404-hullámot okoz ugyanazon a napon. Exportáld a napi 4xx-válaszok számát a telepítés előtti hétről és az utána lévő hétről. Egy mappába koncentrálódó ugrás közvetlenül a változásra mutat. Add hozzá a régi URL-ről az újra mutató átirányítást ugyanabban a kiadásban, ne egy későbbi feladatban. Teljes átköltöztetés esetén lásd az SEO-migrációs ellenőrzőlistánkat.
Tipp
Ne cseréld le a hiányzó oldalt olyan 200-as válaszra, amely rövid üzenetet vagy üres listát mutat. A Google ezt soft 404-ként kezelheti, ami egy teljes lekérést emészt fel, és semmit sem ad vissza.
Ezt a módszert használjuk. Az egész webhelyet leállítani képes hibáktól halad azok felé, amelyek csak egy kevés feltérképezést pazarolnak el.
A feltérképezési hibák 6 lépéses módszere
A Search Console-ban nyisd meg a Beállításokat, majd a Feltérképezési statisztikákat, majd a Gazdagép állapotát. A zöld azt jelenti, hogy 90 nap alatt nem volt jelentős probléma. A "Közelmúltbeli probléma" azt jelenti, hogy az elmúlt héten jelentős probléma volt: minden mást tegyél félre. Kattints az egyes kategóriákra, hogy lásd a napi hibaarányt, majd vesd össze a rossz napokat a tárhely-, CDN- és telepítési előzményeiddel.
Nyisd meg az Indexelés, majd az Oldalak menüpontot, és exportáld az összes hibaokot. Ne egyenként javítsd az URL-eket. Tedd őket egy táblázatba, és nyerd ki az első mappát:
=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")
Egy kimutatás ezen az oszlopon általában megmutatja, hogy a hibák többsége két-három sablonból jön: egy megszüntetett blogkategóriából, egy szűrőparaméterből, egy régi termékfeedből.
Minden mintánál tegyél fel négy kérdést. Kap organikus kattintásokat? Vannak visszamutató linkjei? Van rá belső link? Szerepel az oldaltérképben? Egy 404, amelyre a négy közül egyik sem igaz, örökké várhat. Egy visszamutató linkekkel rendelkező 404-nek még ma kell egy 301. Az ingyenes hibáslink-ellenőrző megmutatja, mely saját oldalaid hivatkoznak még halott URL-ekre.
Szabályokat javíts, ne URL-eket. Egy átirányítási térkép a szerverkonfigurációban jobb, mint 400 kézzel felvett átirányítás egy bővítményben. Például nginxben:
map $request_uri $new_uri {
/old-blog/seo-tips/ /blog-geo-seo/seo-best-practices/;
/old-blog/sitemaps/ /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
if ($new_uri) { return 301 $new_uri; }
}
5xx esetén javítsd a kapacitást vagy a hibát. 401 és 403 esetén javítsd a biztonsági szabályt. Soft 404 esetén vagy adj hozzá valódi tartalmat, vagy adj vissza valódi 404-et.
Minden belső linknek közvetlenül egy 200-at visszaadó URL-re kell mutatnia. Az oldaltérkép minden bejegyzésének kanonikus, indexelhető, 200-as URL-nek kell lennie. Egy átirányításokkal és 404-ekkel teli oldaltérkép arra tanítja a Google-t, hogy kevésbé bízzon benne. Az oldaltérkép készítéséről szóló útmutatónk elmagyarázza, mi kerüljön bele.
Az Oldalindexelés jelentésben nyisd meg a kijavított okot, és kattints a Javítás ellenőrzése gombra. A Google először egy mintát ellenőriz, aztán a többit; ez általában legfeljebb nagyjából két hétig tart, és leáll, ha akár egyetlen URL is hibás marad. Futás közben ne kattints újra. Ezután vezess be heti rutint: Feltérképezési statisztikák a gazdagéphez, naplók a csúcsokhoz, egy feltérképezés minden telepítés után.
Egy átirányítási lánc a javítás előtt és után
Mi ez: egy bővítmény vagy szabály, amely minden hiányzó URL-t a / címre küld. Hogyan veszed észre: sok URL a "Soft 404" vagy az "Átirányítással rendelkező oldal" alatt, amelyek mind a kezdőlapon kötnek ki; egy crawler több száz, azonos célú 301-et mutat. Hogyan javítod: csak közeli megfelelőre irányíts át, a többi adjon vissza 404-et vagy 410-et.
Mi ez: egy WAF, botkezelő vagy sebességkorlátozó, amely 403-at, 429-et vagy egy ellenőrző oldalt szolgál ki a Google-nek. Hogyan veszed észre: 403 vagy 429 a Feltérképezési statisztikákban, miközben az oldal a böngésződben rendben betöltődik; a naplók IP-cím szerint mutatják a blokkolásokat. Hogyan javítod: engedd át az ellenőrzött Googlebotot fordított DNS-sel vagy a Google által közzétett IP-tartományokkal, ne a felhasználói ügynök karakterláncában bízz.
Mi ez: az alkalmazás által generált robots.txt, amely ezért minden alkalommal hibás, amikor az alkalmazás, vagy egy 5xx-et gyorsítótárazó CDN-szabályon keresztül szolgálják ki. Hogyan veszed észre: a Gazdagép állapotában a robots.txt letöltésének kategóriája nem zöld. Hogyan javítod: statikus fájlként szolgáld ki, az alkalmazáson kívül, és teszteld a robots.txt-ellenőrzővel.
Mi ez: egy "Hamarosan visszatérünk" oldal, amelyet minden URL-en 200-as állapottal szolgálnak ki. Hogyan veszed észre: a karbantartás után soft 404-ek vagy duplikált címek hulláma. Hogyan javítod: karbantartás alatt adj vissza 503-at Retry-After fejléccel, és legyen rövid.
Mi ez: 403-mal válaszolni a Googlebotnak, amikor a szerver túlterhelt. Hogyan veszed észre: a terhelési csúcsokkal egybeeső 403-csúcsok. Hogyan javítod: a Google szerint a 429-en kívüli 4xx-kódok nincsenek hatással a feltérképezési sebességre. Rövid ideig adj vissza 503-at vagy 429-et, és javítsd a kapacitást.
Mi ez: végigkattintani a Search Console listáját, és minden URL-t külön szerkeszteni. Hogyan veszed észre: ugyanaz az ok minden hónapban visszatér. Hogyan javítod: csoportosíts minta szerint, javítsd a sablont vagy a szabályt, majd egyszer érvényesíts.
Mi ez: napokat tölteni spam-URL-ek vagy régen törölt, link nélküli oldalak 404-eivel. Hogyan veszed észre: az URL-eknek nincs kattintásuk, visszamutató linkjük és belső linkjük. Hogyan javítod: hagyd őket. A Google szerint egy eltávolított oldal 404-e nem feltétlenül probléma.
Figyelem
Soha ne tilts le egy URL-t a robots.txt-ben azért, hogy "elrejts" egy feltérképezési hibát. A Google többé nem látja a 404-et vagy az átirányítást, az URL indexelve maradhat, és elveszíted azt a jelzést, amelyet küldeni akartál.
Egy néhány száz oldalas webhelyen a Google-nek mindenre van ideje, és a feltérképezési hibák főleg az általuk elrontott oldalak miatt számítanak. Nagy webhelyeken (szűrős webáruházak, piacterek, hírportálok) minden sikertelen vagy elpazarolt kérés időt vesz el a valódi oldalaidtól. Ez a feltérképezési keret lényege.
Az 5xx és a 429 miatt a Google az egész gazdagépen lassít, így néhány hibás sablon késleltetheti az új termékoldalaid feltérképezését. Az átirányítási láncok ugrásonként egy kérésbe kerülnek. A soft 404 egy teljes letöltésbe kerül, és semmit nem ad vissza. Javítsd ezt a hármat, és ugyanaz a keret több hasznos oldalra elég.
Amikor a Google talál URL-eket, de elhalasztja a feltérképezésüket, az ok gyakran egy általa törékenynek ítélt szerver. Ha a "Felfedezve, jelenleg nincs indexelve" szám nő, miközben a Feltérképezési statisztikákban szerverhibák látszanak, először a szervert javítsd. A két jelentés ugyanazt a történetet meséli el.
Már nem a Googlebot az egyetlen fontos látogató. A GPTBot, az OAI-SearchBot, a ClaudeBot és a PerplexityBot modellek tanításához vagy valós idejű kérdések megválaszolásához tölt le oldalakat. Ugyanazt a szervert érik el, és ugyanazoktól a hibáktól szenvednek, egy különbséggel: hozzájuk nincs Search Console.
A legtöbb AI-crawler nem futtat JavaScriptet, így egy olyan oldal, amely csak a böngészőben építi fel a tartalmát, üresnek tűnhet számukra, egyfajta soft 404-ként, amelyet soha nem fogsz látni a Google jelentéseiben. Sokukat a botvédelmi szolgáltatások alapértelmezetten blokkolják, gyakran 403-mal. És mivel igény szerint töltenek le, amikor egy felhasználó kérdez, egy időtúllépés abban a pillanatban azt jelenti, hogy a válasz valaki mást idéz. A JavaScript és SEO útmutatónk a keresőmotoros és az AI-crawlerek renderelését is tárgyalja.
A szervernaplóid az egyetlen megbízható forrás. Szűrj felhasználói ügynökre, és nézd meg az állapotkódokat:
grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
Ha az AI-botok nem szándékolt 403-at kapnak, javítsd a szabályt. Aztán ellenőrizd, hogy valóban idéznek-e: a Sorank AI-említéskövetése figyeli, milyen gyakran említi a márkádat a ChatGPT, a Gemini, a Claude és a Perplexity, így láthatod, változtat-e valamit egy feltérképezési javítás.
Futtasd végig ezt a listát minden migráció, újratervezés vagy jelentős telepítés után, nagy webhelyeken pedig havonta.
A feltérképezési egészség ellenőrzőlistája
Nyisd meg a Feltérképezési statisztikákat, és ellenőrizd a gazdagép állapotának három sorát. Ezután futtasd le az ingyenes indexelhetőség-ellenőrzőt az öt legértékesebb oldaladon. Ha mindkettő tiszta, exportáld az Oldalindexelés hibáit, és csoportosítsd őket mappa szerint: így egy rövid, rangsorolt javítási listád lesz egy ijesztő jelentés helyett.
Ha a feltérképezés tiszta, a következő korlát maga a tartalom. A Sorank tartalomoptimalizálása autopilot üzemmódban írja át és frissíti a meglévő oldalaidat, így azok az oldalak, amelyeket a Google most már elér, megérik az indexelést és az idézést. Azokhoz az oldalakhoz, amelyeket a Google feltérképezett, de kihagyott, olvasd el a "Feltérképezve, jelenleg nincs indexelve" állapotról szóló útmutatónkat.
A feltérképezési hibák egy keresőmotor vagy AI-crawler sikertelen kérései: a DNS nem oldódik fel, a szerver túllépi az időkorlátot vagy 5xx kódot ad, a robots.txt nem tölthető le, egy átirányítás körbe fut, vagy egy oldal 4xx kódot ad vissza. A webhelyszintű hibák az egész webhely feltérképezését szüneteltethetik, az URL-hibák viszont csak az érintett oldalt érintik.
Önmagukban nem. A Google szerint egy pótlás nélkül eltávolított oldal 404-e nem feltétlenül probléma. Akkor válik azzá, ha az URL-nek még vannak visszamutató linkjei, forgalma vagy belső linkjei, ilyenkor egyetlen 301 egy közeli megfelelőre a helyes javítás.
Miután a Search Console Oldalindexelés jelentésében a Javítás ellenőrzése gombra kattintasz, az érvényesítés általában legfeljebb nagyjából két hétig tart. A Google először az URL-ek egy mintáját ellenőrzi, aztán a többit, és leáll, ha akár egyetlen érintett URL is hibás marad.
