A feltérképezhetőség azt mutatja meg, mennyire könnyen találják meg és töltik le a botok egy weboldal lapjait. Mi akadályozza a feltérképező botokat, hogyan teszteld, és hogyan javítsd a Google és az AI-k számára.

Ezen az oldalon
Összefoglaló
A feltérképezhetőség a keresőmotorok és az AI-botok azon képessége, hogy felfedezzék egy weboldal lapjait, és akadály nélkül letöltsék a tartalmukat. Amelyik oldal nem térképezhető fel, azt nem lehet indexelni, rangsorolni vagy idézni.
Szeretnél többet megtudni? Kérdezd meg
A feltérképezhetőség azt írja le, milyen könnyen találja meg egy feltérképező bot, például a Googlebot, a Bingbot vagy egy AI-bot, mint a GPTBot, az oldal lapjait a linkek és az oldaltérképek követésével, majd letölti a tartalmukat. Ez az oldal szerkezetétől, a szerverétől, a botokra vonatkozó szabályaitól és attól függ, hogyan épülnek fel az oldalak. Ez a szerves láthatóság első feltétele: mielőtt tartalmi vagy tekintélyi kérdések felmerülnének, az oldalnak elérhetőnek kell lennie.
A feltérképezhetőséget gyakran összekeverik magával a feltérképezéssel. A feltérképezés az a folyamat, amelyet a keresőmotor futtat; a feltérképezhetőség pedig az oldalad azon tulajdonsága, amely ezt a folyamatot könnyűvé vagy nehézzé teszi. Különbözik az indexelhetőségtől is: egy oldal lehet feltérképezhető, mégis kizárható az indexből egy noindex utasítás vagy egy másik oldalra mutató kanonikus hivatkozás miatt.
Linkek és szerkezet. A feltérképező botok linkről linkre haladnak. Az olyan oldalakat, amelyekre nem mutat belső link, úgynevezett árva oldalakat, nehéz felfedezni. A főoldaltól hat-hét kattintásnyira lévő oldalakat ritkábban térképezik fel. Az egyértelmű hierarchia és a jól működő belső linkelés az alap.
Szabályok a botok számára. A robots.txt fájl egész szakaszokat letilthat, néha tévedésből. A bejelentkezési falak, a szigorú tűzfalak vagy a botvédelem a kívánatos feltérképező botokat is megállíthatják.
A szerver állapota. A lassú válaszok, az időtúllépések és az 5xx-hibák arra késztetik a Google-t, hogy csökkentse a feltérképezési sebességet, hogy védje a szerveredet. A hosszú átirányítási láncok és a törött linkek elpazarolják a feltérképezési kéréseket.
Renderelés. Ha a tartalom és a linkek csak a JavaScript futtatása után jelennek meg, a botoknak renderelniük kell az oldalt. A Google ezt megteszi, bizonyos késéssel, de sok AI-feltérképező bot csak a nyers HTML-t tölti le, és kimarad belőle a böngészőben generált tartalom.
Kezdd a Google Search Console-lal: az oldalindexelési jelentés felsorolja azokat az URL-eket, amelyeket nem sikerült lekérni, a feltérképezési statisztikák jelentés pedig megmutatja a válaszidőket, a státuszkódokat és a kérések botok szerinti megoszlását. Az URL-ellenőrzés eszközével megnézheted, milyen renderelt HTML-t kap a Google egy adott oldalhoz.
Ezután térképezd fel az oldalt magad egy asztali feltérképező programmal, vagy használd a Sorank ingyenes weboldal-feltérképezhetőségi AI-auditját, hogy megtaláld az árva oldalakat, a törött linkeket, az átirányítási láncokat és a robots.txt által letiltott oldalakat. Hasonlítsd össze a feltérképezéssel talált URL-eket az XML-oldaltérképeddel: a két irányú eltérések szerkezeti problémákra utalnak.
Minden fontos oldalt linkelj legalább egy releváns oldalról, a kulcsfontosságú oldalak pedig maradjanak három kattintáson belül a főoldaltól. Tegyél közzé naprakész XML-oldaltérképet, amely csak kanonikus, indexelhető URL-eket tartalmaz. Vizsgáld át a robots.txt fájlt úgy, hogy csak azt tiltsa le, aminek kívül kell maradnia, például a belső keresést vagy a végtelen szűrőkombinációkat. Javítsd a törött linkeket, és az átirányítási láncokat cseréld közvetlen linkekre.
Műszaki oldalon a fontos tartalmat és linkeket a kezdeti HTML-ben szolgáld ki, szerveroldali renderelés vagy statikus generálás révén, ahelyett, hogy csak a kliensoldali JavaScriptre támaszkodnál. Tartsd alacsonyan a szerver válaszidejét, és figyeld az 5xx-hibákat. Nagy oldalaknál a feltérképezési kerettel úgy gazdálkodj, hogy csökkented az alacsony értékű URL-ek számát.
A klasszikus hiba az a robots.txt-szabály, amelyet egy fejlesztői környezetből hagytak meg, és amely az egész oldalt letiltja, vagy egy olyan könyvtár, amely a rendereléshez szükséges CSS- és JavaScript-fájlokat tartalmazza. Más hibák közé tartozik az a navigáció, amely csak JavaScript-kattintási eseményekkel készül, nem pedig href attribútumú valódi linkekkel, a szűrők és rendezések által generált végtelen URL-paraméterek, valamint az olyan linkek, amelyek egy migráció után átirányított vagy törölt oldalakra mutatnak.
Az SEO-ban a feltérképezhetőség előfeltétel: a fel nem térképezett oldalak nem indexelődnek, és nem tudnak rangsorolni, az új vagy frissített tartalom pedig tovább tart, mire megjelenik. A GEO szempontjából ugyanilyen döntő. Az AI-asszisztensek saját feltérképező botjaikra és keresőindexekre támaszkodnak. A GPTBotnak, a ClaudeBotnak vagy a PerplexityBotnak engedélyezve kell lennie a robots.txt-ben, és a tartalmat tiszta HTML-ben kell kapniuk ahhoz, hogy el tudják olvasni. Az AI-feltérképező botokról szóló oldalunk részletezi, melyik botokat érdemes engedélyezni.
A feltérképezhetőség az a könnyedség, ahogyan a botok felfedezhetik és letölthetik az oldalaidat. Tiszta belső linkeken, átgondolt robots.txt fájlon, egészséges szerveren és olyan tartalmon nyugszik, amely nehéz JavaScript nélkül is elérhető. Megelőzi az indexelést, a rangsorolást és az AI-idézeteket, ezért érdemes rendszeresen ellenőrizni.
A továbbolvasáshoz nézd meg a feltérképezésről és a feltérképezési keretről szóló oldalainkat. Referenciaforrások: a Google feltérképező robotjainak áttekintése és a Google JavaScript-SEO alapjai.
Források
A feltérképezhetőség azt jelenti, hogy a botok elérik-e és letöltik-e az oldalt. Az indexelhetőség azt, hogy a feltérképezett oldal tárolható-e az indexben és érdemes-e rá. A robots.txt-ben letiltott oldal nem feltérképezhető; a noindex címkével ellátott, de feltérképezhető oldal nem indexelhető.
A legtöbb AI-feltérképező bot a nyers HTML-t tölti le, és nem futtatja a JavaScriptet úgy, ahogy a Google renderelője. A csak kliensoldali renderelés után megjelenő tartalom és linkek számukra láthatatlanok maradhatnak. A legbiztonságosabb, ha a fontos tartalmat a kezdeti HTML-ben szolgáljuk ki.
Nézd meg a Google Search Console feltérképezési statisztikák és oldalindexelési jelentéseit. A szerverhibák emelkedése, a hosszú válaszidők, a sok „Felfedezve, de jelenleg nincs indexelve” URL vagy a fontos oldalak hiánya az indexből tipikus jelei a feltérképezhetőségi problémáknak.
A TE ELŐTTED PRÓBÁLTÁK KI A SORANKOT
