Robots.txt által letiltva: mit jelent a Search Console állapot, és hogyan javítsd

A robots.txt által letiltva állapot a Google Search Console Oldalindexelési jelentésében jelenik meg, az indexelés hiányának okai között. A Google saját Oldalindexelési jelentés dokumentációja egy sorban írja le: az oldalt a webhelyed robots.txt fájlja letiltotta. Ez a sor mögött két nagyon különböző helyzet áll, egy egészséges letiltás és egy véletlen, valamint egy zavarba ejtő rokon állapot: „Indexelve, bár robots.txt által letiltva”. Ez az útmutató megmutatja, hogyan különböztesd meg őket, és hogyan javítsd mindegyiket anélkül, hogy bármi mást elrontanál. Ha magával a fájllal most ismerkedsz, kezdd a robots.txt fogalommagyarázatunkkal.

Mit jelent a „Robots.txt által letiltva” a Search Console-ban?

A robots.txt fájlod a gazdagép gyökerében található (pelda.hu/robots.txt), és megmondja a feltérképezőknek, mely útvonalakat tölthetik le. Amikor a Googlebot talál egy URL-t, egy hivatkozáson vagy egy oldaltérképen keresztül, először ezt a fájlt ellenőrzi. Ha egy Disallow szabály illeszkedik az útvonalra a felhasználói ügynöke számára, nem tölti be az oldalt. A Search Console ekkor az URL-t a „Robots.txt által letiltva” alatt listázza.

Ebből két következmény adódik. A Google nem látja a tartalmat, a címet, a belső linkeket vagy az oldal meta-címkéit. És mivel soha nem olvassa el az oldalt, a noindex címkét sem látja. Az állapot az indexelés hiányának okaként szerepel, így a legtöbb webhelynél tájékoztató jellegű: maga a Google jegyzi meg, hogy a robots.txt által letiltott URL-eket valószínűleg szándékosan tiltották le.

A probléma akkor kezdődik, ha a listán olyan oldalak szerepelnek, amelyeket a Google-ben szeretnél látni: termékoldalak, cikkek, kategóriaoldalak vagy egy egész webhely egy átköltözés után. Ebben az esetben a letiltás közvetlen oka annak, hogy a weboldalad nem jelenik meg a Google-ben, és ez az egyik leggyorsabban javítható technikai probléma.

„Robots.txt által letiltva” vs. „Indexelve, bár robots.txt által letiltva”

A második állapot ellentmondásosnak tűnik, és ez az, ami a webhelytulajdonosokat a legjobban aggasztja. A Google robots.txt-bevezetője elmagyarázza: a robots.txt nem eszköz arra, hogy egy oldal kimaradjon a Google-ből. Ha más oldalak linkelnek egy letiltott URL-re, a Google akkor is indexelheti magát az URL-t, anélkül hogy feltérképezné. Az eredmény ekkor a címet leírás nélkül mutatja, mert a Google soha nem olvasta el a szöveget.

A kulcs az, hogy először eldöntsd, mit szeretnél minden URL-nél: indexelve vagy nem indexelve. A robots.txt más kérdésre felel (feltérképezve vagy nem feltérképezve), és a kettő összekeverése okozza a legtöbb hibát.

Miért vannak letiltva az oldalaid a robots.txt-ben?

A legtöbb véletlen letiltás néhány ok közül kerül ki. Ezeket ebben a sorrendben ellenőrizd:

• Teszt-szabály, amely élesbe került. A Disallow: / egy tesztoldalt véd, majd az indulással együtt élesbe kerül, és mindent letilt.
• CMS-beállítás. A WordPressben van egy „Keresőmotorok tiltása az oldal indexelésétől” opció; más platformokon hasonló kapcsolók vannak, amelyek a robots.txt-t szerkesztik vagy fejléceket adnak hozzá.
• A szándékosnál szélesebb szabály. A Disallow: /p a /products/ és a /pricing/ oldalakat is letiltja, nem csak a /p/-t. A robots.txt szabályai az útvonal elejére illeszkednek.
• Helyettesítő karakterek. A * bármilyen karaktersorozatra illeszkedik, a $ pedig az URL végét jelöli. A Disallow: /*? minden paraméteres URL-t letilt, ami olyan lapozott vagy szűrt oldalakat is érinthet, amelyeket indexelve szeretnél látni.
• Letiltott erőforrások. Az /assets/ vagy a /wp-includes/ letiltása elrejti azt a CSS-t és JavaScriptet, amely az oldal megjelenítéséhez kell a Google-nek, ami rontja, hogyan érti meg a tartalmadat.
• Átköltözés. Az útvonalak megváltoznak, a régi robots.txt marad, vagy az új gazdagép a saját alapértelmezett fájlját szolgálja ki.
• Rossz gazdagép. Minden aldomainnek és protokollnak saját fájlja van: a www.pelda.hu szabályai nem vonatkoznak a shop.pelda.hu-ra.

Ne feledd, hogy a Google a legspecifikusabb szabályt követi (a leghosszabb illeszkedő útvonalat), és ha egy Allow és egy Disallow egyformán specifikus, a kevésbé korlátozó nyer. Egy célzott Allow: /blog/ így újra megnyithat egy mappát egy szélesebb letiltás alatt.

Hogyan javítsd lépésről lépésre a „Robots.txt által letiltva” állapotot?

1. Exportáld az érintett URL-eket

A Google Search Console-ban nyisd meg az Indexelést, majd az Oldalakat, és kattints a „Robots.txt által letiltva” sorra. Exportáld a listát, és rendezd mappa szerint. Általában egy perc alatt látni fogsz egy mintát: egy könyvtárat, egy paramétert vagy egy aldomaint.

2. Válaszd szét a szándékos letiltásokat a hibáktól

Minden mintát jelölj meg „maradjon letiltva” vagy „a Google-ben kellene lennie” címkével. A kosár, a pénztár, a fiókoldalak, a belső keresési eredmények és az adminisztrációs felületek az elsőbe tartoznak. Minden, ami keresési lekérdezésre válaszol, linkeket gyűjt, vagy szerepel az XML-oldaltérképedben, a másodikba. Az az URL, amely az oldaltérképen van és le is van tiltva, ellentmondás, amit fel kell oldani.

3. Keresd meg az illeszkedő szabályt

Nyisd meg az URL-vizsgálat eszközt egy példa-URL-en: megmondja, hogy a feltérképezés engedélyezett-e. Aztán olvasd el az élő fájlt, vagy illeszd be az URL-t az ingyenes robots.txt ellenőrzőnkbe, hogy lásd, melyik sor tiltja le, és melyik felhasználói ügynöknek.

4. Szerkeszd a fájlt

Távolítsd el vagy szűkítsd a szabályt, vagy adj hozzá egy specifikusabb Allow-t. Tartsd minimálisra a változtatást, és teszteld mind egy olyan URL-en, amelyet fel akarsz oldani, mind egy olyan URL-en, amelynek letiltva kell maradnia. Ha a fájl áttekinthetetlen, építs egy tisztát a robots.txt generátorunkkal, és hasonlítsd össze közzététel előtt.

5. Érd el, hogy a Google beolvassa az új fájlt

A Google a robots.txt-specifikációja szerint általában legfeljebb 24 órára gyorsítótárazza a robots.txt-t. A folyamat felgyorsításához nyisd meg a Beállításokat, majd a Search Console robots.txt-jelentését (tartomány-szintű ingatlanoknál érhető el), és a fájlnál használd az „Újra-feltérképezés kérése” lehetőséget. Ezután kérj indexelést a legfontosabb feloldott URL-ekre az URL-vizsgálatban.

6. Ellenőrizd és figyeld

Kattints a probléma oldalán a „Javítás ellenőrzése” gombra. Az ellenőrzés néhány naptól néhány hétig is eltarthat, az új URL-eket pedig a Google újra-feltérképezésekor vizsgálja. Az Google indexelés útmutatónk arról szól, mi történik a feltérképezés után, amikor a Google eldönti, megéri-e megtartani az oldalt.

Hogyan javítsd az „Indexelve, bár robots.txt által letiltva” állapotot?

A javítás attól függ, mit szeretnél az oldallal:

1. Az oldalnak a Google-ben kell lennie. Távolítsd el a letiltást. A Google feltérképezi az oldalt, beolvassa a tartalmát, és normál találatot mutat címmel és leírással.
2. Nem szeretnéd, hogy az oldal a Google-ben legyen. Ugyanígy távolítsd el a letiltást, majd adj hozzá <meta name="robots" content="noindex"> címkét a fejlécbe, vagy X-Robots-Tag: noindex HTTP-fejlécet PDF-ekhez és más fájlokhoz. Miután a Google újra feltérképezte az oldalt és kivette az indexéből, újra letilthatod, ha a feltérképezési terhelés számít, bár a legtöbb webhelynek ez soha nem kell. A noindex fogalommagyarázatunk elmagyarázza a lehetőségeket.
3. Az oldalnak nem szabadna nyilvánosan léteznie. Védd jelszóval, vagy távolítsd el (404 vagy 410). Sem a robots.txt, sem a noindex nem biztonsági megoldás.

Olyan szűrési navigációnál, amely több ezer szűrt URL-t hoz létre, a robots.txt-letiltás továbbra is a megfelelő eszköz lehet a feltérképezési keret megtakarításához. Ilyenkor néhány ilyen URL-nél az „Indexelve, bár letiltva” figyelmeztetés elfogadható, feltéve, hogy a kategóriáid kanonikus változatai feltérképezhetők és indexeltek.

Hogyan ellenőrizd, hogy a javítás működött?

Három jel erősíti meg a sikeres javítást. Az élő URL-en az URL-vizsgálat azt mutatja, hogy „Feltérképezés engedélyezve: Igen”. A letiltott oldalak száma az Oldalindexelési jelentésben a következő hetekben csökken. A feloldott oldalak pedig elkezdenek megjelenéseket gyűjteni a Teljesítmény jelentésben. A indexelhetőség-ellenőrzőnkkel egy gyors átfutás azokat a további akadályokat is megtalálja, amelyek gyakran a robots.txt-hibákkal együtt járnak: egy véletlen noindexet, egy rossz kanonikus címkét vagy egy átirányítást.

A figyelés azért fontos, mert ezek a hibák visszatérnek. Egy sablonfrissítés, egy bővítmény vagy egy telepítési szkript úgy írhatja újra a robots.txt-t, hogy senki sem veszi észre. Azoknak az oldalaknak a figyelése, amelyek kattintásai vagy megjelenései hirtelen csökkennek, a leggyorsabb korai figyelmeztetés.

A Sorank GEO és SEO irányítópult csatlakozik a Search Console-hoz, és egy nézetben mutatja ezeket a emelkedő és csökkenő oldalakat, így egy telepítés által bevezetett letiltás csökkenő URL-ek csoportjaként jelenik meg, nem pedig lassú, megmagyarázhatatlan veszteségként.

Robots.txt, AI-feltérképezők és GEO

A robots.txt-nek most van egy második közönsége: az AI-asszisztensek feltérképezői. Az OpenAI, az Anthropic, a Perplexity és a Google egyaránt közzéteszi azokat a felhasználói ügynököket (GPTBot és OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended), amelyek tiszteletben tartják a robots.txt-t. Egy nekik szóló szabály, vagy egy általános User-agent: * letiltás dönti el, hogy a ChatGPT, a Claude vagy a Perplexity olvashatja-e az oldalaidat, amikor a webet keresik egy válasz megírásához.

Ugyanaz az érvelés vonatkozik rájuk, mint a Google-re: botonként döntsd el, mit szeretnél. A tanító feltérképezők letiltása, miközben a keresőfeltérképezők engedélyezettek maradnak, gyakori kompromisszum; a robots.txt az AI-feltérképezőknek útmutatónk felsorolja a felhasználói ügynököket és az egyes szabályokat. Az AI-feltérképezők szócikk elmagyarázza, melyik bot mit csinál.

Ezeknek a döntéseknek a hatását úgy követheted nyomon, hogy az üzleted szempontjából fontos promptokat figyeled. A Sorank AI-említéskövetése megmutatja, hogy a ChatGPT, a Gemini vagy a Claude idézi-e a webhelyedet, és helyette mely versenytársakat idézik.

A szabály, amit érdemes megjegyezni

A robots.txt azt dönti el, mit olvashatnak a feltérképezők; a noindex azt, mit mutathatnak a keresési találatok. Tartsd meg a letiltásokat olyan területeken, amelyeknek nincs keresési értéke, soha ne tiltsd le azt az oldalt, amelyet indexelve vagy kivéve szeretnél látni, és minden átköltözés vagy telepítés után ellenőrizd az Oldalindexelési jelentést. A legtöbb „robots.txt által letiltva” probléma percek alatt javítható, ha egyszer megtaláltad az illeszkedő szabályt, a Sorank Search Console irányítópultja pedig segít elkapni a következőt, mielőtt az forgalmat veszítene.