A magánszféra fontos számunkra, ezért lehetőséged van kikapcsolni bizonyos típusú tárolókat, amelyekre a weboldal alapvető működéséhez nincs szükség. A kategóriák letiltása befolyásolhatja a weboldal használatának élményét. További információ
Robots.txt: a Googlebot bejárásának szabályozása, könyvtárak letiltása, feltérképezési sebesség-utasítások és SEO-bevált gyakorlatok.
Eszközök
A Sorank alapítója, több mint 7 éves SEO-tapasztalattal, GEO-rajongó.
Összefoglaló
A robots.txt egy szöveges fájl a webhelyed gyökerében, amely megmondja a keresőmotoroknak, hogy a webhely mely részeit térképezzék fel, és melyeket hagyják ki. Segít kezelni a crawl-költségvetést, és megakadályozza a privát oldalak indexelését.
Szeretnél többet megtudni? Kérdezd meg
A robots.txt egyszerű, de erőteljes fájl, amely szabályozza, hogyan térképezik fel a keresőmotorok a webhelyedet. A `https://example.com/robots.txt` címen található, és meghatározza, mely oldalakat és könyvtárakat járhatja be a Google, a Bing és más botok. A robots.txt segít kezelni a crawl-költségvetést (a Google által naponta bejárt oldalak számát), megakadályozza, hogy a crawl-költség értéktelen oldalakra menjen, és távol tartja a privát tartalmakat a keresési találatoktól.
A legtöbb weboldalnak van robots.txt-fájlja, de sok közülük hibásan van beállítva. A hibás robots.txt véletlenül blokkolhat fontos oldalakat, és így elveszítheted a rangsorolási lehetőségeket. A jól beállított robots.txt javítja a feltérképezés hatékonyságát, és védi a webhely adatvédelmét. Ez az útmutató a robots.txt szintaxisát, a bevált gyakorlatokat és valós példákat mutat be.
A robots.txt egy szabványosított szöveges fájl, amely feltérképezési utasításokat közöl a keresőmotorok botjaival. Amikor egy bot először látogatja meg a webhelyedet, a bármi más bejárása előtt a `/robots.txt` fájlt kéri le. A bot beolvassa a szabályokat, és betartja azokat (feltéve, hogy a bot jó viselkedésű).
A Google robots.txt-dokumentációja a szabvány mérvadó forrása. A robots.txt formátumát 1994-ben hozták létre, és széles körben elfogadták. A fontosabb keresőmotorok (Google, Bing, Baidu) mind tiszteletben tartják a robots.txt-et.
Fontos: a robots.txt irányelv, nem tűzfal. A jó viselkedésű botok (Google, Bing) betartják a robots.txt szabályait. A rosszindulatú botok és a tartalomlopók figyelmen kívül hagyják. A robots.txt-et a keresőmotorok feltérképezésének kezelésére használd, ne hackerek vagy tartalomlopók elleni védelemre. A biztonsághoz szerveroldali eszközöket használj.
A robots.txt egyszerű szöveges szintaxist használ. Minden szabálynak két része van: egy User-agent (melyik botra vonatkozik a szabály) és a Disallow útvonalak (mely oldalakat kell blokkolni).
Alappélda:
User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml
Ez minden botnak (a `*` jelentése: mindegyik) megmondja, hogy ne térképezze fel az `/admin/` és a `/staging/` könyvtárakat. A Sitemap sor megmutatja a botoknak, hol található az oldaltérképed.
User-agent: \* azt jelenti, hogy minden bot. Megadhatsz konkrét botokat is:
A `User-agent: Googlebot` csak a Google botjára vonatkozik. A `User-agent: Bingbot` csak a Bing botjára vonatkozik. Több User-agent szakaszod is lehet, eltérő szabályokkal.
Disallow: /path/ azt mondja a botnak, hogy ne térképezze fel az adott útvonalat. A Disallow: / az egész webhelyet blokkolja. A Disallow: (üresen) mindent engedélyez. Egy User-agenthez több Disallow szabályt is megadhatsz.
Allow: /path/ engedélyezi egy adott útvonal feltérképezését akkor is, ha egy szülő könyvtár le van tiltva. Példa: Disallow: /temp/ mellett Allow: /temp/important/ csak a /important/ alkönyvtár feltérképezését engedi.
1. minta: Adminisztrációs oldalak blokkolása
User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/
Ez blokkolja az adminisztrációs, felhasználói és fiókoldalakat. Ezek az oldalak jellemzően nem keresőmotoroknak készülnek.
2. minta: Tesztkörnyezet blokkolása
User-agent: *
Disallow: /staging/
Disallow: /test/
Megakadályozza, hogy a botok a webhelyed teszt- vagy staging-verzióit térképezzék fel.
3. minta: Bizonyos fájltípusok blokkolása
User-agent: *
Disallow: /*.pdf
Disallow: /*.zip
Megakadályozza, hogy a botok a PDF- és ZIP-fájlokat térképezzék fel. Hasznos, ha sok olyan PDF-ed van, amelyet nem szabad indexelni.
4. minta: A szervered terhelő lassú botok
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Crawl-delay: 10
Teljesen blokkolja az Ahrefs botot (ha nem akarod, hogy a SEO-eszközök feltérképezzék a webhelyedet). Lelassítja a Semrush botot, 10 másodperces késleltetést adva a kérések közé. A Crawl-delay hasznos a szervert túlterhelő agresszív botok esetén.
5. minta: Minden engedélyezése (alapértelmezett)
User-agent: *
Disallow:
Ez az alapértelmezett. Az üres Disallow mindent engedélyez. Ha az összes tartalmad feltérképezhetővé akarod tenni, a robots.txt-et el is hagyhatod.
A robots.txt a feltérképezést blokkolja. A meta robots noindex az indexelést blokkolja. Ezek eltérő célt szolgálnak.
Használd a robots.txt-et, ha: crawl-költségvetést szeretnél megtakarítani. Olyan duplikált tartalmad van, amelyet nem szabad feltérképezni. Olyan adminisztrációs oldalaid vannak, amelyekhez a botoknak nem szabad hozzányúlniuk. Lassítani akarod az agresszív botokat.
Használd a meta robots noindex-et, ha: azt szeretnéd, hogy egy oldal bejárható legyen, de ne legyen indexelve (hogy láthasd a hibákat és problémákat). Meg akarod akadályozni az indexelést, de továbbra is engedélyezed a belső linkeket és a feltérképezést. Végül el akarsz távolítani egy oldalt a keresésből, de élőben akarod hagyni.
Példa: Lapozott oldalak, mint a `/products?page=2`, letilthatók a robots.txt-ben a crawl-költségvetés megtakarításához (mert a Google általában összevonja a lapozott oldalakat). Lehet, hogy azonban szeretnéd, ha be lennének járva, hogy azonosíthasd a kanonikus kapcsolatokat. Ebben az esetben kanonikus címkéket használj a robots.txt helyett.
A crawl-költségvetés az a URL-szám, amelyet a Google naponta bejár a webhelyeden. A nagy, millió oldalas webhelyeket a Google nem tudja naponta teljesen bejárni. A Google a crawl-költségvetést a webhelyed tekintélye és változási gyakorisága alapján osztja ki. A crawl-költségvetés véges. Ha fontos oldalak helyett értéktelen oldalakra pazarolod, a fontos oldalakat ritkábban fogják bejárni.
A crawl-költségvetés optimalizálásához blokkold azokat az oldalakat, amelyeket nem kellene bejárni: duplikált tartalmat, lapozott keresési találatokat, felhasználói fiókoldalakat, teszteket. Minden blokkolt oldal több költségvetést ad a Google-nek a fontos tartalmaid bejárására.
Gyakori crawl-költségvetés-pazarlók: a végtelen lapozás (a termékszűrők végtelen számú URL-t hoznak létre), a különböző paraméterekkel rendelkező duplikált tartalmak, a minden URL-hez csatolt munkamenet-azonosítók, a naptár- és eseményoldalak, amelyek végtelen számú URL-t generálnak. A robots.txt-tel blokkold ezeket a mintákat.
A Google Search Console megmutatja a webhelyed feltérképezési statisztikáit. Figyeld naponta a feltérképezési kéréseket. Ha a Google ugyanazokat az oldalakat járja be újra és újra anélkül, hogy új tartalmat találna, nézd át a robots.txt-et és a blokkolási stratégiát.
Add meg az oldaltérképed URL-jét a robots.txt-ben. Add hozzá a `Sitemap: https://example.com/sitemap.xml` sort a robots.txt fájl végére. Ez megmondja a Google-nek, hol találja a XML-oldaltérképedet. Ha több oldaltérképed van, többet is felsorolhatsz.
Példa:
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml
Az oldaltérképek felsorolása a robots.txt-ben nem kötelező (az oldaltérképeket a Google Search Console-on keresztül is beküldheted), de bevált gyakorlat.
A Google Search Console-ban van robots.txt-tesztelő. Menj a Beállítások > Feltérképezés > robots.txt tesztelése menüpontra. Írj be egy URL-t, és nézd meg, hogy a robots.txt blokkolja-e. Ez felbecsülhetetlen a szabályok telepítés előtti ellenőrzésénél.
Mindig tesztelj a robots.txt-módosítások telepítése előtt. Egyetlen hiba (például a `Disallow: /`, amely az egész webhelyet blokkolja) tönkreteheti a helyezéseidet. A tesztelővel ellenőrizd, hogy:
A fontos oldalak nincsenek blokkolva. Az adminisztrációs oldalak blokkoltak. A duplikált tartalmi minták blokkoltak. Nincs véletlenül letiltva kritikus útvonal.
A robots.txt telepítése után figyeld a Google Search Console feltérképezési jelentését a változásokért. Ha a feltérképezési arány váratlanul csökken, lehet, hogy véletlenül fontos tartalmat blokkoltál.
1. hiba: CSS és JavaScript blokkolása. Ha a robots.txt-ben blokkolod a `/css/` vagy a `/js/` útvonalat, a Google nem tudja feltérképezni a CSS- és JavaScript-fájlokat. CSS nélkül a Google nem tudja megfelelően renderelni az oldalakat. Ne blokkolj CSS-t vagy JavaScriptet.
2. hiba: fontos tartalom blokkolása. Mindig tesztelj telepítés előtt. Egy elgépelés, például a `Disallow: /p` a `Disallow: /staging/` helyett, véletlenül blokkolhatja a `/products/` útvonalat.
3. hiba: a robots.txt biztonsági célú használata. Ne támaszkodj a robots.txt-re az érzékeny adatok védelmében. A biztonsági szempontból érzékeny oldalakat hitelesítéssel kell védeni, nem csak robots.txt-tel. A robots.txt nyilvános, és könnyen megkerülhető.
4. hiba: eltérő robots.txt a domének között. Ha több doménod van, tartsd következetesen a robots.txt szabályait. A véletlenül eltérő szabályok feltérképezési hatékonysági problémákat okozhatnak.
5. hiba: maga az oldaltérkép blokkolása. Soha ne blokkold a `/sitemap.xml` fájlt a robots.txt-ben. A Google-nek fel kell térképeznie az oldaltérképet, hogy megtalálja az oldalakat.
Crawl-delay és Request-rate: Ezek az utasítások lassítják a botokat. A `Crawl-delay: 10` 10 másodpercet ad a kérések közé. A `Request-rate: 1/10` egy kérést engedélyez 10 másodpercenként. Ezeket a szervert túlterhelő botoknál használd. A Google a robots.txt utasítások helyett a Search Console beállításait ajánlja.
Allow utasítás: Engedélyezi egy adott útvonal feltérképezését akkor is, ha egy szülő útvonal le van tiltva. Hasznos kivételek megadására. Példa: a `Disallow: /temp/` mellett az `Allow: /temp/keep/` csak a keep alkönyvtárat engedi.
A Google robots.txt-specifikációja dokumentálja az összes támogatott utasítást. A legtöbb funkcióra ritkán van szükség. A legtöbb webhelynél maradj az alap User-agent, Disallow és Sitemap utasításoknál.
A User-agent-specifikus szabályok eltérő feltérképezési szabályokat tesznek lehetővé a különböző botoknak. Megadhatsz szabályokat a Googlebotnak, a Bingbotnak és más user-agenteknek külön-külön. Ez hasznos, ha azt szeretnéd, hogy a Google az egész webhelyedet bejárja, de a Bing ne férhessen hozzá bizonyos részekhez. Minden szabálycsoport elején add meg a user-agentet:
A `User-agent: Googlebot` csak a Google feltérképezőjére vonatkozik. A `User-agent: *` minden botra vonatkozik. A szabályok a következő user-agent utasításig érvényesek az adott user-agentre. Több szabálycsoportot is létrehozhatsz különböző botoknak.
A Crawl-delay és a request-rate utasítások megmondják a botoknak, milyen gyakran térképezzenek fel. A `Crawl-delay: 5` azt mondja a botnak, hogy 5 másodpercet várjon a kérések között. Ez csökkenti a szerver terhelését. A `Request-rate: 1/10` azt mondja a botnak, hogy legfeljebb 1 kérést küldjön 10 másodpercenként. A Google robots.txt-dokumentációja részletezi az összes támogatott utasítást.
Az oldaltérkép-helyre vonatkozó utasítások megmondják a botoknak, hol találják az oldaltérképedet. A `Sitemap: https://example.com/sitemap.xml` a botokat az XML-oldaltérképedhez irányítja. Több oldaltérképet is megadhatsz. Ez ajánlott, mert segít a botoknak hatékonyan felfedezni az összes oldalt.
A Clean-param utasítás a feltérképezés előtt eltávolítja az URL-paramétereket. A `Clean-param: utm_source&utm_medium https://example.com` azt mondja a Google-nek, hogy hagyja figyelmen kívül az example.com UTM-paramétereit. Így a Google nem kezeli a követett linkeket duplikált tartalomként. Ma már ritkábban használják, mert a Google a legtöbb követőparamétert automatikusan kezeli.
Teszteld a robots.txt-fájlodat a Google Search Console robots.txt-tesztelőjében. Az eszköz megmutatja, mely URL-eket blokkolná a robots.txt a Googlebot számára. Ez megakadályozza a fontos oldalak véletlen blokkolását.
A robots.txt egyszerű, de kritikus fájl a keresőmotoros feltérképezés kezeléséhez és a webhely adatvédelmének biztosításához. A jól beállított robots.txt blokkolja a fontos nem tartalmakat, megtakarítja a crawl-költségvetést, és megakadályozza, hogy a duplikált tartalmat többször térképezzék fel. A hibásan beállított robots.txt véletlenül blokkolhatja a fontos tartalmat, és tönkreteheti a helyezéseidet.
Mindig tesztelj a robots.txt-módosítások telepítése előtt. A Google Search Console tesztelőjével ellenőrizd a szabályokat. Havonta figyeld a feltérképezési statisztikákat. Blokkold a nem fontos tartalmakat, és hatékonyan kezeld a crawl-költségvetést. Használd a GEO SEO-audit eszközünket, hogy átvizsgáld a robots.txt-konfigurációdat, és azonosítsd a feltérképezhetőséggel és indexeléssel kapcsolatos lehetséges problémákat az egész webhelyeden.
Források
Nem. Ha egy oldalt letiltasz a robots.txt-ben, a Google nem térképezi fel, de ez nem segít a SEO-n. Ha nem akarod, hogy egy oldal indexelve legyen, használj noindex címkét. A robots.txt-et a crawl-költségvetés megtakarítására használd.
Nem. Soha ne blokkolj CSS-t vagy JavaScriptet a robots.txt-ben. A Google-nek szüksége van ezekre az erőforrásokra, hogy teljesen megértse az oldaladat. Ha blokkolod őket, a Google nem tudja helyesen renderelni a tartalmadat.
Általában nem kell feltérképezési sebességet beállítanod, hacsak a Google nem küld túl sok kérést. Ha a Google kimeríti a sávszélességedet, használd a Crawl-delay utasítást. A legtöbb webhely kezeli a Google alapértelmezett feltérképezési sebességét.
A TE ELŐTTED PRÓBÁLTÁK KI A SORANKOT
“Teszteltem a Sorankot egy valódi ügyfél oldalán, és őrület. Mindent megtesz, amiért egy ügynökség $1500-t kérne havonta. Most ennél az ügyfélnél már éles üzemben van.”
Guillaume Guersanguersanguillaume.com“Egy hirdetési ügynökség vagyunk, és végre rendbe akartuk tenni a SEO-nkat. A Sorank tiszta képet adott az oldalunkról, segített sorrendbe állítani az optimalizálásokat, és segített rendesen felépíteni a tartalmainkat. Az eszköz könnyen kezelhető, csapatra jól szabott, és nagyon praktikus, hogy több platform közötti ugrálás nélkül egy helyen követhetjük a munkát. Nagyon szilárd alap ahhoz, hogy újrakezdjük a SEO-nkat.”
Gaspard MadouiHirdetési ügynökség
“Csak hagytam, hogy a Sorank szoftver dolgozzon, és mostanra a DR-em 25, az oldalam pedig magasabban szerepel.”
Lucas Flandrefoundertrace.fr“A Soranknak köszönhetően GEO-szakértő lettem. A GEO-ranglista segítségével megmutathatom az ügyfeleimnek, hol állnak a versenytársakhoz képest a ChatGPT-ben. Ez valódi kereskedelmi előny.”
MélanieSEO szabadúszó“Remek szolgáltatás, jól működik a weboldalunkon, és segít megérteni, hogyan lehet javítani, hogy jobban szerepeljünk a Google-on és másutt. Gratulálok, így tovább, ajánlom.”
Hugo T.E-kereskedelmi kereskedő
