Összefoglaló
Az ingyenes robots.txt-generátor megírja azt a fájlt, amely megmondja a feltérképező robotoknak, mely részeket látogathatják meg a webhelyeden. Válassz módot (mindent enged, mindent tilt vagy egyéni), sorold fel a user-agenteket és az útvonalakat, add hozzá a sitemap URL-jét, majd másold vagy töltsd le a fájlt, és töltsd fel a domain gyökerébe. Ne feledd, hogy a robots.txt a feltérképezést szabályozza, nem az indexelést: ha egy oldalt ki akarsz tartani a Google-ből, használd helyette a noindexet.
Szeretnél többet megtudni? Kérdezd meg
A robots.txt-generátor megóv attól a kis szintaktikai hibától, amely véletlenül egy egész webhelyet letilt. A fájl a Robots Exclusion Protocolt követi, amelyet Martijn Koster hozott létre 1994-ben, az IETF pedig 2022 szeptemberében internetes szabványként tett közzé (RFC 9309, Robots Exclusion Protocol). Minden komoly feltérképező robot először ezt olvassa el, a Googlebot-tól kezdve a ChatGPT, a Claude és a Perplexity robotjaiig.
Mit csinál a robots.txt-generátor?
Gépelés közben érvényes robots.txt fájlt épít, jobb oldalon élő előnézettel, egy Másolás gombbal és egy Letöltés gombbal, amely robots.txt néven menti a fájlt. Semmi nem kerül szerverre: a fájl a böngészőben áll össze.
| Beállítás | Mit ír | Mikor használd |
|---|---|---|
| Mindent enged | User-agent: * és Allow: / | A legtöbb nyilvános webhely, amelynek nincs elrejtenivalója a robotok elől |
| Mindent tilt | User-agent: * és Disallow: / | Tesztelő vagy előnézeti webhelyek, amelyeket nem szabad feltérképezni |
| Egyéni | Egy User-agent sor robotonként, utána a Disallow és Allow útvonalak | Adminisztrációs felületek, belső keresés vagy egy adott robot tiltása |
| Sitemap URL | Sitemap: https://example.com/sitemap.xml | Mindig, hogy minden robot megtalálja a sitemapedet |
| Crawl-delay | Crawl-delay: 1 és 120 másodperc között | Csak azoknál a robotoknál, amelyek támogatják, és egy olyan szervernél, amely küzd a terheléssel |
Egyéni módban az összes felsorolt user-agent ugyanazokat a szabályokat osztja meg, így határozza meg a szabvány a csoportot. Ha különböző robotoknak eltérő szabályokat szeretnél adni, egyszerre egy csoportot generálj, és egymás után illeszd be őket ugyanabba a fájlba.
Hogyan készíts robots.txt fájlt lépésről lépésre?
- Válaszd ki a módot. Kezdd a „Mindent enged” beállítással, hacsak nincs okod valamit letiltani.
- Sorold fel a user-agenteket egyéni módban, soronként egyet: a
*minden feltérképezőre vonatkozik, vagy add meg a neveket, például a Googlebotot, a Bingbotot vagy a GPTBotot. - Add meg a letiltandó útvonalakat (Disallow) és a nyitva tartandó kivételeket (Allow), soronként, mindegyik perjellel kezdve.
- Illeszd be a sitemap URL-jét teljesen, https-sel és a domainnel.
- Másold vagy töltsd le a fájlt, és töltsd fel a tárhelyed gyökerébe, hogy a
https://example.com/robots.txtcímen elérhető legyen. - Teszteld élesben az ingyenes robots.txt-ellenőrzővel, amely a ténylegesen élő fájlt olvassa, és minden AI-feltérképező állapotát megmutatja.
A helye szigorú. A Google csak a tárhely gyökerében lévő robots.txt fájlt olvassa, egy webhelynek csak egy lehet, és a fájl csak arra a protokollra, tárhelyre és portra érvényes, ahol elhelyezték: az aldomainnek saját fájl kell (Google, robots.txt fájl létrehozása és beküldése).
Mely robots.txt szabályokat követi a Google?
A Google négy mezőt támogat: user-agent, allow, disallow és sitemap. A többi mezőt, például a crawl-delay-t, nem támogatja (Google, a robots.txt specifikáció értelmezése). Ugyanez az oldal határozza meg az alábbi szabályokat.
| Szabály | Hogyan alkalmazza a Google |
|---|---|
| A legspecifikusabb szabály nyer | Ha az Allow és a Disallow is illik egy URL-re, a leghosszabb útvonalú szabály érvényesül |
| Egyenlő szabályok között | Ha két illeszkedő szabály ugyanolyan specifikus, a Google a kevésbé korlátozót használja |
| Helyettesítő karakterek | * karakterek tetszőleges sorozatára illeszkedik, a $ az URL végét jelöli |
| Kis- és nagybetű | A mezőnevek kis- és nagybetű-érzéketlenek, de az útvonalak nem: a /Admin/ nem azonos a /admin/-nal |
| Fájlméret | Az első 500 KiB utáni tartalmat a rendszer figyelmen kívül hagyja |
| Gyorsítótár | A fájl általában legfeljebb 24 órára gyorsítótárazódik, ezért a változtatás nem azonnal hat |
| Hiányzó fájl (4xx) | Úgy kezeli, mintha nem lenne korlátozás: minden feltérképezhető |
| Szerverhiba (5xx) | A Google 12 órára szünetelteti a feltérképezést, majd legfeljebb 30 napig az utolsó jó példányt használja |
Itt egy tipikus fájl egy online boltnak. Letiltja a kosarat, a pénztárat és a belső keresést, nyitva tart egy nyilvános mappát, és megadja a sitemapet.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Eltávolítja a Disallow egy oldalt a Google-ből?
Nem. A robots.txt nem eszköz arra, hogy egy weboldalt kitartsunk a Google-ből. Egy letiltott URL továbbra is indexelhető, ha más webhelyek hivatkoznak rá, és ilyenkor leírás nélkül jelenik meg (Google, bevezetés a robots.txt-be). Egy oldal elrejtéséhez engedd, hogy a Google feltérképezze, és adj hozzá noindex meta címkét vagy HTTP-fejlécet. Ha ugyanakkor a robots.txt-ben letiltod az oldalt, a Google soha nem látja majd a noindexet.
Az eredményt oldalanként ellenőrizd az indexelhetőség-ellenőrzővel, amely egyszerre olvassa a robots.txt-t, a meta robots címkét, az X-Robots-Tag fejlécet és a kanonikus címkét. A fogalmakhoz lásd szómagyarázatunk robots.txt és feltérképezés és indexelés szócikkeit.
Érdemes letiltani az AI-feltérképezőket a robots.txt-ben?
Ha akarod, tiltsd le a modelleket tanító robotokat, de a keresést működtető AI-robotokat tartsd nyitva. A nagy szolgáltatók ma már szétválasztják a kettőt, így nem kell választanod a tartalmad védelme és az idézettség között.
| Szolgáltató | Tanító robot | Kereső- vagy válaszrobot | Mibe kerül a keresőrobot tiltása |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Az oldalaid nem jelennek meg a ChatGPT keresési válaszaiban |
| Anthropic | ClaudeBot | Claude-SearchBot | Kevesebb láthatóság a Claude keresési eredményeiben |
| Perplexity | Nincs felsorolva | PerplexityBot | Az oldalaid lehet, hogy nem jelennek meg vagy nem kapnak linket a Perplexity eredményeiben |
| Google-Extended (jelölő, nem külön robot) | Googlebot | A Google-Extended nem befolyásolja a Google Keresést vagy a rangsorolást |
Források: OpenAI feltérképezők áttekintése, Anthropic feltérképezési szabályzat, Perplexity feltérképezők és Google gyakori feltérképezői. A tanítás megtagadásához úgy, hogy a ChatGPT-ben továbbra is idézhető maradj, elég egy fájl, amely csak ez a két sort tartalmazza, mert minden más robot alapértelmezés szerint engedélyezett:
User-agent: GPTBot Disallow: /
A trend valós: egyetlen év alatt (2023-tól 2024-ig) a C4 tanítóadatkészlet legaktívabban karbantartott forrásainak 28% vagy több része teljesen korlátozottá vált az AI-feltérképezők számára (Longpre et al., Consent in Crisis, 2024). Mielőtt követnéd, nézd meg, mibe kerül a tiltás az AI-válaszokban: a Sorank AI-említéskövetés havonta megmutatja, hogy a ChatGPT, a Claude és a Gemini megnevezi-e a márkádat.
Mely robots.txt-hibák ártanak a SEO-nak a legjobban?
- A Disallow: / meghagyása indulás után. A tesztelő fájlok gyakran élesbe kerülnek. Egyetlen sor minden robotot kizár az egész webhelyről.
- CSS és JavaScript tiltása. Ha a hiányzó erőforrások megnehezítik az oldal megértését, a Google azt tanácsolja, hogy ne tiltsd le őket.
- A záró perjel elfelejtése. A
Disallow: /admina/administrationés az/admin-guideútvonalakat is letiltja. Írd úgy, hogy/admin/, így csak a mappát tiltod le. - A crawl-delay támaszkodása a Google-re. A Google figyelmen kívül hagyja. Az Anthropic szerint támogatja a bővítést, ezért csak azoknak a roboknak tartsd meg, amelyek olvassák.
- A robots.txt biztonsági eszközként való használata. A fájl nyilvános, bárki elolvashatja. A privát részeket bejelentkezéssel védd, ne egy olyan Disallow sorral, amely egyenesen rájuk mutat.
- A WordPress-kivétel elfelejtése. Az alapértelmezett WordPress fájl letiltja a
/wp-admin/útvonalat, de engedi a/wp-admin/admin-ajax.phpfájlt, amelyet a felhasználói felületi funkciók használnak (WordPress fejlesztői referencia).
Hogyan ellenőrizd a robots.txt fájlt közzététel után?
Használj három ellenőrzést, a leggyorsabbtól a legteljesebbig.
- Nyisd meg az URL-t:
https://yourdomain.com/robots.txta böngészőben. Egyszerű szöveget kell látnod, nem HTML-oldalt vagy 404-es hibát. - Futtasd a robots.txt-ellenőrzőt, hogy listázza a szabálycsoportokat, a sitemapeket, a hibákat és 14 AI-felhasználói ügynök állapotát.
- Nyisd meg a robots.txt jelentést a Search Console-ban. Megmutatja a Google által a webhelyed első 20 hosztjához talált fájlokat, az utolsó feltérképezést, a figyelmeztetéseket, és sürgős javítás után újrafeltérképezést kérhetsz (Search Console Súgó, robots.txt jelentés).
Utána fejezd be a beállítást: készíts tiszta sitemapet az XML-sitemap-generátorral, és egy llms.txt fájlt a llms.txt-generátorral, amely összefoglalót ad az AI-asszisztenseknek a kulcsfontosságú oldalaidról.
Mik egy generált robots.txt korlátai?
A generátor helyes szintaxist ír, de nem ismeri a webhelyedet. Nem ellenőrzi, hogy egy letiltott útvonal olyan oldalakat takar-e, amelyeknek a rangsorolását szeretnéd. Egyszerre egy csoportot ír. A rossz szándékú robotok teljesen figyelmen kívül hagyják a fájlt: a robots.txt kérés, nem fal, ezért a visszaélő forgalmat a szerver vagy a tűzfal szintjén tiltsd le. Végül a protokoll csak a feltérképezésre vonatkozik. Egy felhasználói kérésre lekért oldal, például a ChatGPT-User vagy a Perplexity-User nem feltétlenül tartja be a robots.txt szabályait, ahogy mindkét szolgáltató a dokumentációjában írja.
Hogyan teszed könnyen feltérképezhetővé és idézhetővé a webhelyedet?
A tiszta robots.txt az első lépés. A következő az, hogy érdemes feltérképezni való oldalakat publikálsz, és ellenőrzöd, hogy a robotok tényleg visszatérnek-e.
- Kövesd a feltérképezésedet és a forgalmadat a GEO és SEO irányítópulton, amely összefogja a Search Console-t, az Analyticset és a ChatGPT-ből és a Perplexity-ből érkező látogatásokat.
- Nézd meg, mely webhelyeket idézik az AI-asszisztensek a piacodon a GEO-ranglistával, és hogy hol állsz köztük.
- Publikálj rendszeresen a blogcikk-generátorral, hogy a robotok mindig találjanak valami újat.
Egy kétperces robots.txt egyszerre védi a feltérképezési kereteidet és az AI-láthatóságodat. Generáld le fent a sajátodat, teszteld az ellenőrzővel, majd nézd meg a Sorank-csomagokat, hogy a webhelyed autopilot módban feltérképezhető és idézhető maradjon.
