Összefoglaló
Az ingyenes robots.txt ellenőrző beolvassa bármely domain élő robots.txt fájlját, és megmutatja a szabálycsoportjait, a sitemapjeit, a talált problémákat, valamint 14 AI-crawler állapotát (engedélyezett, részben tiltott vagy tiltott), a GPTBot és az OAI-SearchBot től a ClaudeBotig, PerplexityBotig és Google-Extendedig. Használd a fájl minden módosítása után, és akkor is, ha az oldalaid eltűnnek a Google-ből vagy az AI-válaszokból.
Szeretnél többet megtudni? Kérdezd meg
A robots.txt ellenőrző rátalál arra a sorra, amely csendben egy egész oldalt letilt. A robots.txt nyilvános szabvány (RFC 9309), amelyet minden nagy crawler beolvas, mielőtt meglátogat egy oldalt, az AI-crawlerek pedig megsokszorozták azoknak a botoknak a számát, amelyeket a fájlnak kezelnie kell. 2024 májusa és 2025 májusa között a GPTBot részesedése az AI-crawlerforgalomban 5%-ról 30%-ra nőtt, a Meta-ExternalAgent pedig 19%-ot ért el (Cloudflare: ki térképezi fel az oldaladat 2025-ben). A fájlodnak valami értelmeset kell mondania mindegyiküknek.
Mit mutat a robots.txt ellenőrző?
Add meg a domaint, az eszköz lekéri a https://yourdomain/robots.txt fájlt, követi az átirányításokat, feldolgozza a fájlt, és öt blokkot ad vissza.
| Blokk | Mit mutat | Mire figyelj |
|---|---|---|
| Szabálycsoportok | Hány User-agent csoportot tartalmaz a fájl | A nulla azt jelenti, hogy a szintaxist nem lehetett beolvasni |
| Sitemapek | Minden talált Sitemap sor | Legalább egy teljes URL a sitemapedhez |
| Tiltott AI-botok | Hány a 14 AI-crawlerből tiltott teljesen | Csak azok, amelyeket szándékosan tiltottál |
| Problémák | Észlelt hibák, javaslattal | Nulla, vagy csak szándékos döntések |
| Nyers fájl | A robots.txt úgy, ahogy ki van szolgáltatva | Hogy ez az a fájl, amelyet közzé akartál tenni |
Ha a domainnek nincs robots.txt fájlja, vagy sima szöveg helyett HTML oldalt ad vissza, az eszköz ezt jelzi, és fájl hozzáadását javasolja. Az ingyenes verzió naponta 3 ellenőrzést futtat.
Hogyan dönti el az ellenőrző, hogy egy AI-bot tiltva van-e?
Mind a 14 AI-crawlerhez az eszköz keres egy olyan csoportot, amely megnevezi a botot. Ha nincs ilyen, a User-agent: * csoportot használja. Ezután három állapotot alkalmaz.
| Állapot | A csoportban talált szabály | Jelentése |
|---|---|---|
| Engedélyezett | Nincs alkalmazható csoport, vagy a csoportban nincs Disallow szabály | A bot bejárhatja az egész oldalt |
| Részben tiltott | Disallow szabályok csak néhány útvonalon | A bot bejárhatja az oldalt, kivéve ezeket az útvonalakat |
| Tiltott | Disallow: / Allow: / nélkül | A bot arra kapja a kérést, hogy maradjon ki az egész oldalból |
Az ellenőrzött 14 crawler: a GPTBot, az OAI-SearchBot és a ChatGPT-User (OpenAI), a ClaudeBot, a Claude-Web és az anthropic-ai (Anthropic), a PerplexityBot és a Perplexity-User, a Google-Extended, az Applebot-Extended, a CCBot (Common Crawl), az Amazonbot, a Bytespider (ByteDance) és a Meta-ExternalAgent. A táblázat minden botnál feltünteti a szolgáltatót és a célt is, így egy pillantással látod, hogy tanítást, keresést vagy élő böngészést tiltasz-e.
Mely AI-crawlereket engedélyezd?
Engedélyezd azokat a crawlereket, amelyek az oldalaidat AI-keresési válaszokba juttatják. A tanító crawlerek tiltása üzleti döntés; a keresőcrawlerek tiltása általában hiba.
- OAI-SearchBot: a kiiratkozó oldalak nem jelennek meg a ChatGPT keresési válaszaiban. A GPTBot csak a modelltanításra vonatkozik, a két beállítás pedig független egymástól (OpenAI crawlerek áttekintése).
- PerplexityBot: weboldalakat jelenít meg és hivatkozik rájuk a Perplexity eredményeiben, és nem használják alapmodellek tanítására (Perplexity crawlerek).
- Google-Extended: a Gemini tanításához és alapozásához használt token, amely nem befolyásolja a Google Keresőben való megjelenést vagy a rangsorolást (Google általános crawlerei).
- Anthropic: a ClaudeBot tanítóadatokat gyűjt, a Claude-SearchBot és a Claude-User pedig a keresést és a felhasználói kéréseket szolgálja ki; e kettő tiltása csökkentheti a láthatóságodat a Claude-ban (Anthropic crawlerpolitika).
A legtöbb oldal soha nem dönt. 2025. június 6-án a robots.txt-vel rendelkező első 10 000 domain mindössze körülbelül 14%-ának voltak AI-botokat célzó szabályai, a GPTBot pedig ugyanezen Cloudflare-tanulmány szerint a legtöbbet tiltott (312 domain) és a legtöbbet kifejezetten engedélyezett (61 domain) bot volt. A fájlban nem említett botok alapértelmezetten engedélyezettek.
Mit jelentenek a leggyakoribb problémák?
| Jelentett probléma | Miért fontos | Javítás |
|---|---|---|
| A User-agent: * teljes oldalra tiltva | Minden crawler, amelynek nincs saját csoportja, a Googlebotot is beleértve, arra kapja a kérést, hogy maradjon ki | Távolítsd el a Disallow: / sort a * csoportból, hacsak az oldal nem staging másolat |
| Nincs Sitemap direktíva | Azok a crawlerek, amelyeknek soha nem adtad be a sitemapot, például a Bing vagy az AI-crawlerek, lehet, hogy nem találják meg | Add hozzá: Sitemap: https://yourdomain/sitemap.xml |
| Egy megnevezett AI-bot tiltva | Az a szolgáltató nem fogja bejárni az oldalaidat | Tartsd meg, csak ha a bot tiltása szándékos döntés |
| Nem sikerült szabálycsoportot beolvasni | A fájlban nincs érvényes szabály, tehát semmit nem korlátoz | Ellenőrizd a szintaxist: Mező: érték, soronként egy szabály |
| Nem található robots.txt | Önmagában nem hiba: a Google ilyenkor mindent bejár | Adj hozzá fájlt mindenesetre, hogy megadhasd a sitemapedet és az AI-döntéseidet |
A hiányzó vagy hibás fájlt a Google az HTTP státusz szerint másként kezeli. A 4xx válasz (a 429 kivételével) azt jelenti, hogy nincs korlátozás. Az 5xx választ szerverhibának veszi: a Google 12 órára szünetelteti a bejárást, majd legfeljebb 30 napig az utolsó jó példányt használja (Google: hogyan értelmezi a robots.txt specifikációt). Egy robots.txt, amely folyamatosan szerverhibával tér vissza, ezért egy egészséges oldal bejárását is megfagyaszthatja.
Hogyan javítsd lépésenként a robots.txt problémát?
- Olvasd el a nyers fájlt a jelentésben, hogy biztosan tudd, mi van valójában élesben. A CDN-gyorsítótárak és a staging telepítések gyakran régi változatot szolgálnak ki.
- Írd át a fájlt a robots.txt generátorral, amely tiszta csoportokat, Allow és Disallow szabályokat és a Sitemap sort állítja elő.
- Töltsd fel a gyökérbe minden állomásnévhez. Egy olyan aldomainnek, mint a blog.example.com, saját fájl kell.
- Futtasd újra az ellenőrzőt, és győződj meg róla, hogy az állapotok megváltoztak.
- Jelezd a Google-nek, ha a javítás sürgős. A Search Console robots.txt jelentése megmutatja, mely fájlokat találta a Google a legfontosabb 20 állomásnévhez, és újra bejárást kérhetsz (Search Console súgó, robots.txt jelentés). Egyébként a Google nagyjából 24 órán belül frissíti a gyorsítótárazott másolatát.
Ezután nézd meg magukat az oldalakat. Egy robots.txt-ben nyitott oldalt még kizárhat az indexből a noindex címke, vagy egy másik helyre mutató canonical: az indexelhetőség-ellenőrző ezeket mind teszteli egyetlen URL-en. Az egész oldalra kiterjedő képet arról, mit olvashatnak az AI-crawlerek, az AI-bejárhatósági audit adja.
Mik a robots.txt ellenőrző korlátai?
- Az állapotok botonként összegzettek, nem URL-enként. A „részben tiltott” azt jelzi, hogy néhány útvonal zárva van; a szabályok elolvasásával derül ki, melyek.
- Egy csoport botonként. Ha ugyanannak a botnak a szabályait több csoportba osztottad, a Google összevonja őket. Ilyenkor olvasd el a nyers fájlt.
- Csak a gyökértartomány. Az eszköz a megadott domain fájlját olvassa, www nélkül, és követi az átirányításokat. Minden aldomaint külön ellenőrizz.
- 14 bot listája. Az újabb user-agentek, mint a Claude-SearchBot és a Claude-User, még nincsenek a táblázatban: a nyers fájlban keresd őket.
- A robots.txt csak kérés. A megbízható crawlerek betartják, a visszaélők nem. A felhasználó által indított letöltések, például a ChatGPT-User vagy a Perplexity-User, előfordulhat, hogy nem alkalmazzák, ahogy ezt mindkét cég dokumentálja.
A fenti ellenőrzések mögötti fogalmakhoz lásd a szószedetünk robots.txt és AI-crawlerek szócikkét.
Hogyan biztosíthatod, hogy az AI-asszisztensek megtaláljanak és idézzenek?
A nyitott robots.txt a feltétel, nem az eredmény. Miután a crawlerek olvashatják az oldaladat, mérd meg, hogy az AI-asszisztensek ténylegesen használják-e.
- Kövesd a márkádat az AI-válaszokban a Sorank AI-említéskövetéssel, amely havonta ellenőrzi, megnevezi-e téged a ChatGPT, a Claude és a Gemini, és mely forrásokat idézik.
- Kövesd az AI-látogatásokat a Google-kattintásaid mellett a GEO és SEO irányítópultban.
- Adj a crawlereknek friss oldalakat a blogtervezővel, amely feltölti a naptáradat, és az ütemezés szerint publikál.
Egyetlen rossz sor a robots.txt-ben egyszerre rejtheti el az oldaladat a Google elől és minden AI-asszisztens elől. Minden módosítás után ellenőrizd az ellenőrzővel, majd nézd meg a Sorank csomagokat, hogy az AI-bejárhatóságodat és az AI-láthatóságodat autopilot módon figyeljék.
