Robots.txt az MI-crawlereknek: mit engedj be, mit tiltsál le

Gyors kvíz

Hogyan érdemes elérni, hogy a ChatGPT és más MI-asszisztensek megemlítsenek?

1. kérdés, összesen 425%

Mit szeretnél megtudni vagy megváltoztatni?

Csak azt szeretném látni, beszélnek-e rólam az MI-asszisztensekHosszabb távon követni, a versenytársaimhoz képestGyakrabban említsenek meg, már most

Az MI-crawlereknek szóló robots.txt ma már üzleti döntés, nem csak technikai fájl. Ugyanaz a fájl, amely egykor csak a Googlebottal beszélt, most azt dönti el, hogy a ChatGPT, a Claude, a Perplexity és a Gemini olvashatja-e, idézheti-e és linkelheti-e az oldalaidat. Maga a formátum nem változott: még mindig a Robots Exclusion Protocol, amelyet az RFC 9309 szabványosít, user agentekkel, Allow és Disallow sorokkal. Az változott, hogy több agent van, és egy szolgáltató több, különböző célú botot is futtathat.

Milyen MI-crawlerek léteznek, és mit csinálnak?

A legtöbb MI-szolgáltató ma már külön user agentbe sorolja a tanítást, a keresési indexelést és a felhasználó által kiváltott lekérést. A táblázat a főbb botokat foglalja össze, ahogy a szolgáltatók dokumentálják őket.

Források: az OpenAI crawlerdokumentáció és a Google gyakori crawlerlistája. A nevek időnként változnak, ezért a fájl szerkesztése előtt nézd meg az egyes szolgáltatók oldalát. A MI-crawlerek és az OpenAI-crawlerek szócikkeink rövidek tartják a definíciókat.

Tiltsd le az MI-crawlereket?

A legtöbb vállalkozásnak, amely vásárlókat szeretne, nem: ha muszáj, tiltsd le a tanítást, a keresőcrawlereket tartsd nyitva. A kompromisszum attól függ, mit árulsz:

• Márkák, SaaS, webáruházak, helyi vállalkozások: az MI-válaszok egy akvizíciós csatorna. A keresőcrawlerek tiltása kivesz belőle. A tanító crawlerek engedése pedig segít, hogy a jövőbeli modellek megismerjék a márkádat.
• Kiadók, akik oldalmegtekintésekből vagy előfizetésekből élnek: a tanító crawlerek tiltása védi a tartalom értékét; a keresőcrawlerek nyitva tartása továbbra is hoz hivatkozásokat és linkeket.
• Zárt vagy licencelt tartalmat közlő oldalak: tiltsd le szélesen, és a szerveren érvényesítsd, mert a robots.txt kérés, nem hozzáférés-szabályozás.

Hogyan néz ki egy ajánlott robots.txt?

Külön csoportok user agentenként, a kereső botok engedélyezésével, és tiszta döntéssel a tanító botokra. Példa egy vállalkozásra, amely láthatóságot szeretne az MI-ben, de nem táplálná a tanítást:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Töröld a második csoportot, ha nem bánod, hogy a tartalmaddal tanítsanak. Az ingyenes robots.txt-generátorunk elkészíti a fájlt, a robots.txt-ellenőrzőnk pedig megmutatja, mely agenteket engedi be a fájl élesben.

Mely hibák tiltják véletlenül az MI-láthatóságot?

A leggyakoribb egy fórumról átmásolt általános szabály. Gyakori hibák:

• A staging környezetből maradt „User-agent: * / Disallow: /”, amely minden botot tilt, a Googlebotot is.
• Az OAI-SearchBot tiltása, miközben a GPTBotot akartad letiltani, ami a ChatGPT-keresésből vesz ki, nem csak a tanításból.
• CDN- vagy tűzfalszabály a botvédelemre, amely a robots.txt-től függetlenül 403-as választ ad az MI-user agenteknek. Ellenőrizd a szerver naplóit.
• Az oldal rendereléséhez szükséges CSS és JavaScript tiltása, így a crawlerek üres vázat látnak.
• Fontos tartalom, amely csak a böngészőben töltődik be; sok MI-crawler nem futtat JavaScriptet, ezért a fő szöveget a HTML-ben kell szállítani.

Elég a robots.txt ahhoz, hogy idézzenek?

Nem, csak kinyitja az ajtót. Miután a crawlerek olvashatják az oldalaidat, az idézés azon múlik, hogy az oldalak világosan válaszolnak-e a kérdésekre, kinyerésre alkalmas-e a szerkezetük, és megerősítik-e más források. A tiszta, MI-keresésre szánt strukturált adat, a válasszal kezdődő szakaszok és egy opcionális llms.txt fájl segít a következő lépésben.

Következtetés

Kezeld az MI-crawlereket külön döntésekként: nyisd meg a kereső- és a felhasználói lekérő botokat, a tanító botokról tudatosan dönts, és ellenőrizd, hogy a szervered ugyanezt a szabályt érvényesíti-e. Ezután mérd meg, hogy a nyitott ajtóból lesz-e hivatkozás. A Sorank havonta követi a márkádat a ChatGPT-ben, a Claude-ban és a Geminiben, és idézhetőre strukturált tartalmakat publikál: kezdd 3 napos ingyenes próbaidőszakkal.