A magánszféra fontos számunkra, ezért lehetőséged van kikapcsolni bizonyos típusú tárolókat, amelyekre a weboldal alapvető működéséhez nincs szükség. A kategóriák letiltása befolyásolhatja a weboldal használatának élményét. További információ
Az AI-crawlerek olyan botok, amelyek weboldalakat töltenek le modellek tanításához és AI-válaszok kiszolgálásához. Ismerd meg, hogyan működik a GPTBot, a ClaudeBot és a többiek, és hogyan szabályozhatod őket.
Eszközök
A Sorank alapítója, több mint 7 éves SEO-tapasztalattal, GEO-rajongó.
Összefoglaló
Az AI-crawlerek automatizált botok, amelyek weboldalakat töltenek le nagy nyelvi modellek tanításához és AI-keresési válaszok kiszolgálásához. Olyan user agentekkel azonosítják magukat, mint a GPTBot, a ClaudeBot és a PerplexityBot, és a legtöbbjük betartja a robots.txt szabályait.
Szeretnél többet megtudni? Kérdezd meg
Az AI-crawlerek olyan automatizált programok, amelyek weboldalakat látogatnak meg, hogy tartalmat gyűjtsenek mesterséges intelligencia-rendszerek számára. Nagyjából úgy dolgoznak, mint a klasszikus keresőmotorok crawlerei: letöltik az oldalakat és beolvassák a szöveget, de AI-specifikus célokat szolgálnak: alapmodellek tanítását, indexek építését AI-válaszokhoz, és oldalak valós idejű lekérését, amikor a felhasználó kérdez. A három legaktívabb a GPTBot az OpenAI-tól, a ClaudeBot az Anthropictől és a PerplexityBot a Perplexity-től.
Azért fontosak, mert ők jelentik a kaput az AI-láthatósághoz. Ha egy AI-crawler nem éri el a tartalmadat, akkor azt nem lehet idézni a ChatGPT-ben, a Claude-ban vagy a Perplexity-ben, és nem tud beépülni azokba a modellekbe, amelyekre az emberek egyre inkább támaszkodnak. Annak megértése, hogy mely crawlerek léteznek, és hogyan szabályozhatók, ma már a technikai SEO és a GEO alapvető része.
Az AI-crawler olyan bot, amely weboldalakat tölt le egy AI-rendszer táplálására, nem pedig egy klasszikus keresési index számára. Mindegyik egyedi user agent karakterlánccal azonosítja magát a HTTP-kérés fejlécében, így a weboldal tulajdonosa felismerheti, AI-crawler naplóiban tanulmányozhatja a viselkedését, és eldöntheti, hogy engedélyezi vagy blokkolja. Ebben az értelemben mindegyik egy speciális crawlerbot, amely deklarált azonosítóval rendelkezik.
A begyűjtött tartalom három felhasználási célba kerülhet: a következő modellgeneráció tanítása, oldalak indexelése, hogy AI-válaszokban lehessen rájuk hivatkozni, vagy egy élő oldal szolgáltatása egy konkrét kérdés megválaszolásához. Annak tudása, hogy egy adott crawler melyik célt szolgálja, kulcsfontosságú a jó kezeléshez, mert a blokkolás következményei élesen eltérnek egymástól.
Az OpenAI a GPTBot-ot futtatja a tanításhoz és a ChatGPT-keresés számára, az OAI-SearchBot-ot a keresési funkció működtetéséhez, a ChatGPT-User-t pedig a felhasználó által kiváltott élő lekérésekhez. Az Anthropic ugyanezt a felépítést követi: a ClaudeBot a tanításhoz, a Claude-SearchBot a termékben futó keresési indexeléshez, a Claude-User pedig az igény szerinti lekérésekhez tartozik. A Perplexity a PerplexityBot-ot használja indexeléshez, a Perplexity-User-t pedig a felhasználó által kezdeményezett lekérésekhez.
Két további crawler fontos a tanítás szempontjából. A Google-Extended szabályozza, hogy a tartalmad felhasználható-e a Gemini és az AI Overviews számára, és fontos, hogy nem befolyásolja a normál Google-keresési rangsorolásodat. A CCBot a Common Crawl nyilvános archívumát táplálja, amelyen sok modell közvetve tanul. Az OpenAI crawlerei önmagukban is megmutatják a mintát: egy cég, több bot, mindegyiknek más a feladata.
Az AI-cégek általában háromszintű crawler-architektúrát működtetnek. A tanító botok, köztük a GPTBot, a ClaudeBot, a Google-Extended és a CCBot, ütemezett bejárásokon nagy mennyiségű szöveget gyűjtenek a jövőbeli modellek fejlesztéséhez, és ezzel táplálják azt az AI-tanítóadatot, amely alakítja, mit tud egy modell. Aktivitásuk nem kötődik egyetlen lekérdezéshez sem.
A keresőbotok, mint az OAI-SearchBot, a Claude-SearchBot és a PerplexityBot, oldalakat indexelnek, hogy azok megjelenhessenek és idézhetők legyenek az AI-válaszokban. A felhasználó által indított letöltők, köztük a ChatGPT-User, a Claude-User és a Perplexity-User, valós időben tölt le egy oldalt abban a pillanatban, amikor valaki releváns kérdést tesz fel. Ez a megkülönböztetés kritikus: egy élő letöltő blokkolása akkor is kivehet az aktív válaszokból, ha a tartalmadon már történt tanítás.
A weboldalad gyökerében található robots.txt fájl megmondja a crawlereknek, mely útvonalakat érhetik el, és a legtöbb AI-crawler ugyanúgy betartja, mint a klasszikus keresőbotok. Így minden botot szelektíven engedélyezhetsz vagy blokkolhatsz, például a nyilvános oldalakon megengedheted a keresőbotoknak és az élő lekérőknek a működést, a tanító botokat vagy a bizalmas részeket pedig korlátozhatod. Ha a tanítást szeretnéd blokkolni, de az élő válaszokban maradnál, letilthatod a GPTBot-ot, és engedélyezve hagyhatod a ChatGPT-User-t.
Van egy megkötés. A robots.txt udvarias kérés, és nem minden crawler tartja be. A ByteDance Bytespider-e dokumentáltan nem tartja be a szabályokat, a HAProxy pedig arról számolt be, hogy 2024-ben az AI-crawler forgalom közel 90%-a kizárólag a Bytespider-től érkezett, és sok esetben figyelmen kívül hagyta a tiltásokat. Egyes Perplexity-lekéréseknél azt is dokumentálták, hogy user agenteket és IP-címeket váltogattak, hogy kijátsszák a tiltásokat, ezért a privát tartalmak valódi védelméhez tűzfalon vagy botkezelésen keresztüli szerveroldali blokkolás kell, nem csak a robots.txt.
A hozzáférés a hivatkozás előfeltétele. Ha a tartalmadat bejárják, indexelik és megbízhatónak tartják, megjelenhet az AI-válaszokban és táplálhatja a modellek tudását; ha blokkolják, nem. Minden AI-bot blokkolása kivesz a márkádat a ChatGPT-keresésből, a Claude webes keresésből és a Perplexity válaszaiból, ami közvetlen költség az AI-keresési láthatóságodra nézve, és ami a nyilvános oldalak védelmét többnyire felülmúlja.
A gazdasági számítások egyre inkább az engedélyezés mellett szólnak. A Semrush szerint az AI-keresésből érkező látogatók átlagosan 4,4-szer annyit érnek, mint a hagyományos organikus látogatók, mert egy összefoglaló elolvasása után magas szándékkal érkeznek. Számít az aktualitás is: nagyjából 65%-a az AI-botok találatainak az elmúlt egy évben közzétett oldalakat célozza, ami a rendszeres publikálást jutalmazza.
Kezdd azzal, hogy eldöntöd a célodat. A legtöbb marketing- és SaaS-márkának érdemes engedélyeznie a nagy crawlereket a láthatóság maximalizálásához, míg a szellemi tulajdonukat védő kiadók dönthetnek úgy, hogy blokkolják a tanító botokat. Ezután szelektíven valósítsd meg a robots.txt-ben: engedélyezd a hivatkozást hozó és az élő lekérő botokat a nyilvános tartalmon, és csak azt korlátozd, ami valóban érzékeny vagy fizetős.
Ellenőrizd, mi történik valójában a szerver naplóinak átnézésével, és az IP-cím alapján erősítsd meg a crawler azonosságát, mert a user agentek hamisíthatók. A be nem tartó botokra szerveroldali szabályokat adj. Végül győződj meg róla, hogy a crawlerek által elérhető oldalak megérdemlik az idézést, ami itt a fegyelmezett kulcsszókutatás és tartalomtervezés feladata: így a hozzáférés összhangba kerül a kereslettel, és a legjobb anyagaid tiszta bejárását segíti.
A legnagyobb kihívás a láthatóság és a kontroll közötti feszültség. Az engedélyezés olyan tartalommal táplálja a modelleket és a válaszmotorokat, amelyből nem közvetlenül keresel, a blokkolás viszont védi a szellemi tulajdont, ugyanakkor kitörli az AI-láthatóságot. Nincs mindenki számára helyes döntés, ez az üzleti modelltől függ.
A második kihívás az érvényesítés. Mivel a robots.txt önkéntes, a blokkolás csak a jól viselkedő botokat állítja meg, a többiek megállításához infrastrukturális munka kell. A crawlerek nevei, viselkedésük és megfelelésük is változik, ezért az egyszer beállított szabályzat idővel elavul, hacsak nem nézed át rendszeresen és nem figyeled a naplóidat.
Az AI-crawlerek azok a botok, amelyek letöltik az oldalaidat modellek tanításához, AI-válaszokhoz való indexeléshez és élő kérdésekre adott válaszokhoz, és a GPTBot, a ClaudeBot és a PerplexityBot vezeti a mezőnyt. A legtöbbjük betartja a robots.txt-t, így szelektíven engedélyezhetők vagy blokkolhatók, de néhányan nem tartják be, és minden blokkolása kivesz a leggyorsabban növekvő felfedezési csatornából. A legtöbb márka számára a helyes lépés az, hogy engedélyezi a nagy crawlereket, frissen tartja a tartalmát, és csak azt védi, ami valóban érzékeny.
A továbblépéshez kösd ezt össze az AI-crawler naplókkal és az AI-indexeléssel, a Sorank kutatási és tartalomtervezési eszközeivel pedig győződj meg róla, hogy a bejárt oldalak a valódi keresletre válaszolnak. Forrásként használt anyagok: Contently és Soar.
Források
A legtöbb marketing- és SaaS-márka esetében nem. Ha minden AI-crawlert blokkolsz, kikerülsz a ChatGPT-keresésből, a Claude webes keresésből és a Perplexity válaszaiból, ami közvetlen láthatósági veszteség. A szellemi tulajdonukat védő kiadók néha blokkolják a tanító botokat, miközben engedélyezik a kereső és az élő lekérő ügynököket. A helyes döntés az üzleti modelltől függ, nem egyetlen szabálytól.
A legtöbbjük igen. A GPTBot, a ClaudeBot, az OAI-SearchBot, a PerplexityBot és a Google-Extended betartják a robots.txt-t, így szelektíven engedélyezhetők vagy blokkolhatók. A robots.txt azonban udvarias kérés, és néhány bot figyelmen kívül hagyja. A Bytespiernek dokumentáltan van ilyen múltja, ezért a privát tartalom védelme ezektől a crawlerektől tűzfalon vagy botkezelésen keresztüli szerveroldali blokkolást igényel.
A tanító botok, mint a GPTBot és a ClaudeBot, ütemezett bejárásokon gyűjtenek tartalmat a jövőbeli modellek javításához. A kereső botok, mint az OAI-SearchBot és a PerplexityBot, oldalakat indexelnek, hogy AI-válaszokban lehessen rájuk hivatkozni. A felhasználó által indított letöltők, mint a ChatGPT-User, valós időben töltenek le egy oldalt, amikor valaki kérdést tesz fel. Egy élő lekérő blokkolása kivetheti a márkádat az aktív válaszokból.
A TE ELŐTTED PRÓBÁLTÁK KI A SORANKOT
“Teszteltem a Sorankot egy valódi ügyfél oldalán, és őrület. Mindent megtesz, amiért egy ügynökség $1500-t kérne havonta. Most ennél az ügyfélnél már éles üzemben van.”
Guillaume Guersanguersanguillaume.com“Egy hirdetési ügynökség vagyunk, és végre rendbe akartuk tenni a SEO-nkat. A Sorank tiszta képet adott az oldalunkról, segített sorrendbe állítani az optimalizálásokat, és segített rendesen felépíteni a tartalmainkat. Az eszköz könnyen kezelhető, csapatra jól szabott, és nagyon praktikus, hogy több platform közötti ugrálás nélkül egy helyen követhetjük a munkát. Nagyon szilárd alap ahhoz, hogy újrakezdjük a SEO-nkat.”
Gaspard MadouiHirdetési ügynökség
“Csak hagytam, hogy a Sorank szoftver dolgozzon, és mostanra a DR-em 25, az oldalam pedig magasabban szerepel.”
Lucas Flandrefoundertrace.fr“A Soranknak köszönhetően GEO-szakértő lettem. A GEO-ranglista segítségével megmutathatom az ügyfeleimnek, hol állnak a versenytársakhoz képest a ChatGPT-ben. Ez valódi kereskedelmi előny.”
MélanieSEO szabadúszó“Remek szolgáltatás, jól működik a weboldalunkon, és segít megérteni, hogyan lehet javítani, hogy jobban szerepeljünk a Google-on és másutt. Gratulálok, így tovább, ajánlom.”
Hugo T.E-kereskedelmi kereskedő
