OpenAI-crawlerek: GPTBot, OAI-SearchBot és ChatGPT-User magyarázata 2026-ra

Az OpenAI-crawlerek azok a felhasználói ügynökök, amelyeket az OpenAI a nyílt webről származó tartalmak olvasására és lekérésére küld. Nem egyetlen bot, hanem több, és mindegyiknek más a feladata. Fontos tudni, melyik melyik, mert a beállított szabályok határozzák meg, hogy a tartalmadat felhasználhatják-e modellek tanítására, megjelenhet-e a ChatGPT-keresésben, vagy mindkettőre. Ha rossz botot tiltasz le, csendben kieshetsz az AI-válaszokból.

Ez gyakorlati, technikai téma, a generatív motoroptimalizálás (GEO) lényegéhez tartozik. Ha azt szeretnéd, hogy a ChatGPT idézzen téged, a releváns AI-crawlereknek el kell érniük az oldalaidat, és meg kell értened a különbséget a tanítási és a keresési hozzáférés között. Ez a cikk közvetlenül abból indul ki, ahogyan az OpenAI dokumentálja a botjait.

Mik az OpenAI-crawlerek?

Az OpenAI-crawlerek automatikus programok, egyfajta keresőrobotok, amelyek az OpenAI nevében kérnek le oldalakat weboldalakról. Más webes crawlerekhez hasonlóan felhasználói ügynök karakterlánccal azonosítják magukat, és a legtöbb esetben betartják a robots.txt fájlban megadott utasításokat. Az OpenAI közzéteszi az egyes crawlerek IP-tartományait, így ellenőrizheted, hogy a magukat OpenAI-nak mondó forgalom valódi-e.

A kulcsfogalom az elkülönítés. Az OpenAI különböző crawlereket üzemeltet különböző célokra, és mindegyik külön engedélyezhető vagy letiltható. Így finomhangolhatod a döntéseidet: engedélyezheted például a keresési indexelést, miközben elutasítod a tanítást, ahelyett hogy mindent vagy semmit választanál.

GPTBot: a tanító crawler

A GPTBot az a crawler, amely olyan tartalmakat gyűjt, amelyek felhasználhatók az OpenAI generatív AI-alapmodelljeinek tanításához. A felhasználói ügynöke GPTBot néven azonosítja magát, az OpenAI dokumentációjára mutató hivatkozással, az IP-tartományai pedig az OpenAI által karbantartott JSON-fájlban találhatók. A GPTBot tiltása a robots.txt-ben azt jelzi, hogy a tartalmadat nem szabad modelltanításra használni.

Fontos, hogy a GPTBot tiltása kizárólag a tanításra vonatkozik. Nem vesz ki a ChatGPT-keresésből, mert a keresés másik crawlert használ. Sok kiadó, aki korlátozni szeretné a tanítást, de továbbra is látható akar maradni az AI-válaszokban, úgy dönt, hogy kifejezetten a GPTBotot tiltja le, a keresőbotot pedig engedi.

OAI-SearchBot: a kereső crawler

Az OAI-SearchBot az a crawler, amely a weboldalakat a ChatGPT keresési funkcióiban láthatóvá teszi. Az oldalakat úgy indexeli, hogy a ChatGPT válaszolásakor visszakereshetők és idézhetők legyenek. Ez teljesen külön rendszer a tanítási adatok gyűjtésétől. A felhasználói ügynöke OAI-SearchBot néven azonosítja magát, az IP-tartományait pedig szintén az OpenAI teszi közzé.

Ez a crawler a legfontosabb a láthatóság szempontjából. Ha letiltod az OAI-SearchBotot, az oldalaid nem jelennek meg a ChatGPT-keresési találatok között, bár néhány navigációs hivatkozás megmaradhat. A robots.txt-beli változtatások ennél a botnál körülbelül 24 óra alatt érvényesülnek, tehát nem azonnaliak. Az engedélyezése gyakorlatilag az ára annak, hogy idézhető legyél az AI-keresésben.

ChatGPT-User: a felhasználó kérésére lekérő

A ChatGPT-User csak akkor aktiválódik, ha valaki kifejezetten arra kéri a ChatGPT-t vagy egy egyedi GPT-t, hogy olvasson el egy konkrét URL-t, vagy olyan műveletet hajtson végre, amelyhez oldalt kell lekérni. Soha nem végez automatikus, nagy méretű feltérképezést. A felhasználói ügynöke ChatGPT-User néven azonosítja magát, az OpenAI bot-dokumentációjára mutató hivatkozással.

Mivel ezeket a kéréseket egy felhasználó indítja, és nem automatikus feltérképezés, a robots.txt szabályai a ChatGPT-Userre nem feltétlenül vonatkoznak ugyanúgy. Van egy kapcsolódó hirdetési ügynök is, az OAI-AdsBot, amelyet nem modelltanításra, hanem a hirdetési céloldalak ellenőrzésére használnak. Ez is külön kezelhető.

Miért fontosak az OpenAI-crawlerek a SEO és a GEO szempontjából

Ezek a crawlerek őrzik a ChatGPT-láthatóságod kapuját. A ChatGPT nem idézhet olyan oldalt, amelyet nem olvashatott, ezért a hibásan beállított robots.txt az egyik leggyakoribb és elkerülhető oka annak, hogy egy márka hiányzik az AI-válaszokból. A crawlerek helyes elérhetősége előfeltétele mindennek, ami a generatív motoroptimalizálásban ezután jön.

A döntésnek stratégiai dimenziója is van. Vannak kiadók, amelyek szívesen idézhetők a keresésben, de nem akarnak tanításra felhasználható tartalom lenni, és a külön crawlerek ezt az álláspontot lehetővé teszik. Az általános gyakorlat, hogy a botok elérik és olvassák a tartalmadat, pusztán az AI-ra alkalmazott feltérképezés, és ugyanaz a rend, amely a keresőmotoroknak segít, itt is hasznos.

Hogyan szabályozhatod az OpenAI-crawlereket?

Először döntsd el a szabályzatodat. Ha a ChatGPT-keresésben látható akarsz maradni, de a tanításból ki szeretnél maradni, engedélyezd az OAI-SearchBotot, és tiltsd le a GPTBotot a robots.txt-ben. Ha minden AI-expozíciót maximalizálni akarsz, engedélyezd mindet. Ha teljesen kiszállnál, tiltsd le mindegyiket, és számolj azzal, hogy elveszíted a ChatGPT-keresési láthatóságot. A szabályt botonként állítsd be, mert mindegyik crawler független a többitől.

A robots.txt frissítése után ne feledd, hogy a keresőbot változásai körülbelül egy nap alatt érvényesülnek, a valódi crawler-forgalmat pedig érdemes az OpenAI közzétett IP-tartományaival ellenőrizni. A hozzáférésen túl azt is biztosítsd, hogy a tartalom maga értelmezhető legyen: ne rejtsd a lényeges információkat kliensoldali JavaScript mögé vagy képekbe, mert a crawler csak azt tudja idézni, amit ténylegesen el tud olvasni. A tiszta hozzáférést erős kulcsszókutatással és tartalomtervezéssel párosítsd, hogy az oldalak, amelyekhez eljutnak, érdemesek legyenek az idézésre.

Kihívások és szempontok

Az első kihívás, hogy lépést kell tartani. Az OpenAI időről időre frissíti a felhasználói ügynökeit, és újabb botokat ad hozzá, így egy egy évvel ezelőtt írt robots.txt nem biztos, hogy a jelenlegi crawlereket tükrözi. Rendszeres felülvizsgálatra van szükség, mert egy elavult lista vagy olyan tartalmat tesz ki, amelyet védeni akartál, vagy olyat tilt le, amelyet meg akartál osztani.

Van egy valódi kompromisszum is, amelyre nincs általános, egyértelmű válasz. A crawlerek engedélyezése növeli a láthatóságot, viszont a tartalmadat olyan rendszerekhez járulja hozzá, amelyek úgy válaszolhatnak kérdésekre, hogy nem küldenek neked látogatót. A letiltás védi a tartalmat, de kockáztatja, hogy láthatatlanná válsz egy gyorsan növekvő csatornán. A döntés attól függ, hogy a vállalkozásod számára az AI-alapú felfedezés vagy a tartalom feletti kontroll a fontosabb.

Összegzés

Az OpenAI-crawlerek azok a botok, amelyek az OpenAI nevében olvassák a webet. A GPTBot a tanításra, az OAI-SearchBot a ChatGPT-keresésre, a ChatGPT-User pedig a felhasználó kérésére történő lekérésekre szolgál, és mindegyik külön szabályozható. Aki AI-láthatóságra törekszik, annak a gyakorlati tanulság egyértelmű: engedélyezze a keresőcrawlert, hogy a ChatGPT idézhessen, és tudatosan döntsön a tanításról.

A tovább lépéshez kapcsold össze ezt a témát az OpenAI-val és az AI-crawlerek szélesebb kategóriájával, a Sorank kutatási és tervezési eszközeivel pedig tedd érdemessé az idézésre azokat az oldalakat, amelyekhez eljutnak. Forrásdokumentumok: OpenAI bot-dokumentáció, xSeek, és Wikipedia.