Weboldal AI-s feltérképezhetőségi audit: valóban elérik az AI-robotok a weboldalad?

A weboldal AI-s feltérképezhetőségi audit egyszerű kérdésre ad választ: el tudják-e olvasni a weboldaladat azok az AI-k, amelyek a vevőidnek válaszolnak? Minden cég közzéteszi, milyen néven szerepel a robotja a robots.txt fájlban, és minden beállítás külön működik. Az OpenAI például elmagyarázza, hogy egy oldal engedélyezheti az OAI-SearchBot-nak, hogy megjelenjen a ChatGPT-keresési találatokban, miközben a GPTBot-nak tiltja a hozzáférést, hogy a tartalma ne kerüljön a modelltanításba (OpenAI, az OpenAI-robotok áttekintése). A robots.txt egyetlen sora tehát úgy teheti láthatatlanná az AI-válaszokban, hogy erről nem is tudsz.

Mely AI-s feltérképező robotokat vizsgálja az audit?

Az audit 14 felhasználói ügynököt tesztel. Közülük öt, az alábbi jelölésekkel, a keresést és az élő válaszokat szolgálja ki: ha ezeket letiltod, kikerülsz azokból a válaszokból, amelyeket az emberek ma olvasnak.

Az Anthropic most három robotot dokumentál: a ClaudeBot a tanításhoz, a Claude-User azokhoz az oldalakhoz, amelyeket akkor tölt le, amikor valaki kérdést tesz fel a Claude-nak, a Claude-SearchBot pedig a keresés minőségéhez (Claude súgóközpont, Anthropic-robotok). Ha szeretnél a Claude-ban hivatkozva lenni, az utóbbi kettőt is engedélyezd a robots.txt fájlban.

Hogyan futtasd az auditot?

1. Add meg a domainedet, például yourdomain.com. Az audit beolvassa a https://yourdomain.com/robots.txt fájlt és a főoldalt.
2. Olvasd le a négy adatot a tetején: engedélyezett keresőrobotok, tiltott robotok, ellenőrzött robotok és megadott sitemapek.
3. Nézd át a robotok táblázatát: minden sor megmutatja a céget, a szerepet, az állapotot és azt a szabályt, amely eldöntötte.
4. Javítsd a felsorolt problémákat a „Hogyan javítható” rész alatt, majd futtasd újra az auditot.

Az audit ingyenes, napi 3 ellenőrzéssel és fiók nélkül.

Hogyan számolják ki az AI-s feltérképezhetőségi pontszámot?

Minden robot egy ellenőrzésnek számít: az engedélyezett teljes pontot ér, a részben tiltott felet, a tiltott semmit. Az öt keresőrobot kétszer annyit nyom a latban, mint a tanító robotok, a főoldal noindex utasítása pedig, akár a meta robots címkében, akár az X-Robots-Tag fejlécben, duplán számít hibának. A pontszám a megszerzett pontok aránya.

A pontszám a nyitottságot jutalmazza. Ha az öt keresőrobotot nyitva tartod, a másik kilencet pedig tiltod, a pontszámod nagyjából 57 körül lesz: ez tudatos döntés, nem hiba. Ebben az esetben először a „Keresőrobotok rendben” adatot nézd, amelynek 5/5-öt kell mutatnia.

Mit jelent az engedélyezett, a részben tiltott és a tiltott?

Az audit úgy alkalmazza a robots.txt szabályait, ahogy a robotok: azt a csoportot veszi figyelembe, amelyet a robot nevére írtak, vagy ha nincs ilyen, a „User-agent: *” csoportot.

• Engedélyezett: nem vonatkozik rá csoport, vagy a csoportban nincs Disallow szabály.
• Részben tiltott: néhány útvonal tiltott, például a /admin/ vagy a /cart/. Ez általában rendben van; ellenőrizd, hogy a tartalmi oldalaid nincsenek a listán.
• Tiltott: „Disallow: /” „Allow: /” nélkül, így a robot nem olvashat el egyetlen oldalt sem.

A szabályok az IETF által az RFC 9309-ben szabványosított robotkizárási protokollt (Robots Exclusion Protocol) követik, amely arra is emlékeztet, hogy ezek a szabályok „nem a hozzáférés engedélyezésének egy formái” (RFC 9309, Robots Exclusion Protocol). A robots.txt kérés, amelyet a rendesen viselkedő robotok betartanak, nem zár.

Tiltsd vagy engedd be az AI-s feltérképező robotokat?

Válaszd szét a két felhasználást. A keresőrobotok hivatkozásokat és látogatásokat hoznak; a modelltanító robotok a jövőbeli modelleket táplálják. A legtöbb cég, amely ajánlott szeretne lenni, az elsőt nyitva tartja, a másodikat pedig esetenként dönti el.

Két hivatalos tisztázás segít a döntésben. A Google kijelenti, hogy a Google-Extended nem befolyásolja, hogy egy oldal bekerül-e a Google Search találataiba, és nem rangsorolási jel (Google, gyakori feltérképező robotok). A Perplexity kijelenti, hogy a PerplexityBot a keresési találatai között jeleníti meg a weboldalakat, és nem az AI-alapmodellek tanítására használják (Perplexity, a feltérképező robotok dokumentációja). Az Apple Applebot-Extended robotja csak a tanítást szabályozza: az Apple közli, hogy a tartalmad továbbra is megtalálható marad a Spotlighton, a Sirin és a Safarin keresztül (Apple Támogatás, az Applebotról).

Hogyan javítsd a tiltott AI-s feltérképező robotot?

Szerkeszd a robots.txt fájlt a domained gyökerében. Ha a ChatGPT-keresést szeretnéd nyitva tartani, a GPTBot pedig kívül maradjon, adj hozzá két csoportot:

• User-agent: OAI-SearchBot, utána Allow: /
• User-agent: GPTBot, utána Disallow: /

Ezután ellenőrizd azt a három dolgot, amely gyakran visszacsinálja a változtatást.

1. Egy CDN- vagy tűzfalszabály, amely az AI-s felhasználói ügynököket még azelőtt blokkolja, hogy a robots.txt-t elolvasnák. Egyes CDN-ek egykattintásos kapcsolót kínálnak az AI-botok blokkolására.
2. Egy noindex meta címkében vagy X-Robots-Tag fejlécben, amelyet az audit külön jelez.
3. A késleltetés: az OpenAI és a Perplexity is azt mondja, hogy a változások tükröződéséhez körülbelül 24 óra kellhet.

A robots.txt-ellenőrző érvényesíti a szintaxist, a robots.txt-generátor pedig tiszta fájlt készít. Az AI-s feltérképező robotok szócikk minden robotot részletesebben bemutat.

Miért nézi az audit a sitemapet és a noindexet?

Mert a hozzáférés önmagában kevés: a robotoknak meg kell találniuk az oldalaidat, és használhatják is azokat. A robots.txt „Sitemap:” sora minden robotot az URL-listádhoz irányít, a főoldal noindex utasítása pedig azt mondja a keresőrendszereknek, hogy hagyják ki az oldalt. A Google megerősíti, hogy ahhoz, hogy egy oldal támogató linkként jelenjen meg az AI Overviews vagy az AI Mode funkciókban, indexeltnek és részlettel megjeleníthetőnek kell lennie (Google, AI-funkciók és a weboldalad). Oldalankénti nézetért használd az indexelhetőség-ellenőrzőt és a sitemap-ellenőrzőt.

Mik az audit korlátai?

• Szabályokat olvas, forgalmat nem: nem látja, hogy egy robot ténylegesen meglátogatott-e. Ezt a szervered naplói mutatják meg.
• A hiányzó robots.txt nyitottnak számít: ha a fájl nem olvasható, minden robot engedélyezettként jelenik meg. Ha a fájl szerverhibával válaszol, a robotok az RFC 9309 szerint akár az egész oldalt tiltottnak is tekinthetik, ezért ellenőrizd a válasz állapotkódját.
• A tűzfalak láthatatlanok számára: a CDN-szinten tiltott robot továbbra is engedélyezettnek látszik.
• Gyakran jelennek meg új robotok: a lista a főbb AI-cégeket fedi le, nem a weben található összes botot.

A nyitott ajtótól a valódi hivatkozásokig

A nyitott robots.txt lehetővé teszi a hivatkozásokat, de nem hozza létre őket. Amikor a robotok már el tudnak olvasni, a ChatGPT-láthatóság ellenőrzővel megnézheted, hivatkoz-e rád valóban a ChatGPT. A Sorank AI-említéskövetés ezután havonta követi a hivatkozásaidat a ChatGPT-ben, a Geminiben és a Claude-ban, a blogcikk-generátor pedig olyan oldalakat tesz közzé, amelyeket ezek az AI-k szívesen idéznek. A Sorank-csomagokat nézd meg, ha autopilot módban szeretnéd futtatni.