Integritet är viktigt för oss, så du kan välja att inaktivera vissa typer av lagring som kanske inte är nödvändig för webbplatsens grundläggande funktioner. Om du blockerar kategorier kan det påverka din upplevelse av webbplatsen. Mer information
OpenAI-crawlers som GPTBot och OAI-SearchBot läser din webbplats för träning och ChatGPT-sökning. Lär dig vad var och en gör och hur du styr dem.
Verktyg
Grundare av Sorank, med över 7 års erfarenhet av SEO och ett stort intresse för GEO.
Sammanfattning
OpenAI-crawlers är de automatiserade robotar som OpenAI använder för att läsa webbsidor. De viktigaste är GPTBot för träning av modeller, OAI-SearchBot för resultat i ChatGPT-sökning och ChatGPT-User för hämtningar som användaren själv utlöser. Var och en kan styras separat i robots.txt.
Vill du veta mer? Fråga
OpenAI-crawlers är de användaragenter som OpenAI skickar ut för att läsa och hämta innehåll från den öppna webben. Det är inte en enda robot utan flera, och varje har en tydlig uppgift. Det är viktigt att veta vilken som är vilken, eftersom reglerna du sätter avgör om ditt innehåll får användas för att träna modeller, om det kan synas i ChatGPT-sökning eller båda. Blockerar du fel robot kan du tyst tas bort från AI-svaren.
Det här är ett praktiskt och tekniskt ämne i hjärtat av generativ motoroptimering. Vill du bli citerad i ChatGPT måste de relevanta AI-crawlerna få nå dig, och du behöver förstå skillnaden mellan åtkomst för träning och åtkomst för sökning. Artikeln bygger direkt på hur OpenAI dokumenterar sina robotar.
OpenAI-crawlers är automatiserade program, en form av crawlerrobot, som begär sidor från webbplatser på OpenAI:s uppdrag. Liksom andra webbcrawlers identifierar de sig med en användaragentsträng och följer i de flesta fall instruktionerna i din robots.txt-fil. OpenAI publicerar IP-intervallen för varje crawler så att du kan kontrollera att trafik som säger sig komma från dem verkligen gör det.
Nyckelbegreppet är separation. OpenAI kör olika crawlers för olika syften, och var och en kan tillåtas eller blockeras oberoende av de andra. Du kan alltså göra detaljerade val, till exempel tillåta sökindexering men neka träning, i stället för ett allt-eller-inget-beslut.
GPTBot är crawlern som samlar in innehåll som kan användas för att träna OpenAI:s grundmodeller för generativ AI. Dess användaragent identifierar sig som GPTBot med en länk till OpenAI:s dokumentation, och dess IP-intervall publiceras i en JSON-fil som OpenAI underhåller. Att neka GPTBot i robots.txt signalerar att ditt innehåll inte bör användas i modellträning.
Viktigt är att blockering av GPTBot enbart gäller träning. Du tas inte bort från ChatGPT-sökningen, eftersom sökningen använder en annan crawler. Många utgivare som vill begränsa träningen men ändå synas i AI-svar väljer att blockera just GPTBot och tillåta sökrobotens.
OAI-SearchBot är crawlern som visar webbplatser i ChatGPT:s sökfunktioner. Den indexerar sidor så att de kan hämtas och citeras när ChatGPT svarar på en fråga, vilket är ett helt separat system från insamling av träningsdata. Dess användaragent identifierar sig som OAI-SearchBot, och även dess IP-intervall publiceras av OpenAI.
Det här är crawlern som spelar störst roll för synligheten. Om du nekar OAI-SearchBot syns dina sidor inte i ChatGPT-sökresultaten, även om vissa navigeringslänkar kan finnas kvar. Ändringar i robots.txt för den här roboten tar ungefär 24 timmar att slå igenom, så justeringar sker inte omedelbart. Att tillåta den är i praktiken priset för att gå att citera i AI-sökning.
ChatGPT-User aktiveras endast när en person uttryckligen ber ChatGPT eller en anpassad GPT att läsa en specifik URL, eller när en åtgärd kräver att en sida hämtas. Den kör aldrig automatiska storskaliga genomsökningar. Dess användaragent identifierar sig som ChatGPT-User med en länk till OpenAI:s dokumentation för robotar.
Eftersom begäran startas av en användare i stället för av automatiserad crawling kanske robots.txt-reglerna inte gäller för ChatGPT-User på samma sätt. Det finns också en närliggande annonsrobot, OAI-AdsBot, som används för att validera annonsens målsidor i stället för att träna modeller, och den kan också hanteras separat.
Dessa crawlers är grindvakterna för din synlighet i ChatGPT. ChatGPT kan inte citera en sida den aldrig fick läsa, så en felkonfigurerad robots.txt är en av de vanligaste och mest undvikbara orsakerna till att ett varumärke saknas i AI-svar. Att få åtkomsten till crawlers rätt är en förutsättning för allt annat inom generativ motoroptimering.
Beslutet har också en strategisk sida. Vissa utgivare är bekväma med att bli citerade i sökning men inte användas för träning, och de separata crawlerna gör den hållningen möjlig. Den allmänna praxisen att låta robotar nå och läsa ditt innehåll är helt enkelt crawling tillämpad på AI, och samma hygien som hjälper sökmotorer hjälper här.
Bestäm din policy först. För att vara synlig i ChatGPT-sökningen men tacka nej till träning tillåter du OAI-SearchBot och nekar GPTBot i robots.txt. För maximal AI-exponering tillåter du alla. Vill du helt avstå nekar du var och en, och accepterar då att du förlorar synlighet i ChatGPT-sökningen. Sätt regler per användaragent, eftersom varje crawler är oberoende.
När du uppdaterat robots.txt, kom ihåg att ändringar för sökroboten kan ta ungefär ett dygn att slå igenom, och verifiera att verklig crawlertrafik stämmer med OpenAI:s publicerade IP-intervall. Utöver åtkomst bör du se till att innehållet i sig går att tolka. Undvik att gömma viktig information bakom JavaScript som körs i webbläsaren eller i bilder, eftersom en crawler bara citerar det den faktiskt kan läsa. Kombinera ren åtkomst med stark sökordsanalys och innehållsplanering så att sidorna de når är värda att citera.
Den första utmaningen är helt enkelt att hålla jämna steg. OpenAI uppdaterar användaragenter och lägger till nya robotar med tiden, så en robots.txt som skrevs för ett år sedan kanske inte speglar dagens crawlers. Regelbunden översyn är nödvändig, och att förlita sig på en gammal lista kan antingen exponera innehåll du tänkte skydda eller blockera innehåll du ville dela.
Det finns också en verklig avvägning utan ett universellt rätt svar. Att tillåta crawlers ökar synligheten men bidrar ditt innehåll till system som kan besvara frågor utan att skicka trafik till dig. Att blockera dem skyddar innehållet men riskerar osynlighet i en snabbt växande kanal. Beslutet beror på om AI-driven upptäckt eller kontroll över innehållet är viktigast för din verksamhet.
OpenAI-crawlers är robotarna som läser webben för OpenAI, uppdelade på GPTBot för träning, OAI-SearchBot för ChatGPT-sökning och ChatGPT-User för hämtningar som användaren utlöser, och var och en kan styras för sig. För den som satsar på synlighet i AI är den praktiska slutsatsen tydlig: tillåt sökcrawlern så att ChatGPT kan citera dig, och gör ett medvetet val när det gäller träning.
För att gå vidare, koppla detta till OpenAI och den bredare kategorin AI-crawlers, och använd Soranks verktyg för research och planering för att göra sidorna de når värda att citera. Källor: OpenAI:s dokumentation för robotar, xSeek och Wikipedia.
Källor
Det finns tre huvudsakliga. GPTBot samlar in innehåll som kan användas för att träna OpenAI:s grundmodeller. OAI-SearchBot indexerar sidor så att de kan visas och citeras i ChatGPT-sökningen. ChatGPT-User hämtar en specifik sida endast när en användare uttryckligen ber ChatGPT läsa den. Det finns även OAI-AdsBot, som validerar annonsens målsidor.
Nej. GPTBot styr enbart insamlingen av träningsdata, medan ChatGPT-sökningen använder en separat crawler som heter OAI-SearchBot. Du kan blockera GPTBot för att tacka nej till träning och ändå tillåta OAI-SearchBot så att du förblir synlig och citerbar i ChatGPT-sökningen. Att blockera GPTBot påverkar inte dina citeringar i sökningen.
Tillåt OAI-SearchBot i din robots.txt, eftersom en blockering tar bort dig från ChatGPT-sökresultaten. Kom ihåg att ändringar kan ta ungefär 24 timmar att slå igenom. Se också till att ditt innehåll går att läsa: undvik att gömma viktig information bakom JavaScript eller i bilder, eftersom crawlern bara kan citera text den faktiskt kan komma åt och tolka.
DE TESTADE SORANK FÖRE DIG
“Jag testade Sorank på en riktig kundsajt och det är helt otroligt. Det gör allt som en byrå skulle ta 1500 dollar i månaden för. Den används nu i produktion för den kunden.”
Guillaume Guersanguersanguillaume.com“Vi är en annonsbyrå och ville få igång vår SEO på rätt spår en gång för alla. Sorank gav oss en tydlig bild av vår webbplats, hjälpte oss att prioritera optimeringarna och att strukturera vårt innehåll på rätt sätt. Verktyget är lätt att använda, väl genomtänkt för ett team och mycket praktiskt för att samla uppföljningen på ett ställe utan att jonglera med flera plattformar. En mycket stabil grund för att börja om från början med vår SEO.”
Gaspard MadouiAnnonsbyrå
“Jag lät bara Sorank-programvaran göra sitt, och nu är min DR 25 och min sida rankas högre.”
Lucas Flandrefoundertrace.fr“Jag specialiserade mig på GEO tack vare Sorank. GEO-rankningen gör det möjligt för mig att visa mina kunder deras position jämfört med konkurrenterna i ChatGPT. Det är en verklig konkurrensfördel.”
MélanieFrilans SEO-konsult“Bra service, den fungerar bra för vår webbplats och hjälper oss att förstå hur vi kan förbättra den för att rankas bättre på Google och på andra ställen. Grattis, fortsätt så, jag rekommenderar det.”
Hugo T.Handlare inom e-handel
