Innstillinger
Personvern er viktig for oss, så du kan velge å slå av enkelte typer lagring som ikke er nødvendig for at nettstedet skal fungere grunnleggende. Blokkering av kategorier kan påvirke opplevelsen din på nettstedet. Mer informasjon
Personvern er viktig for oss, så du kan velge å slå av enkelte typer lagring som ikke er nødvendig for at nettstedet skal fungere grunnleggende. Blokkering av kategorier kan påvirke opplevelsen din på nettstedet. Mer informasjon
OpenAI-crawlere som GPTBot og OAI-SearchBot leser nettstedet ditt til trening og ChatGPT-søk. Lær hva hver av dem gjør og hvordan du styrer dem.
Verktøy
Grunnlegger av Sorank, med over 7 års erfaring innen SEO og en entusiast for GEO.
Oppsummering
OpenAI-crawlere er de automatiserte robotene OpenAI bruker for å lese nettsider. De viktigste er GPTBot til modelltrening, OAI-SearchBot for resultater i ChatGPT-søk og ChatGPT-User for henting som utløses av brukeren. Hver av dem kan styres for seg i robots.txt.
Vil du vite mer? Spør
OpenAI-crawlere er brukeragentene OpenAI sender ut for å lese og hente innhold fra det åpne nettet. Det er ikke én bot, men flere, og hver har en egen oppgave. Det er viktig å vite hvilken som er hvilken, fordi reglene du setter avgjør om innholdet ditt kan brukes til å trene modeller, om det kan dukke opp i ChatGPT-søk, eller begge deler. Å blokkere feil bot kan stille og rolig fjerne deg fra KI-svarene.
Dette er et praktisk og teknisk tema i hjertet av generativ motoroptimalisering. Hvis du vil bli sitert i ChatGPT, må de relevante KI-crawlerne få lov til å nå deg, og du må forstå forskjellen mellom tilgang til trening og tilgang til søk. Artikkelen bygger direkte på hvordan OpenAI dokumenterer robotene sine.
OpenAI-crawlere er automatiserte programmer, en type crawlerbot, som ber om sider fra nettsteder på vegne av OpenAI. Som andre nettcrawlere identifiserer de seg med en brukeragent-streng, og i de fleste tilfeller følger de instruksjonene i robots.txt-filen din. OpenAI publiserer IP-områdene for hver crawler, slik at du kan kontrollere at trafikk som påstår å komme fra dem, faktisk gjør det.
Nøkkelbegrepet er skille. OpenAI bruker ulike crawlere til ulike formål, og hver kan tillates eller blokkeres uavhengig av de andre. Det betyr at du kan ta detaljerte valg, for eksempel å tillate indeksering for søk og samtidig si nei til trening, i stedet for en alt-eller-ingenting-beslutning.
GPTBot er crawleren som samler innhold som kan brukes til å trene OpenAIs grunnmodeller for generativ KI. Brukeragenten identifiserer seg som GPTBot med en lenke til OpenAIs dokumentasjon, og IP-områdene publiseres i en JSON-fil som OpenAI vedlikeholder. Å avvise GPTBot i robots.txt signaliserer at innholdet ditt ikke skal brukes i modelltrening.
Det viktige er at blokkering av GPTBot kun gjelder trening. Det fjerner deg ikke fra ChatGPT-søk, fordi søk bruker en annen crawler. Mange utgivere som vil begrense trening, men likevel være synlige i KI-svar, velger å blokkere GPTBot spesifikt og tillate søkeboten.
OAI-SearchBot er crawleren som gjør nettsteder synlige i ChatGPTs søkefunksjoner. Den indekserer sider slik at de kan hentes og siteres når ChatGPT svarer på et spørsmål, og det er et helt eget system fra innsamlingen av treningsdata. Brukeragenten identifiserer seg som OAI-SearchBot, og IP-områdene publiseres også av OpenAI.
Dette er crawleren som betyr mest for synlighet. Hvis du avviser OAI-SearchBot, vil sidene dine ikke dukke opp i ChatGPT-søkeresultater, selv om noen navigasjonslenker kan bli værende. Endringer i robots.txt for denne boten tar omtrent 24 timer å slå igjennom, så justeringer skjer ikke øyeblikkelig. Å tillate den er i praksis prisen for å kunne siteres i KI-søk.
ChatGPT-User aktiveres bare når en person eksplisitt ber ChatGPT eller en egendefinert GPT om å lese en bestemt nettadresse, eller om å utføre en handling som krever at en side hentes. Den kjører aldri automatiske crawl i stor skala. Brukeragenten identifiserer seg som ChatGPT-User med en lenke til OpenAIs dokumentasjon for roboter.
Fordi disse forespørslene startes av en bruker og ikke av automatisk crawling, gjelder ikke nødvendigvis robots.txt-reglene for ChatGPT-User på samme måte. Det finnes også en relatert annonseagent, OAI-AdsBot, som brukes til å kontrollere annonsenes landingssider og ikke til å trene modeller, og den kan også styres for seg.
Disse crawlerne er portvaktene for ChatGPT-synligheten din. ChatGPT kan ikke sitere en side den aldri fikk lov til å lese, så feilkonfigurert robots.txt er en av de vanligste og mest unngåelige grunnene til at et merke mangler i KI-svarene. Riktig crawler-tilgang er en forutsetning for alt annet i generativ motoroptimalisering.
Valget har også en strategisk side. Noen utgivere er komfortable med å bli sitert i søk, men ikke brukt til trening, og de separate crawlerne gjør den holdningen mulig. Den generelle praksisen med å la robotene nå og lese innholdet ditt, er bare crawling brukt på KI, og den samme ryddigheten som hjelper søkemotorer, hjelper også her.
Bestem policyen din først. For å holde deg synlig i ChatGPT-søk og samtidig reservere deg mot trening, tillat OAI-SearchBot og avvis GPTBot i robots.txt. For å maksimere all KI-eksponering, tillat alle. For å melde deg helt av, avvis hver enkelt, og godta at du mister synlighet i ChatGPT-søk. Sett regler per brukeragent, siden hver crawler er uavhengig.
Etter at du har oppdatert robots.txt, husk at endringer for søkeboten kan ta omtrent en dag før de virker, og bekreft reell crawler-trafikk mot OpenAIs publiserte IP-områder. Utover tilgang må du sørge for at selve innholdet kan tolkes: unngå å skjule viktig informasjon bak JavaScript som kjører i nettleseren, eller i bilder, fordi en crawler bare siterer det den faktisk kan lese. Kombiner ren tilgang med god søkeordsresearch og innholdsplanlegging, slik at sidene de når, er verdt å sitere.
Den første utfordringen er å henge med. OpenAI oppdaterer brukeragenter og legger til nye roboter over tid, så en robots.txt skrevet for et år siden gjenspeiler kanskje ikke dagens crawlere. Periodisk gjennomgang er nødvendig, og å stole på en utdatert liste kan enten eksponere innhold du ville beskytte, eller blokkere innhold du ville dele.
Det finnes også en reell avveining uten ett universelt riktig svar. Å tillate crawlere øker synligheten, men bidrar med innholdet ditt til systemer som kan svare på spørsmål uten å sende deg trafikk. Å blokkere dem beskytter innholdet, men risikerer å bli usynlig i en kanal som vokser raskt. Beslutningen avhenger av om KI-drevet oppdagelse eller kontroll over innholdet betyr mest for virksomheten din.
OpenAI-crawlere er robotene som leser nettet for OpenAI, delt mellom GPTBot til trening, OAI-SearchBot til ChatGPT-søk og ChatGPT-User til henting utløst av brukeren, og hver kan styres for seg. For alle som jobber med KI-synlighet, er det praktiske budskapet klart: tillat søkecrawleren slik at ChatGPT kan sitere deg, og ta et bevisst valg om trening.
For å gå videre kan du koble dette til OpenAI og den bredere kategorien KI-crawlere. Bruk Sorankes verktøy for research og planlegging for å gjøre sidene de når, verdt å sitere. Kilder: OpenAIs dokumentasjon for roboter, xSeek og Wikipedia.
Kilder
Det finnes tre hovedtyper. GPTBot samler innhold som kan brukes til å trene OpenAIs grunnmodeller. OAI-SearchBot indekserer sider slik at de kan dukke opp og siteres i ChatGPT-søk. ChatGPT-User henter en bestemt side bare når en bruker eksplisitt ber ChatGPT lese den. I tillegg finnes OAI-AdsBot, som kontrollerer landingssider for annonser.
Nei. GPTBot styrer bare innsamlingen av treningsdata, mens ChatGPT-søk bruker en egen crawler som heter OAI-SearchBot. Du kan blokkere GPTBot for å takke nei til trening og likevel tillate OAI-SearchBot, slik at du forblir synlig og kan siteres i ChatGPT-søk. Å blokkere GPTBot har ingen effekt på søkesiteringene dine.
Tillat OAI-SearchBot i robots.txt, for å avvise den fjerner deg fra ChatGPT-søkeresultatene. Husk at endringer kan ta rundt 24 timer å slå igjennom. Sørg også for at innholdet kan leses: unngå å skjule viktig informasjon bak JavaScript eller i bilder, fordi crawleren bare kan sitere tekst den faktisk får tilgang til og kan tolke.
DE PRØVDE SORANK FØR DEG
“Jeg testet Sorank på et ekte kundenettsted, og det er helt utrolig. Det gjør alt et byrå ville tatt deg $1500 i måneden for. Nå går det i produksjon på den kunden.”
Guillaume Guersanguersanguillaume.com“Vi er et annonsebyrå, og vi ville få SEO-en vår på rett spor en gang for alle. Sorank ga oss en tydelig oversikt over nettstedet vårt, hjalp oss å prioritere optimaliseringene og å strukturere innholdet vårt på riktig måte. Verktøyet er enkelt å bruke, godt utformet for et team, og veldig praktisk for å samle oppfølgingen på ett sted uten å jonglere med flere plattformer. Et veldig solid grunnlag for å starte på nytt med SEO.”
Gaspard MadouiAnnonsebyrå
“Jeg lot bare Sorank-programvaren gjøre jobben sin, og nå er DR-en min 25, og siden min rangerer høyere.”
Lucas Flandrefoundertrace.fr“Jeg spesialiserte meg på GEO takket være Sorank. GEO-rangeringen lar meg vise kundene mine hvor de står mot konkurrentene på ChatGPT. Det er en reell kommersiell fordel.”
MélanieSEO-frilanser“Kjempebra service, den fungerer godt for nettstedet vårt og hjelper oss å forstå hvordan vi kan forbedre det for å rangere bedre på Google og andre steder. Gratulerer, fortsett slik, jeg anbefaler det.”
Hugo T.Netthandler
