Os rastreadores da OpenAI como o GPTBot e o OAI-SearchBot leem o seu site para treinamento e para a pesquisa do ChatGPT. Saiba o que cada um faz e como controlá-los.

Nesta página
Resumo
Os rastreadores da OpenAI são os robôs automatizados que a OpenAI usa para ler páginas web, sendo os principais o GPTBot para o treinamento de modelos, o OAI-SearchBot para os resultados da pesquisa do ChatGPT e o ChatGPT-User para obtenções desencadeadas pelo usuário, cada um controlável em separado no robots.txt.
Quer ir mais longe? Pergunte ao
Rastreadores da OpenAI são os agentes de usuário que a OpenAI envia para ler e obter conteúdo da web aberta. Não são um robô, mas vários, e cada um tem uma tarefa distinta. Saber qual é qual importa porque as regras que define determinam se o seu conteúdo pode ser usado para treinar modelos, se pode aparecer na pesquisa do ChatGPT, ou ambos. Bloquear o errado pode removê-lo discretamente das respostas de IA.
Este é um tema prático e técnico no cerne da otimização para IAs generativas. Se quer ser citado dentro do ChatGPT, os rastreadores de IA relevantes têm que ter permissão para o alcançar, e precisa de compreender a diferença entre o acesso para treinamento e o acesso para pesquisa. Este artigo vem diretamente da forma como a OpenAI documenta os seus robôs.
Os rastreadores da OpenAI são programas automatizados, um tipo de robô rastreador, que pedem páginas a sites em nome da OpenAI. Tal como outros rastreadores web, identificam-se com uma cadeia de agente de usuário e, na maioria dos casos, respeitam as instruções no seu arquivo robots.txt. A OpenAI publica as gamas de IP de cada rastreador para que possa verificar se o tráfego que afirma ser deles é genuíno.
O conceito-chave é a separação. A OpenAI executa diferentes rastreadores para diferentes propósitos, e cada um pode ser permitido ou bloqueado de forma independente. Isso significa que pode fazer escolhas granulares, por exemplo permitir a indexação para pesquisa enquanto recusa o treinamento, em vez de uma decisão de tudo ou nada.
O GPTBot é o rastreador que reúne o conteúdo que pode ser usado para treinar os modelos de base de IA generativa da OpenAI. O seu agente de usuário se identifica como GPTBot com um link para a documentação da OpenAI, e as suas faixas de IP são publicadas num arquivo JSON que a OpenAI mantém. Recusar o GPTBot no robots.txt sinaliza que o seu conteúdo não deve ser usado no treinamento de modelos.
É importante notar que bloquear o GPTBot é puramente sobre o treinamento. Não o remove da pesquisa do ChatGPT, porque a pesquisa usa um rastreador diferente. Muitos editores que querem limitar o treinamento mas se manter visíveis nas respostas de IA escolhem bloquear especificamente o GPTBot e permitir o robô de pesquisa.
O OAI-SearchBot é o rastreador que mostra sites dentro das funcionalidades de pesquisa do ChatGPT. Indexa páginas para que possam ser recuperadas e citadas quando o ChatGPT responde a uma pergunta, o que é um sistema completamente separado da coleta de dados de treinamento. O seu agente de usuário se identifica como OAI-SearchBot, e as suas gamas de IP são também publicadas pela OpenAI.
Este é o rastreador que mais importa para a visibilidade. Se você recusar o OAI-SearchBot, as suas páginas não aparecerão nos resultados de pesquisa do ChatGPT, embora alguns links de navegação possam persistir. As alterações ao robots.txt para este robô demoram cerca de 24 horas a se registrar, por isso os ajustes não são instantâneos. Permiti-lo é, na prática, o preço de ser citável na pesquisa por IA.
O ChatGPT-User ativa-se apenas quando uma pessoa pede explicitamente ao ChatGPT ou a um GPT personalizado para ler um URL específico ou realizar uma ação que exija obter uma página. Nunca executa rastreamentos automáticos em grande escala. O seu agente de usuário se identifica como ChatGPT-User com um link para a documentação de robôs da OpenAI.
Como estes pedidos são iniciados por um usuário, e não por rastreamento automatizado, as regras do robots.txt podem não se aplicar ao ChatGPT-User da mesma forma. Existe também um agente de publicidade relacionado, o OAI-AdsBot, usado para validar páginas de destino de anúncios em vez de treinar modelos, que mais uma vez pode ser gerenciado em separado.
Estes rastreadores são os porteiros da sua visibilidade no ChatGPT. O ChatGPT não consegue citar uma página que nunca teve permissão para ler, por isso um robots.txt mal configurado é uma das razões mais comuns e evitáveis para uma marca estar ausente das respostas de IA. Acertar no acesso dos rastreadores é um pré-requisito para tudo o resto na otimização para IAs generativas.
A decisão tem também uma dimensão estratégica. Alguns editores se sentem confortáveis em ser citados na pesquisa, mas não em ser usados para treinamento, e os rastreadores separados tornam essa postura possível. A prática geral de deixar os robôs alcançar e ler o seu conteúdo é apenas rastreamento aplicado à IA, e a mesma higiene que ajuda os mecanismos de busca ajuda aqui.
Decida primeiro a sua política. Para se manter visível na pesquisa do ChatGPT enquanto opta por sair do treinamento, permita o OAI-SearchBot e recuse o GPTBot no robots.txt. Para maximizar toda a exposição em IA, permita todos. Para sair por completo, recuse cada um, aceitando que perderá a visibilidade na pesquisa do ChatGPT. Defina regras por agente de usuário, já que cada rastreador é independente.
Depois de atualizar o robots.txt, lembre-se de que as alterações ao robô de pesquisa podem demorar cerca de um dia a fazer efeito, e verifique o tráfego real dos rastreadores contra as gamas de IP publicadas pela OpenAI. Para além do acesso, certifique-se de que o próprio conteúdo é analisável: evite esconder informação-chave atrás de JavaScript do lado do cliente ou dentro de imagens, porque um rastreador cita apenas o que consegue realmente ler. Combine um acesso limpo com uma forte pesquisa de palavras-chave e planejamento de conteúdo, para que as páginas que alcançam valham a citação.
O primeiro desafio é simplesmente acompanhar. A OpenAI atualiza os agentes de usuário e acrescenta novos robôs ao longo do tempo, por isso um robots.txt escrito há um ano pode não refletir os rastreadores atuais. É necessária uma revisão periódica, e confiar numa lista desatualizada pode expor conteúdo que pretendia proteger ou bloquear conteúdo que pretendia compartilhar.
Há também um verdadeiro compromisso sem uma resposta universalmente certa. Permitir os rastreadores aumenta a visibilidade, mas contribui o seu conteúdo para sistemas que podem responder a perguntas sem lhe enviar tráfego. Bloqueá-los protege o conteúdo, mas arrisca a invisibilidade num canal em rápido crescimento. A decisão depende de saber se a descoberta orientada por IA ou o controle do conteúdo importa mais para o seu negócio.
Os rastreadores da OpenAI são os robôs que leem a web em nome da OpenAI, divididos entre o GPTBot para o treinamento, o OAI-SearchBot para a pesquisa do ChatGPT e o ChatGPT-User para obtenções desencadeadas pelo usuário, cada um controlável por conta própria. Para quem persegue a visibilidade na IA, a conclusão prática é clara: permita o rastreador de pesquisa para que o ChatGPT o possa citar, e faça uma escolha deliberada sobre o treinamento.
Para ir mais longe, ligue isto à OpenAI e à categoria mais ampla dos rastreadores de IA, e use as ferramentas de pesquisa e planejamento da Sorank para tornar as páginas que alcançam dignas de citação. Fontes de referência: documentação de robôs da OpenAI, xSeek e Wikipedia.
Fontes
Há três principais. O GPTBot reúne conteúdo que pode treinar os modelos de base da OpenAI. O OAI-SearchBot indexa páginas para que possam aparecer e ser citadas na pesquisa do ChatGPT. O ChatGPT-User obtém uma página específica apenas quando um usuário pede explicitamente ao ChatGPT para a ler. Existe também o OAI-AdsBot para validar páginas de destino de anúncios.
Não. O GPTBot controla apenas a coleta de dados de treinamento, enquanto a pesquisa do ChatGPT usa um rastreador separado chamado OAI-SearchBot. Pode bloquear o GPTBot para sair do treinamento e ainda permitir o OAI-SearchBot para se manter visível e citável na pesquisa do ChatGPT. Bloquear o GPTBot não tem efeito nas suas citações de pesquisa.
Permita o OAI-SearchBot no seu robots.txt, já que recusá-lo o remove dos resultados de pesquisa do ChatGPT. Lembre-se de que as alterações podem demorar cerca de 24 horas a se registrar. Certifique-se também de que o seu conteúdo é legível: evite esconder informação-chave atrás de JavaScript ou dentro de imagens, porque o rastreador só consegue citar texto a que consegue realmente acessar e analisar.
ELES EXPERIMENTARAM O SORANK ANTES DE VOCÊ
