Os rastreadores da OpenAI como o GPTBot e o OAI-SearchBot leem o seu site para treino e para a pesquisa do ChatGPT. Saiba o que cada um faz e como controlá-los.

Rastreadores da OpenAI são os agentes de utilizador que a OpenAI envia para ler e obter conteúdo da web aberta. Não são um robô, mas vários, e cada um tem uma tarefa distinta. Saber qual é qual importa porque as regras que define determinam se o seu conteúdo pode ser usado para treinar modelos, se pode aparecer na pesquisa do ChatGPT, ou ambos. Bloquear o errado pode removê-lo discretamente das respostas de IA.
Este é um tema prático e técnico no cerne da otimização para motores generativos. Se quer ser citado dentro do ChatGPT, os rastreadores de IA relevantes têm de ter permissão para o alcançar, e precisa de compreender a diferença entre o acesso para treino e o acesso para pesquisa. Este artigo vem diretamente da forma como a OpenAI documenta os seus robôs.
Os rastreadores da OpenAI são programas automatizados, um tipo de robô rastreador, que pedem páginas a sites em nome da OpenAI. Tal como outros rastreadores web, identificam-se com uma cadeia de agente de utilizador e, na maioria dos casos, respeitam as instruções no seu ficheiro robots.txt. A OpenAI publica as gamas de IP de cada rastreador para que possa verificar se o tráfego que afirma ser deles é genuíno.
O conceito-chave é a separação. A OpenAI executa diferentes rastreadores para diferentes propósitos, e cada um pode ser permitido ou bloqueado de forma independente. Isso significa que pode fazer escolhas granulares, por exemplo permitir a indexação para pesquisa enquanto recusa o treino, em vez de uma decisão de tudo ou nada.
O GPTBot é o rastreador que reúne o conteúdo que pode ser usado para treinar os modelos de base de IA generativa da OpenAI. O seu agente de utilizador identifica-se como GPTBot com uma ligação para a documentação da OpenAI, e as suas gamas de IP são publicadas num ficheiro JSON que a OpenAI mantém. Recusar o GPTBot no robots.txt sinaliza que o seu conteúdo não deve ser usado no treino de modelos.
É importante notar que bloquear o GPTBot é puramente sobre o treino. Não o remove da pesquisa do ChatGPT, porque a pesquisa usa um rastreador diferente. Muitos editores que querem limitar o treino mas manter-se visíveis nas respostas de IA escolhem bloquear especificamente o GPTBot e permitir o robô de pesquisa.
O OAI-SearchBot é o rastreador que mostra sites dentro das funcionalidades de pesquisa do ChatGPT. Indexa páginas para que possam ser recuperadas e citadas quando o ChatGPT responde a uma pergunta, o que é um sistema completamente separado da recolha de dados de treino. O seu agente de utilizador identifica-se como OAI-SearchBot, e as suas gamas de IP são também publicadas pela OpenAI.
Este é o rastreador que mais importa para a visibilidade. Se recusar o OAI-SearchBot, as suas páginas não aparecerão nos resultados de pesquisa do ChatGPT, embora algumas ligações de navegação possam persistir. As alterações ao robots.txt para este robô demoram cerca de 24 horas a registar-se, por isso os ajustes não são instantâneos. Permiti-lo é, na prática, o preço de ser citável na pesquisa por IA.
O ChatGPT-User ativa-se apenas quando uma pessoa pede explicitamente ao ChatGPT ou a um GPT personalizado para ler um URL específico ou realizar uma ação que exija obter uma página. Nunca executa rastreios automáticos em grande escala. O seu agente de utilizador identifica-se como ChatGPT-User com uma ligação para a documentação de robôs da OpenAI.
Como estes pedidos são iniciados por um utilizador, e não por rastreio automatizado, as regras do robots.txt podem não se aplicar ao ChatGPT-User da mesma forma. Existe também um agente de publicidade relacionado, o OAI-AdsBot, usado para validar páginas de destino de anúncios em vez de treinar modelos, que mais uma vez pode ser gerido em separado.
Estes rastreadores são os porteiros da sua visibilidade no ChatGPT. O ChatGPT não consegue citar uma página que nunca teve permissão para ler, por isso um robots.txt mal configurado é uma das razões mais comuns e evitáveis para uma marca estar ausente das respostas de IA. Acertar no acesso dos rastreadores é um pré-requisito para tudo o resto na otimização para motores generativos.
A decisão tem também uma dimensão estratégica. Alguns editores sentem-se confortáveis em ser citados na pesquisa, mas não em ser usados para treino, e os rastreadores separados tornam essa postura possível. A prática geral de deixar os robôs alcançar e ler o seu conteúdo é apenas rastreio aplicado à IA, e a mesma higiene que ajuda os motores de pesquisa ajuda aqui.
Decida primeiro a sua política. Para se manter visível na pesquisa do ChatGPT enquanto opta por sair do treino, permita o OAI-SearchBot e recuse o GPTBot no robots.txt. Para maximizar toda a exposição em IA, permita todos. Para sair por completo, recuse cada um, aceitando que perderá a visibilidade na pesquisa do ChatGPT. Defina regras por agente de utilizador, já que cada rastreador é independente.
Depois de atualizar o robots.txt, lembre-se de que as alterações ao robô de pesquisa podem demorar cerca de um dia a fazer efeito, e verifique o tráfego real dos rastreadores contra as gamas de IP publicadas pela OpenAI. Para além do acesso, certifique-se de que o próprio conteúdo é analisável: evite esconder informação-chave atrás de JavaScript do lado do cliente ou dentro de imagens, porque um rastreador cita apenas o que consegue realmente ler. Combine um acesso limpo com uma forte pesquisa de palavras-chave e planeamento de conteúdo, para que as páginas que alcançam valham a citação.
O primeiro desafio é simplesmente acompanhar. A OpenAI atualiza os agentes de utilizador e acrescenta novos robôs ao longo do tempo, por isso um robots.txt escrito há um ano pode não refletir os rastreadores atuais. É necessária uma revisão periódica, e confiar numa lista desatualizada pode expor conteúdo que pretendia proteger ou bloquear conteúdo que pretendia partilhar.
Há também um verdadeiro compromisso sem uma resposta universalmente certa. Permitir os rastreadores aumenta a visibilidade, mas contribui o seu conteúdo para sistemas que podem responder a perguntas sem lhe enviar tráfego. Bloqueá-los protege o conteúdo, mas arrisca a invisibilidade num canal em rápido crescimento. A decisão depende de saber se a descoberta orientada por IA ou o controlo do conteúdo importa mais para o seu negócio.
Os rastreadores da OpenAI são os robôs que leem a web em nome da OpenAI, divididos entre o GPTBot para o treino, o OAI-SearchBot para a pesquisa do ChatGPT e o ChatGPT-User para obtenções desencadeadas pelo utilizador, cada um controlável por conta própria. Para quem persegue a visibilidade na IA, a conclusão prática é clara: permita o rastreador de pesquisa para que o ChatGPT o possa citar, e faça uma escolha deliberada sobre o treino.
Para ir mais longe, ligue isto à OpenAI e à categoria mais ampla dos rastreadores de IA, e use as ferramentas de pesquisa e planeamento da Sorank para tornar as páginas que alcançam dignas de citação. Fontes de referência: documentação de robôs da OpenAI, xSeek e Wikipedia.
Há três principais. O GPTBot reúne conteúdo que pode treinar os modelos de base da OpenAI. O OAI-SearchBot indexa páginas para que possam aparecer e ser citadas na pesquisa do ChatGPT. O ChatGPT-User obtém uma página específica apenas quando um utilizador pede explicitamente ao ChatGPT para a ler. Existe também o OAI-AdsBot para validar páginas de destino de anúncios.
Não. O GPTBot controla apenas a recolha de dados de treino, enquanto a pesquisa do ChatGPT usa um rastreador separado chamado OAI-SearchBot. Pode bloquear o GPTBot para sair do treino e ainda permitir o OAI-SearchBot para se manter visível e citável na pesquisa do ChatGPT. Bloquear o GPTBot não tem efeito nas suas citações de pesquisa.
Permita o OAI-SearchBot no seu robots.txt, já que recusá-lo o remove dos resultados de pesquisa do ChatGPT. Lembre-se de que as alterações podem demorar cerca de 24 horas a registar-se. Certifique-se também de que o seu conteúdo é legível: evite esconder informação-chave atrás de JavaScript ou dentro de imagens, porque o rastreador só consegue citar texto a que consegue realmente aceder e analisar.