Respostas de IA

Como verificar o robots.txt à mão, incluindo os rastreadores de IA

Atualizado em · Publicado por: AMA CLASS, K.K. (em inglês)

Resposta curta

Acrescente /robots.txt ao endereço do site e abra no navegador. Procure “Disallow: /” abaixo de “User-agent: *”, que pede a todos os rastreadores que ignorem o site inteiro, e abaixo dos nomes de rastreadores de busca como OAI-SearchBot ou PerplexityBot. Dá para fazer isso hoje, sem entrar em nenhuma conta.

Abra o arquivo

O robots.txt fica no nível mais alto do site, por exemplo https://www.example.com/robots.txt. O Google diz que as regras valem só para o host, o protocolo e a porta onde o arquivo está. Um subdomínio como loja.example.com tem o próprio arquivo, então abra esse também se a sua loja ou o seu sistema de agendamento roda nele.

Se o arquivo retornar “não encontrado” (404), o Google trata como se não houvesse robots.txt e considera que não há restrição de rastreamento. Para entender o arquivo do zero, veja “robots.txt: o que é, como ler o seu e quando ele bloqueia o Google”; aqui o foco são os rastreadores de IA.

Leia cinco padrões comuns

“User-agent” diz para qual rastreador vale um grupo de regras. “Disallow” diz aonde ele não deve ir. As leituras abaixo seguem a especificação do Google e a documentação das próprias empresas dos rastreadores. Outros rastreadores podem ler o arquivo de outro jeito.

  • “User-agent: *” seguido de “Disallow: /”: pede a todos os rastreadores que ignorem o site inteiro. A menos que o Googlebot tenha um grupo próprio, isso vale também para a Pesquisa Google. Num site no ar, descubra por que isso está ali
  • “User-agent: OAI-SearchBot” seguido de “Disallow: /”: bloqueia esse rastreador pelo nome. A OpenAI diz que esses sites não serão mostrados nas respostas da busca do ChatGPT, embora ainda possam aparecer como links de navegação
  • “User-agent: *” seguido de “Disallow: /wp-admin/”: bloqueia só a área administrativa do WordPress. As suas páginas públicas não ficam bloqueadas
  • “Disallow:” sem nada depois: o Google ignora uma regra sem caminho, então ela não bloqueia nada
  • “User-agent: *” e um grupo com nome ao mesmo tempo: os rastreadores do Google seguem só o grupo mais específico que corresponde a eles e ignoram o resto

Rastreadores de busca e de treinamento são diferentes

Para saber se você pode aparecer em respostas de busca com IA, procure os rastreadores de busca. Estes nomes vêm da documentação de cada empresa.

  • Googlebot: Pesquisa Google. Os recursos de IA do Google na Pesquisa são controlados pelas mesmas regras do robots.txt para o Googlebot
  • OAI-SearchBot: busca do ChatGPT
  • Claude-SearchBot: melhora os resultados de busca para os usuários do Claude
  • PerplexityBot: resultados de busca do Perplexity

GPTBot e ClaudeBot coletam conteúdo que pode ser usado para treinamento. Você pode decidir sobre eles separadamente da busca. ChatGPT-User e Perplexity-User agem a pedido de uma pessoa. A OpenAI diz que as regras do robots.txt podem não se aplicar ao ChatGPT-User, e a Perplexity diz que o seu buscador em geral as ignora.

Confira no Search Console

Se você usa o Search Console, o relatório robots.txt, em Configurações, mostra quais arquivos robots.txt o Google encontrou para até 20 hosts, quando os buscou pela última vez e se há erros. Depois de uma correção, você pode pedir um novo rastreamento do arquivo nesse relatório. O relatório está disponível para propriedades de domínio e para propriedades de prefixo de URL sem caminho.

O que o robots.txt não consegue dizer

Saber que você não bloqueia um rastreador ainda deixa estas questões em aberto.

  • Não é garantia. O Google diz que os rastreadores confiáveis seguem as regras, mas outros podem não seguir
  • Uma CDN, um firewall ou uma configuração do servidor podem bloquear rastreadores sem nada no robots.txt. A Perplexity observa que pode ser preciso liberar o rastreador dela no firewall
  • Para manter uma página fora da busca, o Google indica o noindex. Uma página bloqueada no robots.txt não pode ser lida, então o noindex dela também não é visto
  • Não bloquear um rastreador não significa que você vai aparecer em respostas de IA

As mudanças também levam tempo. Em geral, o Google guarda o robots.txt em cache por até 24 horas. A OpenAI diz que os sistemas de busca dela podem levar cerca de 24 horas para se ajustar.

Se encontrar um bloqueio

Não apague na hora. Pergunte a quem cuida do site por que ele está ali. Pode ser uma sobra do desenvolvimento ou uma decisão da empresa. Um “Disallow: /” abaixo de “User-agent: *” também pode barrar a Pesquisa Google, então pergunte sobre esse hoje mesmo. Esse é o nosso conselho. Para ver de forma automática se o robots.txt bloqueia rastreadores de busca e de treinamento de IA, use a ferramenta gratuita em https://get1pct.com/pt/tools/ai-crawler-check.

O Get1pct é um serviço que faz conferências como esta e envia, nos dias com ideias adequadas, até três ajustes. Ele não enxerga configurações de CDN ou do servidor e não promete um lugar nas respostas de IA. Consulte as informações desta página para verificar a disponibilidade e as condições atuais. Você também pode deixar seu e-mail para receber um único aviso sobre a disponibilidade.

Fontes