Respostas de IA
Como verificar o robots.txt à mão, incluindo os rastreadores de IA
Resposta curta
Acrescente /robots.txt ao endereço do site e abra no navegador. Procure “Disallow: /” abaixo de “User-agent: *”, que pede a todos os rastreadores que ignorem o site inteiro, e abaixo dos nomes de rastreadores de busca como OAI-SearchBot ou PerplexityBot. Dá para fazer isso hoje, sem entrar em nenhuma conta.
Abra o arquivo
O robots.txt fica no nível mais alto do site, por exemplo https://www.example.com/robots.txt. O Google diz que as regras valem só para o host, o protocolo e a porta onde o arquivo está. Um subdomínio como loja.example.com tem o próprio arquivo, então abra esse também se a sua loja ou o seu sistema de agendamento roda nele.
Se o arquivo retornar “não encontrado” (404), o Google trata como se não houvesse robots.txt e considera que não há restrição de rastreamento. Para entender o arquivo do zero, veja “robots.txt: o que é, como ler o seu e quando ele bloqueia o Google”; aqui o foco são os rastreadores de IA.
Leia cinco padrões comuns
“User-agent” diz para qual rastreador vale um grupo de regras. “Disallow” diz aonde ele não deve ir. As leituras abaixo seguem a especificação do Google e a documentação das próprias empresas dos rastreadores. Outros rastreadores podem ler o arquivo de outro jeito.
- “User-agent: *” seguido de “Disallow: /”: pede a todos os rastreadores que ignorem o site inteiro. A menos que o Googlebot tenha um grupo próprio, isso vale também para a Pesquisa Google. Num site no ar, descubra por que isso está ali
- “User-agent: OAI-SearchBot” seguido de “Disallow: /”: bloqueia esse rastreador pelo nome. A OpenAI diz que esses sites não serão mostrados nas respostas da busca do ChatGPT, embora ainda possam aparecer como links de navegação
- “User-agent: *” seguido de “Disallow: /wp-admin/”: bloqueia só a área administrativa do WordPress. As suas páginas públicas não ficam bloqueadas
- “Disallow:” sem nada depois: o Google ignora uma regra sem caminho, então ela não bloqueia nada
- “User-agent: *” e um grupo com nome ao mesmo tempo: os rastreadores do Google seguem só o grupo mais específico que corresponde a eles e ignoram o resto
Rastreadores de busca e de treinamento são diferentes
Para saber se você pode aparecer em respostas de busca com IA, procure os rastreadores de busca. Estes nomes vêm da documentação de cada empresa.
- Googlebot: Pesquisa Google. Os recursos de IA do Google na Pesquisa são controlados pelas mesmas regras do robots.txt para o Googlebot
- OAI-SearchBot: busca do ChatGPT
- Claude-SearchBot: melhora os resultados de busca para os usuários do Claude
- PerplexityBot: resultados de busca do Perplexity
GPTBot e ClaudeBot coletam conteúdo que pode ser usado para treinamento. Você pode decidir sobre eles separadamente da busca. ChatGPT-User e Perplexity-User agem a pedido de uma pessoa. A OpenAI diz que as regras do robots.txt podem não se aplicar ao ChatGPT-User, e a Perplexity diz que o seu buscador em geral as ignora.
Confira no Search Console
Se você usa o Search Console, o relatório robots.txt, em Configurações, mostra quais arquivos robots.txt o Google encontrou para até 20 hosts, quando os buscou pela última vez e se há erros. Depois de uma correção, você pode pedir um novo rastreamento do arquivo nesse relatório. O relatório está disponível para propriedades de domínio e para propriedades de prefixo de URL sem caminho.
O que o robots.txt não consegue dizer
Saber que você não bloqueia um rastreador ainda deixa estas questões em aberto.
- Não é garantia. O Google diz que os rastreadores confiáveis seguem as regras, mas outros podem não seguir
- Uma CDN, um firewall ou uma configuração do servidor podem bloquear rastreadores sem nada no robots.txt. A Perplexity observa que pode ser preciso liberar o rastreador dela no firewall
- Para manter uma página fora da busca, o Google indica o noindex. Uma página bloqueada no robots.txt não pode ser lida, então o noindex dela também não é visto
- Não bloquear um rastreador não significa que você vai aparecer em respostas de IA
As mudanças também levam tempo. Em geral, o Google guarda o robots.txt em cache por até 24 horas. A OpenAI diz que os sistemas de busca dela podem levar cerca de 24 horas para se ajustar.
Se encontrar um bloqueio
Não apague na hora. Pergunte a quem cuida do site por que ele está ali. Pode ser uma sobra do desenvolvimento ou uma decisão da empresa. Um “Disallow: /” abaixo de “User-agent: *” também pode barrar a Pesquisa Google, então pergunte sobre esse hoje mesmo. Esse é o nosso conselho. Para ver de forma automática se o robots.txt bloqueia rastreadores de busca e de treinamento de IA, use a ferramenta gratuita em https://get1pct.com/pt/tools/ai-crawler-check.
O Get1pct é um serviço que faz conferências como esta e envia, nos dias com ideias adequadas, até três ajustes. Ele não enxerga configurações de CDN ou do servidor e não promete um lugar nas respostas de IA. Consulte as informações desta página para verificar a disponibilidade e as condições atuais. Você também pode deixar seu e-mail para receber um único aviso sobre a disponibilidade.
Fontes
- Google: Como o Google interpreta a especificação do robots.txt
- Google: Introdução ao robots.txt
- Ajuda do Search Console: Relatório robots.txt
- Google: Bloquear a indexação na Pesquisa com noindex
- Google: Recursos de IA e o seu site
- OpenAI: Overview of OpenAI Crawlers
- Perplexity: Perplexity Crawlers
- Anthropic: A Anthropic rastreia dados da web?