Ferramentas grátis

Verifique se o robots.txt bloqueia rastreadores de IA

Rastreadores (crawlers) são programas que leem sites automaticamente. Informe uma URL e veja se o seu robots.txt bloqueia rastreadores de IA, separados em rastreadores de busca e de treinamento. Grátis, sem cadastro e sem IA.

Quando usar

  • Seu site não aparece nas respostas das buscas com IA
  • Um desenvolvedor, a hospedagem ou um plugin mudou o robots.txt
  • Você queria bloquear só os rastreadores de treinamento e quer confirmar

O que ela mostra

  • Se o robots.txt bloqueia totalmente, bloqueia em parte ou permite cada rastreador de IA
  • Qual regra se aplica
  • O que cada empresa diz oficialmente que acontece quando você bloqueia

O que ela não consegue dizer

  • Bloqueios configurados na sua CDN ou no servidor
  • Se as respostas de IA citam mesmo o seu site, ou se os rastreadores realmente visitam
  • Como são tratados os acessos iniciados pelo usuário, como o ChatGPT-User

Lemos apenas o arquivo robots.txt público. Não salvamos a URL nem os resultados. Os dados de conexão são usados temporariamente para limitar o número de consultas.

Os rastreadores que verificamos e o que as empresas dizem

As funções vêm da documentação oficial de cada empresa, consultada em 7 de novembro de 2026. A documentação muda, então leia as páginas oficiais antes de decidir.

Rastreadores de busca

OAI-SearchBotOpenAI
Lê sites para que eles possam aparecer na busca do ChatGPT. Se for bloqueado, o site não vai aparecer nas respostas da busca do ChatGPT, embora ainda possa aparecer como link de navegação (segundo a OpenAI).
Claude-SearchBotAnthropic
Lê sites para melhorar a qualidade dos resultados de busca do Claude. Se for bloqueado, o site não é lido para a busca, o que pode reduzir sua visibilidade e precisão nos resultados (segundo a Anthropic).
PerplexityBotPerplexity
Lê sites para que o Perplexity possa mostrá-los e colocar links para eles nos resultados de busca. O Perplexity diz que ele não é usado para treinar modelos de base. Se for bloqueado, você recusa a leitura que o Perplexity usa para mostrar seu site nos resultados de busca (com base na descrição do Perplexity).

Rastreadores de treinamento e outros

GPTBotOpenAI
Lê conteúdo que pode ser usado para treinar os modelos de base de IA generativa da OpenAI. Bloqueá-lo sinaliza que você não quer que seu conteúdo seja usado para treinamento. A busca do ChatGPT é controlada separadamente pelo OAI-SearchBot (segundo a OpenAI).
ClaudeBotAnthropic
Lê conteúdo que pode ser usado para treinar os modelos de IA generativa da Anthropic. Bloqueá-lo pede à Anthropic que exclua seu conteúdo futuro dos dados de treinamento (segundo a Anthropic).
Google-ExtendedGoogle
Um token de controle que indica se o conteúdo é usado para treinar futuros modelos do Gemini e para embasar (grounding) respostas. Ele não rastreia sozinho. O Google diz que isso não afeta a inclusão nem a posição na Pesquisa Google.
Applebot-ExtendedApple
Um token de controle que indica se a Apple pode usar o conteúdo na sua IA generativa. Ele não rastreia sozinho. A Apple diz que páginas bloqueadas ainda podem aparecer nos resultados de busca da Apple e que ele não é usado para classificação.
CCBotCommon Crawl
Coleta dados para o Common Crawl, uma organização sem fins lucrativos que disponibiliza seu conjunto de dados gratuitamente para pesquisadores e empresas. A página oficial não menciona treinamento de IA, mas como os dados são públicos, entendemos que eles também podem ser usados para treinamento (suposição nossa). Se for bloqueado, o Common Crawl deixa de ler seu site. Não conseguimos saber como são tratados os dados já publicados.

Como bloquear um rastreador

Adicionar estas linhas ao robots.txt pede ao rastreador indicado que não leia nenhuma parte do seu site. Troque o nome para aplicar a outro rastreador. O robots.txt é um pedido, não uma garantia de que a página não será lida.

User-agent: GPTBot
Disallow: /

Documentação oficial

Para verificar o título, a descrição e o noindex de uma página, use o verificador de title e meta description.

Mais ferramentas grátis