Ferramentas grátis
Verifique se o robots.txt bloqueia rastreadores de IA
Rastreadores (crawlers) são programas que leem sites automaticamente. Informe uma URL e veja se o seu robots.txt bloqueia rastreadores de IA, separados em rastreadores de busca e de treinamento. Grátis, sem cadastro e sem IA.
Quando usar
- Seu site não aparece nas respostas das buscas com IA
- Um desenvolvedor, a hospedagem ou um plugin mudou o robots.txt
- Você queria bloquear só os rastreadores de treinamento e quer confirmar
O que ela mostra
- Se o robots.txt bloqueia totalmente, bloqueia em parte ou permite cada rastreador de IA
- Qual regra se aplica
- O que cada empresa diz oficialmente que acontece quando você bloqueia
O que ela não consegue dizer
- Bloqueios configurados na sua CDN ou no servidor
- Se as respostas de IA citam mesmo o seu site, ou se os rastreadores realmente visitam
- Como são tratados os acessos iniciados pelo usuário, como o ChatGPT-User
Os rastreadores que verificamos e o que as empresas dizem
As funções vêm da documentação oficial de cada empresa, consultada em 7 de novembro de 2026. A documentação muda, então leia as páginas oficiais antes de decidir.
Rastreadores de busca
- OAI-SearchBotOpenAI
- Lê sites para que eles possam aparecer na busca do ChatGPT. Se for bloqueado, o site não vai aparecer nas respostas da busca do ChatGPT, embora ainda possa aparecer como link de navegação (segundo a OpenAI).
- Claude-SearchBotAnthropic
- Lê sites para melhorar a qualidade dos resultados de busca do Claude. Se for bloqueado, o site não é lido para a busca, o que pode reduzir sua visibilidade e precisão nos resultados (segundo a Anthropic).
- PerplexityBotPerplexity
- Lê sites para que o Perplexity possa mostrá-los e colocar links para eles nos resultados de busca. O Perplexity diz que ele não é usado para treinar modelos de base. Se for bloqueado, você recusa a leitura que o Perplexity usa para mostrar seu site nos resultados de busca (com base na descrição do Perplexity).
Rastreadores de treinamento e outros
- GPTBotOpenAI
- Lê conteúdo que pode ser usado para treinar os modelos de base de IA generativa da OpenAI. Bloqueá-lo sinaliza que você não quer que seu conteúdo seja usado para treinamento. A busca do ChatGPT é controlada separadamente pelo OAI-SearchBot (segundo a OpenAI).
- ClaudeBotAnthropic
- Lê conteúdo que pode ser usado para treinar os modelos de IA generativa da Anthropic. Bloqueá-lo pede à Anthropic que exclua seu conteúdo futuro dos dados de treinamento (segundo a Anthropic).
- Google-ExtendedGoogle
- Um token de controle que indica se o conteúdo é usado para treinar futuros modelos do Gemini e para embasar (grounding) respostas. Ele não rastreia sozinho. O Google diz que isso não afeta a inclusão nem a posição na Pesquisa Google.
- Applebot-ExtendedApple
- Um token de controle que indica se a Apple pode usar o conteúdo na sua IA generativa. Ele não rastreia sozinho. A Apple diz que páginas bloqueadas ainda podem aparecer nos resultados de busca da Apple e que ele não é usado para classificação.
- CCBotCommon Crawl
- Coleta dados para o Common Crawl, uma organização sem fins lucrativos que disponibiliza seu conjunto de dados gratuitamente para pesquisadores e empresas. A página oficial não menciona treinamento de IA, mas como os dados são públicos, entendemos que eles também podem ser usados para treinamento (suposição nossa). Se for bloqueado, o Common Crawl deixa de ler seu site. Não conseguimos saber como são tratados os dados já publicados.
Como bloquear um rastreador
Adicionar estas linhas ao robots.txt pede ao rastreador indicado que não leia nenhuma parte do seu site. Troque o nome para aplicar a outro rastreador. O robots.txt é um pedido, não uma garantia de que a página não será lida.
User-agent: GPTBot Disallow: /
Documentação oficial
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
Para verificar o título, a descrição e o noindex de uma página, use o verificador de title e meta description.