robots.txt: o que é, como ler o seu e quando ele bloqueia o Google

Para que serve

O Google explica que o robots.txt informa aos rastreadores dos mecanismos de busca quais URLs eles podem acessar no site, e que ele é usado principalmente para evitar que o site fique sobrecarregado de solicitações.

O Google também avisa que o arquivo não é um mecanismo para manter uma página fora do Google. Uma página bloqueada ainda pode aparecer se outros sites tiverem links para ela. Para tirá-la da busca, o Google indica a diretiva noindex ou proteger a página com senha. E nem todos os robôs seguem as regras: os confiáveis seguem, outros podem não seguir.

Onde ele fica

O arquivo fica na raiz do site, por exemplo https://www.exemplo.com.br/robots.txt. Segundo o Google, as regras valem só para o host, o protocolo e a porta onde o arquivo está. Um subdomínio, como loja.exemplo.com.br, tem o próprio arquivo.

Se o endereço responder "não encontrado" (erro 404), o Google trata como se não houvesse robots.txt, ou seja, sem restrições de rastreamento. Ter o arquivo não é obrigatório.

Como ler as regras

"User-agent" diz para qual robô vale um grupo de regras. "Disallow" diz onde ele não deve entrar. As leituras abaixo seguem a especificação do Google. Outros robôs podem ler o arquivo de outro jeito.

• "User-agent: *" seguido de "Disallow: /": pede a todos os robôs que não rastreiem o site inteiro. Se o Googlebot não tiver um grupo próprio, isso vale também para a Pesquisa Google
• "User-agent: *" seguido de "Disallow: /wp-admin/": bloqueia só a área de administração do WordPress. As páginas públicas continuam liberadas
• "Disallow:" sem nada depois: o Google ignora regras sem caminho, então nada é bloqueado
• Um grupo com "*" e outro com um nome específico: o robô segue só o grupo mais específico que corresponde a ele e ignora os outros

Mudanças não valem na hora. O Google diz que o conteúdo do robots.txt geralmente fica em cache por até 24 horas.

Robôs de IA no robots.txt

Empresas de IA também publicam os nomes dos seus robôs. A OpenAI, por exemplo, diz que o OAI-SearchBot serve para a busca do ChatGPT e que o GPTBot é usado para treinar os modelos. Segundo ela, um site que bloqueia o OAI-SearchBot não aparece nas respostas da busca do ChatGPT, embora ainda possa aparecer como link de navegação, e as mudanças levam cerca de 24 horas para valer.

Ou seja, dá para decidir sobre treino e sobre busca separadamente. Qual escolher é uma decisão da sua empresa. Não bloquear um robô não significa que o site vai aparecer em respostas de IA.

Conferir no Search Console

Se você usa o Search Console, o Relatório robots.txt mostra os arquivos que o Google encontrou para os 20 principais hosts do site, quando cada um foi rastreado pela última vez e os avisos ou erros. Depois de corrigir um erro, você pode escolher "Solicitar um novo rastreamento" ao lado do arquivo. O relatório só funciona em propriedades do domínio ou de prefixo de URL sem caminho.

Se achar um bloqueio

Não apague na hora. Pergunte a quem cuida do site por que a regra está ali: pode ser uma sobra da fase de desenvolvimento ou uma decisão da empresa. Um "Disallow: /" abaixo de "User-agent: *" em um site no ar merece essa pergunta hoje. Esse é o nosso conselho.

Estamos preparando um serviço que faz conferências como esta e envia, a cada manhã, de um a três ajustes concretos. Ele não enxerga configurações de servidor ou de CDN e não promete aparecer em respostas de IA. O serviço ainda não abriu no Brasil. Deixe seu e-mail abaixo e avisaremos quando abrir.