llms.txt: o que é e se o seu site precisa de um

O que é o llms.txt

A proposta foi publicada por Jeremy Howard no site llmstxt.org em 3 de setembro de 2024. Ela descreve um arquivo chamado /llms.txt, escrito em Markdown, que aponta para as páginas mais úteis do site com uma frase sobre cada uma. O arquivo pode ficar na raiz do site ou em uma subpasta.

A única parte obrigatória é um título principal (uma linha começando com #) com o nome do site. O resto é opcional.

• Um resumo curto, em forma de citação (linha começando com >)
• Parágrafos ou listas com mais detalhes, sem novos títulos
• Seções com listas de links, cada uma com um nome e uma nota opcional
• Uma seção chamada "Optional", com links que a ferramenta pode pular quando precisar de menos contexto

O que o Google diz

No guia de otimização para recursos de IA generativa, o Google diz que você não precisa criar novos arquivos legíveis por máquina, arquivos de texto para IA ou Markdown para aparecer na Pesquisa Google, porque a própria Pesquisa não os usa. Diz também que criar um llms.txt para outros serviços não prejudica nem ajuda a visibilidade ou a classificação do site na Pesquisa Google.

Para ser elegível aos recursos de IA da Pesquisa, segundo o mesmo guia, a página precisa estar indexada e poder aparecer com um snippet, e o site precisa estar incluído nos recursos de IA generativa da Pesquisa nas configurações do Search Console.

llms.txt não substitui o robots.txt nem o sitemap

A própria proposta diz que os arquivos têm funções diferentes.

• robots.txt: diz quais acessos automáticos são aceitos. Um erro nele pode impedir o Google de rastrear o site
• Sitemap: lista as páginas que podem ser indexadas. A proposta diz que ele não substitui o llms.txt. Na nossa visão, o contrário também vale
• llms.txt: um resumo curado para ferramentas de IA consultarem quando precisam ajudar alguém

Precisa ou não? A nossa visão

Para uma empresa pequena, o arquivo resolve pouco hoje, porque a Pesquisa Google não o usa e a proposta ainda está aberta a mudanças. Um robots.txt que bloqueia o site inteiro, por outro lado, pode impedir o Google de rastrear todas as páginas. Por isso, a ordem que sugerimos é esta.

• Abra seusite.com.br/robots.txt e procure "Disallow: /" logo abaixo de "User-agent: *"
• Pesquise o nome da sua empresa no Google e confira se as suas páginas aparecem
• Se ainda quiser um llms.txt, mantenha-o igual ao que está nas páginas e defina quem vai atualizá-lo

Um llms.txt desatualizado, com serviços que você já não oferece, é pior do que não ter nenhum. Essa também é a nossa opinião.

Onde nós entramos

Estamos preparando um serviço que envia, a cada manhã, de um a três ajustes concretos para o seu site, incluindo conferências como estas. Ele não promete aparecer em respostas de IA. O serviço ainda não abriu no Brasil. Deixe seu e-mail abaixo e avisaremos quando abrir.