Réponses des IA

Vérifier son robots.txt à la main, robots d’IA compris

Mis à jour le · Éditeur: AMA CLASS, K.K. (en anglais)

En bref

Ajoutez /robots.txt à l’adresse de votre site et ouvrez-la dans un navigateur. Cherchez « Disallow: / » sous « User-agent: * », qui demande à tous les robots d’ignorer tout le site, ainsi que sous le nom de robots de recherche comme OAI-SearchBot ou PerplexityBot. Vous pouvez le faire dès aujourd’hui, sans vous connecter à quoi que ce soit.

Ouvrir le fichier

robots.txt se trouve à la racine d’un site, par exemple https://www.example.com/robots.txt. Google indique que les règles ne s’appliquent qu’à l’hôte, au protocole et au port où se trouve le fichier. Un sous-domaine comme boutique.example.com a son propre fichier : ouvrez-le aussi si votre réservation ou votre boutique y fonctionne.

Si le fichier renvoie « introuvable » (404), Google fait comme s’il n’y avait pas de robots.txt et considère qu’il n’y a aucune restriction d’exploration.

Lire cinq cas courants

« User-agent » indique à quel robot s’adresse un groupe de règles. « Disallow » indique où il ne doit pas aller. Les lectures ci-dessous suivent la spécification de Google et la documentation des éditeurs de robots. D’autres robots peuvent interpréter le fichier différemment.

  • « User-agent: * » puis « Disallow: / » : demande à tous les robots d’ignorer tout le site. Sauf si Googlebot a son propre groupe, cela s’applique aussi à la recherche Google. Sur un site en ligne, cherchez à savoir pourquoi cette règle est là
  • « User-agent: OAI-SearchBot » puis « Disallow: / » : bloque ce robot nommément. OpenAI indique que ces sites ne seront pas affichés dans les réponses de la recherche ChatGPT, même s’ils peuvent encore apparaître sous forme de liens de navigation
  • « User-agent: * » puis « Disallow: /wp-admin/ » : bloque seulement l’administration de WordPress. Vos pages publiques ne sont pas bloquées
  • « Disallow: » sans rien après : Google ignore une règle sans chemin, elle ne bloque donc rien
  • « User-agent: * » et un groupe nommé à la fois : les robots de Google ne suivent que le groupe correspondant le plus précis et ignorent les autres

Robots de recherche et robots d’entraînement ne sont pas les mêmes

Pour savoir si vous pouvez apparaître dans les réponses de recherche des IA, regardez les robots de recherche. Ces noms viennent de la documentation de chaque entreprise.

  • Googlebot : recherche Google. Les fonctionnalités d’IA de la recherche Google se contrôlent avec les mêmes règles robots.txt pour Googlebot
  • OAI-SearchBot : recherche ChatGPT
  • Claude-SearchBot : améliore les résultats de recherche pour les utilisateurs de Claude
  • PerplexityBot : résultats de recherche Perplexity

GPTBot et ClaudeBot collectent du contenu qui peut servir à l’entraînement. Vous pouvez décider à leur sujet indépendamment de la recherche. ChatGPT-User et Perplexity-User agissent à la demande d’une personne. OpenAI indique que les règles robots.txt peuvent ne pas s’appliquer au premier, et Perplexity indique que son outil de récupération les ignore généralement.

Vérifier dans la Search Console

Si vous utilisez la Search Console, le rapport robots.txt dans « Paramètres » montre quels fichiers robots.txt Google a trouvés pour 20 hôtes au maximum, quand il les a récupérés pour la dernière fois et les éventuelles erreurs. Après une correction, vous pouvez demander une nouvelle exploration du fichier depuis ce rapport. Il est disponible pour les propriétés de type Domaine et pour les propriétés de type Préfixe d’URL sans chemin.

Ce que robots.txt ne vous dit pas

Savoir que vous ne bloquez pas un robot laisse encore ces questions ouvertes.

  • Ce n’est pas une garantie. Google indique que les robots sérieux respectent les règles, mais que d’autres peuvent ne pas le faire
  • Un CDN, un pare-feu ou un réglage du serveur peut bloquer des robots sans rien dans robots.txt. Perplexity signale qu’un pare-feu peut devoir autoriser son robot
  • Pour exclure une page de la recherche, Google renvoie à noindex. Une page bloquée dans robots.txt ne peut pas être lue, et son noindex n’est donc pas vu non plus
  • Ne pas bloquer un robot ne veut pas dire que vous apparaîtrez dans les réponses des IA

Les changements prennent aussi du temps. Google met généralement robots.txt en cache jusqu’à 24 heures. OpenAI indique que ses systèmes de recherche peuvent mettre environ 24 heures à s’ajuster.

Si vous trouvez un blocage

Ne le supprimez pas tout de suite. Demandez à la personne qui gère le site pourquoi il est là. Il peut s’agir d’un reste de la phase de développement ou d’une décision de l’entreprise. Un « Disallow: / » sous « User-agent: * » peut aussi bloquer la recherche Google : posez la question dès aujourd’hui pour celui-là. C’est notre conseil.

Pour comparer ce fichier avec llms.txt, lisez « llms.txt ou robots.txt : à quoi sert chaque fichier, lequel faut-il ? ». Vous pouvez aussi tester une URL avec l’outil gratuit https://get1pct.com/fr/tools/ai-crawler-check.

Get1pct est un service qui effectue ce type de vérification et envoie jusqu’à trois corrections les jours où des idées pertinentes sont disponibles. Il ne voit pas les réglages du CDN ni du serveur, et ne peut pas promettre une place dans les réponses des IA. Consultez les indications de cette page pour connaître la disponibilité et les conditions actuelles. Vous pouvez aussi laisser votre adresse e-mail pour recevoir une seule notification de disponibilité.

Sources