Outils gratuits

Vérifier si votre robots.txt bloque les robots d’IA

Les robots d’exploration (crawlers) sont des programmes qui lisent automatiquement les sites web. Saisissez une URL pour voir si votre robots.txt bloque les robots d’IA, en distinguant les robots de recherche et ceux d’entraînement. Gratuit, sans inscription et sans IA.

Quand l’utiliser

  • Votre site n’apparaît pas dans les réponses des moteurs de recherche IA
  • Un développeur, votre hébergeur ou une extension a modifié le robots.txt
  • Vous vouliez bloquer uniquement les robots d’entraînement et souhaitez le vérifier

Ce qu’il indique

  • Si le robots.txt bloque entièrement, bloque en partie ou autorise chaque robot d’IA
  • Quelle règle s’applique
  • Ce que chaque entreprise indique officiellement sur l’effet d’un blocage

Ce qu’il ne peut pas vous dire

  • Les blocages définis dans les réglages de votre CDN ou de votre serveur
  • Si les réponses des IA citent réellement votre site, ou si les robots passent vraiment
  • La manière dont sont traitées les consultations déclenchées par les utilisateurs, comme ChatGPT-User

Nous lisons uniquement le fichier robots.txt public. Nous n’enregistrons ni l’URL ni les résultats. Les informations de connexion servent uniquement, et temporairement, à limiter le nombre de requêtes.

Les robots vérifiés, et ce qu’en disent leurs éditeurs

Les rôles sont tirés de la documentation officielle de chaque entreprise, consultée le 7 novembre 2026. Cette documentation évolue : lisez les pages officielles avant de décider.

Robots de recherche

OAI-SearchBotOpenAI
Lit les sites pour qu’ils puissent apparaître dans la recherche de ChatGPT. S’il est bloqué, le site n’apparaîtra pas dans les réponses de la recherche ChatGPT, mais pourra encore apparaître sous forme de lien de navigation (selon OpenAI).
Claude-SearchBotAnthropic
Lit les sites pour améliorer la qualité des résultats de recherche de Claude. S’il est bloqué, le site n’est pas lu pour la recherche, ce qui peut réduire sa visibilité et la précision des résultats de recherche le concernant (selon Anthropic).
PerplexityBotPerplexity
Lit les sites pour que Perplexity puisse les afficher et les lier dans ses résultats de recherche. Perplexity indique qu’il ne sert pas à entraîner des modèles de fondation. S’il est bloqué, vous refusez la lecture qui permet à Perplexity d’afficher votre site dans ses résultats de recherche (d’après la description de Perplexity).

Robots d’entraînement et autres

GPTBotOpenAI
Lit des contenus susceptibles de servir à entraîner les modèles de fondation d’IA générative d’OpenAI. Le bloquer indique que vous ne souhaitez pas que vos contenus servent à l’entraînement. La recherche ChatGPT est gérée séparément par OAI-SearchBot (selon OpenAI).
ClaudeBotAnthropic
Lit des contenus susceptibles de servir à entraîner les modèles d’IA générative d’Anthropic. Le bloquer demande à Anthropic d’exclure vos futurs contenus de ses données d’entraînement (selon Anthropic).
Google-ExtendedGoogle
Un jeton de contrôle qui indique si les contenus peuvent servir à entraîner les futurs modèles Gemini et à ancrer (grounding) les réponses. Il n’explore pas les sites par lui-même. Google indique que cela n’a pas d’effet sur l’inclusion ni sur le classement dans la recherche Google.
Applebot-ExtendedApple
Un jeton de contrôle qui indique si Apple peut utiliser les contenus pour son IA générative. Il n’explore pas les sites par lui-même. Apple indique que les pages bloquées peuvent toujours apparaître dans ses résultats de recherche, et que ce jeton n’est pas utilisé pour le classement.
CCBotCommon Crawl
Collecte des données pour Common Crawl, un organisme à but non lucratif qui met son jeu de données librement à la disposition des chercheurs et des entreprises. Sa page officielle ne mentionne pas l’entraînement d’IA, mais comme les données sont publiques, nous estimons qu’elles peuvent aussi servir à l’entraînement (notre hypothèse). S’il est bloqué, Common Crawl cesse de lire votre site. Nous ne pouvons pas savoir comment sont traitées les données déjà publiées.

Comment bloquer un robot

Ajouter ces lignes au robots.txt demande au robot nommé de ne lire aucune partie de votre site. Changez le nom pour l’appliquer à un autre robot. Le robots.txt est une demande, pas une garantie qu’une page ne sera pas lue.

User-agent: GPTBot
Disallow: /

Documentation officielle

Pour vérifier la balise title, la description et le noindex d’une page, utilisez le vérificateur de title et meta description.

Autres outils gratuits