Outils gratuits
Vérifier si votre robots.txt bloque les robots d’IA
Les robots d’exploration (crawlers) sont des programmes qui lisent automatiquement les sites web. Saisissez une URL pour voir si votre robots.txt bloque les robots d’IA, en distinguant les robots de recherche et ceux d’entraînement. Gratuit, sans inscription et sans IA.
Quand l’utiliser
- Votre site n’apparaît pas dans les réponses des moteurs de recherche IA
- Un développeur, votre hébergeur ou une extension a modifié le robots.txt
- Vous vouliez bloquer uniquement les robots d’entraînement et souhaitez le vérifier
Ce qu’il indique
- Si le robots.txt bloque entièrement, bloque en partie ou autorise chaque robot d’IA
- Quelle règle s’applique
- Ce que chaque entreprise indique officiellement sur l’effet d’un blocage
Ce qu’il ne peut pas vous dire
- Les blocages définis dans les réglages de votre CDN ou de votre serveur
- Si les réponses des IA citent réellement votre site, ou si les robots passent vraiment
- La manière dont sont traitées les consultations déclenchées par les utilisateurs, comme ChatGPT-User
Les robots vérifiés, et ce qu’en disent leurs éditeurs
Les rôles sont tirés de la documentation officielle de chaque entreprise, consultée le 7 novembre 2026. Cette documentation évolue : lisez les pages officielles avant de décider.
Robots de recherche
- OAI-SearchBotOpenAI
- Lit les sites pour qu’ils puissent apparaître dans la recherche de ChatGPT. S’il est bloqué, le site n’apparaîtra pas dans les réponses de la recherche ChatGPT, mais pourra encore apparaître sous forme de lien de navigation (selon OpenAI).
- Claude-SearchBotAnthropic
- Lit les sites pour améliorer la qualité des résultats de recherche de Claude. S’il est bloqué, le site n’est pas lu pour la recherche, ce qui peut réduire sa visibilité et la précision des résultats de recherche le concernant (selon Anthropic).
- PerplexityBotPerplexity
- Lit les sites pour que Perplexity puisse les afficher et les lier dans ses résultats de recherche. Perplexity indique qu’il ne sert pas à entraîner des modèles de fondation. S’il est bloqué, vous refusez la lecture qui permet à Perplexity d’afficher votre site dans ses résultats de recherche (d’après la description de Perplexity).
Robots d’entraînement et autres
- GPTBotOpenAI
- Lit des contenus susceptibles de servir à entraîner les modèles de fondation d’IA générative d’OpenAI. Le bloquer indique que vous ne souhaitez pas que vos contenus servent à l’entraînement. La recherche ChatGPT est gérée séparément par OAI-SearchBot (selon OpenAI).
- ClaudeBotAnthropic
- Lit des contenus susceptibles de servir à entraîner les modèles d’IA générative d’Anthropic. Le bloquer demande à Anthropic d’exclure vos futurs contenus de ses données d’entraînement (selon Anthropic).
- Google-ExtendedGoogle
- Un jeton de contrôle qui indique si les contenus peuvent servir à entraîner les futurs modèles Gemini et à ancrer (grounding) les réponses. Il n’explore pas les sites par lui-même. Google indique que cela n’a pas d’effet sur l’inclusion ni sur le classement dans la recherche Google.
- Applebot-ExtendedApple
- Un jeton de contrôle qui indique si Apple peut utiliser les contenus pour son IA générative. Il n’explore pas les sites par lui-même. Apple indique que les pages bloquées peuvent toujours apparaître dans ses résultats de recherche, et que ce jeton n’est pas utilisé pour le classement.
- CCBotCommon Crawl
- Collecte des données pour Common Crawl, un organisme à but non lucratif qui met son jeu de données librement à la disposition des chercheurs et des entreprises. Sa page officielle ne mentionne pas l’entraînement d’IA, mais comme les données sont publiques, nous estimons qu’elles peuvent aussi servir à l’entraînement (notre hypothèse). S’il est bloqué, Common Crawl cesse de lire votre site. Nous ne pouvons pas savoir comment sont traitées les données déjà publiées.
Comment bloquer un robot
Ajouter ces lignes au robots.txt demande au robot nommé de ne lire aucune partie de votre site. Changez le nom pour l’appliquer à un autre robot. Le robots.txt est une demande, pas une garantie qu’une page ne sera pas lue.
User-agent: GPTBot Disallow: /
Documentation officielle
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
Pour vérifier la balise title, la description et le noindex d’une page, utilisez le vérificateur de title et meta description.