Herramientas gratis

Comprueba si robots.txt bloquea a los rastreadores de IA

Los rastreadores (crawlers) son programas que leen webs de forma automática. Introduce una URL y mira si tu robots.txt bloquea a los rastreadores de IA, separados en rastreadores de búsqueda y de entrenamiento. Gratis, sin registro y sin IA.

Cuándo usarla

  • Tu web no aparece en las respuestas de los buscadores con IA
  • Un desarrollador, tu hosting o un plugin cambió robots.txt
  • Querías bloquear solo los rastreadores de entrenamiento y quieres confirmarlo

Qué te muestra

  • Si robots.txt bloquea por completo, en parte o permite cada rastreador de IA
  • Qué regla se aplica
  • Qué dice oficialmente cada empresa que pasa si lo bloqueas

Qué no puede decirte

  • Los bloqueos configurados en tu CDN o en el servidor
  • Si las respuestas de IA citan de verdad tu web o si los rastreadores la visitan realmente
  • Cómo se tratan los accesos que inicia el usuario, como ChatGPT-User

Solo leemos el archivo robots.txt público. No guardamos la URL ni los resultados. Los datos de conexión se usan de forma temporal para limitar el número de consultas.

Los rastreadores que revisamos y lo que dicen sus empresas

Las funciones se basan en la documentación oficial de cada empresa, consultada el 7 de noviembre de 2026. La documentación cambia, así que lee las páginas oficiales antes de decidir.

Rastreadores de búsqueda

OAI-SearchBotOpenAI
Lee webs para que puedan aparecer en la búsqueda de ChatGPT. Si lo bloqueas, la web no aparecerá en las respuestas de búsqueda de ChatGPT, aunque puede seguir apareciendo como enlace de navegación (según OpenAI).
Claude-SearchBotAnthropic
Lee webs para mejorar la calidad de los resultados de búsqueda de Claude. Si lo bloqueas, la web no se lee para la búsqueda, lo que puede reducir su visibilidad y su precisión en los resultados (según Anthropic).
PerplexityBotPerplexity
Lee webs para que Perplexity pueda mostrarlas y enlazarlas en sus resultados de búsqueda. Perplexity afirma que no se usa para entrenar modelos fundacionales. Si lo bloqueas, rechazas la lectura que Perplexity usa para mostrar tu web en sus resultados de búsqueda (según la descripción de Perplexity).

Rastreadores de entrenamiento y otros

GPTBotOpenAI
Lee contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI. Bloquearlo indica que no quieres que tu contenido se use para entrenamiento. La búsqueda de ChatGPT se controla por separado con OAI-SearchBot (según OpenAI).
ClaudeBotAnthropic
Lee contenido que puede usarse para entrenar los modelos de IA generativa de Anthropic. Bloquearlo pide a Anthropic que excluya tu contenido futuro de los datos de entrenamiento (según Anthropic).
Google-ExtendedGoogle
Un token de control que indica si el contenido se usa para entrenar futuros modelos de Gemini y para fundamentar (grounding) sus respuestas. No rastrea por sí solo. Google afirma que no afecta a la inclusión ni a la posición en la Búsqueda de Google.
Applebot-ExtendedApple
Un token de control que indica si Apple puede usar el contenido para su IA generativa. No rastrea por sí solo. Apple afirma que las páginas bloqueadas pueden seguir apareciendo en sus resultados de búsqueda y que no se usa para la clasificación.
CCBotCommon Crawl
Recopila datos para Common Crawl, una organización sin ánimo de lucro que pone su conjunto de datos a disposición gratuita de investigadores y empresas. Su página oficial no menciona el entrenamiento de IA, pero como los datos son públicos, entendemos que también pueden usarse para entrenamiento (suposición nuestra). Si lo bloqueas, Common Crawl deja de leer tu web. No podemos saber qué pasa con los datos ya publicados.

Cómo bloquear un rastreador

Al añadir estas líneas a robots.txt pides al rastreador indicado que no lea ninguna parte de tu web. Cambia el nombre para aplicarlo a otro rastreador. robots.txt es una petición, no una garantía de que una página no se lea.

User-agent: GPTBot
Disallow: /

Documentación oficial

Para revisar el título, la descripción y el noindex de una página, usa el comprobador de title y meta description.

Más herramientas gratis