Respuestas de IA
Comprobar robots.txt a mano, rastreadores de IA incluidos
Respuesta corta
Añade /robots.txt a la dirección de tu web y ábrelo en el navegador. Busca «Disallow: /» debajo de «User-agent: *», que pide a todos los rastreadores que se salten el sitio entero, y debajo de los nombres de rastreadores de búsqueda como OAI-SearchBot o PerplexityBot. Puedes hacerlo hoy sin iniciar sesión en nada.
Abre el archivo
robots.txt está en el nivel superior de un sitio, por ejemplo https://www.example.com/robots.txt. Google dice que las reglas solo se aplican al host, el protocolo y el puerto donde está el archivo. Un subdominio como tienda.example.com tiene su propio archivo, así que ábrelo también si tus reservas o tu tienda funcionan ahí.
Si el archivo devuelve «no encontrado» (404), Google actúa como si no hubiera robots.txt y entiende que no hay restricciones de rastreo.
Lee cinco patrones habituales
«User-agent» indica a qué rastreador va dirigido un grupo de reglas. «Disallow» indica adónde no debe ir. Las lecturas de abajo siguen la especificación de Google y la documentación de las propias empresas de los rastreadores. Otros rastreadores pueden interpretar el archivo de otra forma.
- «User-agent: *» y luego «Disallow: /»: pide a todos los rastreadores que se salten el sitio entero. Salvo que Googlebot tenga su propio grupo, también afecta a la Búsqueda de Google. En un sitio publicado, averigua por qué está ahí
- «User-agent: OAI-SearchBot» y luego «Disallow: /»: bloquea a ese rastreador por su nombre. OpenAI dice que esos sitios no se mostrarán en las respuestas de búsqueda de ChatGPT, aunque aún pueden aparecer como enlaces de navegación
- «User-agent: *» y luego «Disallow: /wp-admin/»: bloquea solo la zona de administración de WordPress. Tus páginas públicas no quedan bloqueadas
- «Disallow:» sin nada detrás: Google ignora una regla sin ruta, así que no bloquea nada
- «User-agent: *» y además un grupo con nombre: los rastreadores de Google siguen solo el grupo más específico que coincide con ellos e ignoran el resto
Los rastreadores de búsqueda y los de entrenamiento son distintos
Para saber si puedes aparecer en las respuestas de búsqueda con IA, busca los rastreadores de búsqueda. Estos nombres salen de la documentación de cada empresa.
- Googlebot: Búsqueda de Google. Las funciones de IA de la Búsqueda de Google se controlan con las mismas reglas de robots.txt para Googlebot
- OAI-SearchBot: búsqueda de ChatGPT
- Claude-SearchBot: mejora los resultados de búsqueda para los usuarios de Claude
- PerplexityBot: resultados de búsqueda de Perplexity
GPTBot y ClaudeBot recopilan contenido que puede usarse para entrenamiento. Puedes decidir sobre ellos por separado de la búsqueda. ChatGPT-User y Perplexity-User actúan a petición de una persona. OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, y Perplexity dice que su agente de obtención en general las ignora.
Compruébalo en Search Console
Si usas Search Console, el informe de robots.txt de Ajustes muestra qué archivos robots.txt encontró Google para hasta 20 hosts, cuándo los obtuvo por última vez y los errores que haya. Después de una corrección, puedes solicitar desde ese informe que se vuelva a rastrear el archivo. El informe está disponible para propiedades de dominio y para propiedades de prefijo de URL sin ruta.
Lo que robots.txt no puede decirte
Saber que no bloqueas a un rastreador deja estas cuestiones abiertas.
- No es una garantía. Google dice que los rastreadores de confianza siguen las reglas, pero que otros podrían no hacerlo
- Una CDN, un cortafuegos o un ajuste del servidor pueden bloquear rastreadores sin que nada aparezca en robots.txt. Perplexity indica que puede hacer falta permitir su rastreador en el cortafuegos
- Para que una página no aparezca en la búsqueda, Google remite a noindex. Una página bloqueada en robots.txt no se puede leer, así que su noindex tampoco se ve
- No bloquear a un rastreador no significa que vayas a aparecer en las respuestas de la IA
Los cambios también tardan. Google suele guardar en caché robots.txt hasta 24 horas. OpenAI dice que sus sistemas de búsqueda pueden tardar unas 24 horas en ajustarse.
Si encuentras un bloqueo
No lo borres enseguida. Pregunta a quien gestiona la web por qué está ahí. Puede ser un resto de la fase de desarrollo o una decisión de la empresa. Un «Disallow: /» debajo de «User-agent: *» también puede frenar a la Búsqueda de Google, así que pregunta por ese hoy mismo. Es nuestro consejo.
Get1pct es un servicio que hace comprobaciones como esta y envía hasta tres mejoras en los días con ideas adecuadas. No puede ver los ajustes de la CDN ni del servidor, y no puede prometer un lugar en las respuestas de la IA. Consulta la información de esta página para conocer la disponibilidad y las condiciones actuales. También puedes dejar tu correo para recibir un único aviso sobre la disponibilidad.
Fuentes
- Google: Cómo interpreta Google la especificación de robots.txt
- Google: Introducción a robots.txt
- Ayuda de Search Console: Informe de robots.txt
- Google: Bloquear la indexación en la Búsqueda con noindex
- Google: Funciones de IA y tu sitio web
- OpenAI: Resumen de los rastreadores de OpenAI
- Perplexity: Rastreadores de Perplexity
- Anthropic: ¿Rastrea Anthropic datos de la web y cómo pueden bloquear el rastreador los propietarios de sitios?