Archivo Robots.txt

El archivo robots.txt es un archivo de texto plano, sin código HTML, que se coloca en el directorio raíz de un sitio web (por ejemplo, https://www.ejemplo.com/robots.txt). Su función principal es comunicar a los bots o rastreadores de motores de búsqueda qué partes del sitio pueden rastrear y cuáles deben evitar.

Forma parte del denominado protocolo de exclusión de robots. Mediante directivas como User-agent, Disallow y Allow, el archivo define reglas específicas para cada tipo de bot (Googlebot, Bingbot, etc.) o para todos ellos a la vez. Si una ruta no se menciona en el archivo, por defecto se considera rastreable.

Entre los usos habituales del archivo robots.txt se encuentran: impedir el rastreo de secciones técnicas o irrelevantes (como áreas de administración, parámetros de filtrado o contenidos duplicados), reducir la carga sobre el servidor limitando el acceso de ciertos bots y declarar la URL del sitemap XML mediante la directiva Sitemap:, facilitando así la correcta indexación del sitio.

Es importante entender que robots.txt es consultivo: los rastreadores «bien educados» lo respetan, pero no es un mecanismo de seguridad ni de privacidad. No debe utilizarse para ocultar información sensible, ya que el archivo es público y puede revelar directamente qué rutas se intenta restringir.

Una configuración incorrecta puede tener un impacto negativo en el SEO, por ejemplo, bloqueando el acceso a recursos necesarios (como archivos CSS o JavaScript) o incluso impidiendo el rastreo de secciones críticas del sitio. Por ello, se recomienda planificar la estrategia de rastreo, probar el archivo en herramientas para webmasters y mantenerlo actualizado conforme evoluciona la estructura del sitio.