--- title: "Cómo controlar bots, spiders y rastreadores en un sitio web" description: "El tráfico web no proviene únicamente de usuarios humanos, sino también de robots (bots), spiders y rastreadores utilizados por motores de búsqueda y otras plataformas para indexar contenido. Sin emba..." url: https://wpdirecto.com/como-controlar-bots-spiders-y-rastreadores-en-un-sitio-web/ date: 2025-03-12 modified: 2025-03-09 author: "David Carrero Fernández-Baillo" image: https://wpdirecto.com/wp-content/uploads/2016/04/anadir-google-search-wordpress.png categories: ["Actualidad"] tags: ["buscador", "google"] type: post lang: es --- # Cómo controlar bots, spiders y rastreadores en un sitio web El tráfico web no proviene únicamente de usuarios humanos, sino también de **robots (bots), spiders y rastreadores** utilizados por motores de búsqueda y otras plataformas para indexar contenido. Sin embargo, algunos bots pueden **afectar negativamente el rendimiento del servidor**, aumentar el uso de recursos y comprometer la seguridad del sitio. En este artículo se explican diversas estrategias para **controlar y restringir el acceso de estos rastreadores**, ya sea a través del archivo **robots.txt** o con reglas en **[.htaccess](https://wpdirecto.com/tag/htaccess/)** para bloquear bots maliciosos. --- ## **¿Qué es un archivo robots.txt y cómo funciona?** El archivo **robots.txt** es un **archivo de configuración ubicado en la raíz del sitio web**, utilizado para indicar a los bots de los motores de búsqueda qué contenido pueden rastrear y cuál deben evitar. Sin embargo, es importante destacar que **robots.txt no es un método infalible de bloqueo**. Solo es respetado por los bots que cumplen con las directrices de los motores de búsqueda, como **Googlebot (Google)**, **Bingbot (Microsoft Bing)** o **Slurp (Yahoo)**. Los bots maliciosos, en cambio, pueden ignorar este archivo y continuar rastreando el sitio sin restricciones. Para casos más extremos, se recomienda complementar el uso de **robots.txt con reglas en .htaccess** o **firewalls específicos**. --- ## **Bloquear bots con robots.txt** ### **1. Bloquear todos los bots** Si se desea **evitar que cualquier bot rastree el sitio**, se puede utilizar la siguiente configuración: User-agent: * Disallow: / ⚠️ **Advertencia**: Esta regla **impedirá que el sitio aparezca en los motores de búsqueda legítimos**, lo que puede afectar la visibilidad del contenido en internet. En lugar de bloquear completamente todos los bots, es recomendable **restringir únicamente ciertas áreas del sitio**: User-agent: * Disallow: /wp-admin/ Disallow: /private/ Disallow: /config/ Esto impide que los bots indexen directorios sensibles como **/wp-admin/** o **/private/**, mientras el resto del sitio sigue siendo rastreado. --- ### **2. Bloquear bots específicos** Si se desea **bloquear un bot en particular**, se debe especificar su nombre de agente de usuario en el archivo **robots.txt**. #### **Bloquear Googlebot** User-agent: Googlebot Disallow: / Con esta regla, **Googlebot no podrá rastrear el sitio** y las páginas no aparecerán en los resultados de Google. Si solo se quiere bloquear **una parte del sitio**, se puede hacer de la siguiente forma: User-agent: Googlebot Disallow: /privado/ Disallow: /pruebas/ Esto impide que **Google indexe estos directorios específicos**, sin afectar el resto del sitio. #### **Reducir la velocidad de rastreo de Yahoo (Slurp)** El bot de Yahoo **Slurp** permite controlar la frecuencia con la que accede a un sitio mediante el parámetro **Crawl-delay**: User-agent: Slurp Crawl-delay: 10 Esto indica que Yahoo debe **esperar 10 segundos entre cada solicitud**, reduciendo la carga en el servidor. --- ### **3. Limitar la frecuencia de rastreo para todos los bots** Algunos bots pueden **realizar demasiadas solicitudes en poco tiempo**, sobrecargando el servidor. Para evitarlo, se puede configurar un retraso con **Crawl-delay**: User-agent: * Crawl-delay: 5 Esto instruye a todos los bots que **esperen 5 segundos entre cada solicitud**. Sin embargo, no todos los rastreadores respetan esta directiva. --- ## **Bloquear bots con .htaccess** Dado que **robots.txt no impide que los bots maliciosos accedan al sitio**, se recomienda utilizar **.htaccess** para bloquear bots agresivos directamente en el servidor. ### **1. Bloquear un bot específico** Si se detecta un bot problemático, se puede bloquear con la siguiente regla en **.htaccess**: RewriteEngine On RewriteCond %{HTTP_USER_AGENT} "BadBot" [NC] RewriteRule .* - [F,L] Esto devolverá un **error 403 (Acceso prohibido)** a cualquier bot que use el agente de usuario **«BadBot»**. ### **2. Bloquear múltiples bots conocidos** Si se han identificado varios bots maliciosos, se pueden bloquear de una vez con esta configuración: RewriteEngine On RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [NC,OR] RewriteCond %{HTTP_USER_AGENT} "SemrushBot" [NC,OR] RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [NC] RewriteRule .* - [F,L] Con esto, se bloquean **AhrefsBot, SemrushBot y MJ12bot**, que son rastreadores utilizados para recopilar datos de sitios web. --- ### **3. Bloquear bots por dirección IP** Si un bot está generando tráfico no deseado desde una IP específica, se puede bloquear con **.htaccess**: Require all granted Require not ip 192.168.1.100 Para bloquear **un rango completo de direcciones IP**, se puede modificar la regla: Require all granted Require not ip 192.168.1. Esto bloquea **todas las IPs desde 192.168.1.0 hasta 192.168.1.255**. --- ## **Cómo identificar bots problemáticos** Antes de bloquear un bot, es importante verificar su origen. Para ello, se pueden revisar los archivos de **logs del servidor** y ejecutar el siguiente comando en **SSH** para identificar la IP responsable del tráfico sospechoso: host 66.249.66.167 Si la respuesta indica que el tráfico proviene de un bot legítimo como **Googlebot**, se debe considerar si realmente es necesario bloquearlo. Si se trata de un bot desconocido o malicioso, se pueden aplicar las reglas de bloqueo mencionadas anteriormente. --- ## **Conclusión** El tráfico de bots puede ser **beneficioso o perjudicial** dependiendo de su origen. Mientras que los motores de búsqueda legítimos ayudan a mejorar la visibilidad del sitio, **los bots maliciosos pueden consumir recursos y comprometer la seguridad**. Para gestionar adecuadamente el tráfico de bots, se recomienda: ✅ **Utilizar robots.txt** para indicar qué partes del sitio pueden ser indexadas. ✅ **Aplicar reglas en .htaccess** para bloquear bots maliciosos que ignoren robots.txt. ✅ **Monitorear el tráfico** para detectar actividad sospechosa y ajustar las reglas según sea necesario. Implementando estas medidas, es posible **reducir el impacto de los rastreadores no deseados y optimizar el rendimiento del sitio web**.