El archivo robots.txt no es un escudo de seguridad ni una orden para borrar páginas de Google. Sirve para indicar a los rastreadores qué rutas pueden solicitar y cuáles prefieres que no recorran. En WordPress, además, existe una diferencia importante entre controlar el rastreo con robots.txt y controlar la indexación de una página con la meta robots, por ejemplo mediante noindex. Confundir ambas cosas puede dejar páginas visibles en buscadores o bloquear recursos que Google necesita para renderizar la web.
La versión original de este artículo se publicó en 2015 y proponía una lista muy agresiva de bloqueos para bots y carpetas internas. Esa receta ya no es una buena base. En 2026 conviene partir del archivo que realmente sirve tu instalación, comprobar el sitemap y tomar las decisiones de indexación a nivel de página.
Cuando un rastreador visita un sitio, busca el archivo robots.txt en la raíz del dominio. Una directiva Disallow le pide que no solicite una ruta concreta para el agente de usuario al que se aplica. Es una indicación de rastreo, no un mecanismo de autenticación: un usuario puede intentar abrir la URL directamente y un bot malicioso puede ignorarla.
Google explica además que una URL bloqueada puede seguir apareciendo en sus resultados sin un fragmento de contenido. Si lo que quieres es que una página no se indexe, el rastreador debe poder acceder a ella para encontrar la instrucción noindex, o debes protegerla con contraseña. Por eso robots.txt y meta robots resuelven problemas distintos.
Abre https://tudominio.com/robots.txt en el navegador. No copies un archivo de otro proyecto sin comprobar antes qué genera tu instalación, tu tema y tus plugins. También revisa si el sitio está en producción: en una instalación no pública, WordPress puede devolver reglas distintas.
Un ejemplo sencillo para una web pública podría ser este:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tudominio.com/wp-sitemap.xmlLenguaje del código: HTTP (http)Es un ejemplo, no una plantilla que debas pegar sin revisar. WordPress suele proteger el área de administración y permitir la llamada a admin-ajax.php, pero el sitemap puede estar en otra dirección si lo gestiona un plugin SEO. Añádelo solo cuando hayas comprobado la URL exacta y evita duplicar líneas que ya aparecen.
La regla más prudente es bloquear únicamente rutas que no necesiten ser rastreadas y que no aporten contenido público. El área /wp-admin/ es el caso habitual. Las páginas de búsqueda interna, algunos feeds, archivos de autor o parámetros pueden necesitar una estrategia adicional, pero no se resuelven siempre con robots.txt: hay que valorar cómo se generan, si tienen enlaces y qué directiva de indexación necesita cada una.
No bloquees por sistema /wp-includes/, /wp-content/, CSS, JavaScript, imágenes o fuentes. Aunque ciertas carpetas no sean páginas que quieras posicionar, sus recursos pueden ser necesarios para que los buscadores entiendan el diseño y el contenido. Tampoco uses robots.txt para ocultar copias privadas, paneles, documentos sensibles o archivos de configuración: utiliza permisos, autenticación o elimina el archivo del espacio público.
Las listas largas que bloquean agentes de usuario uno por uno suelen dar una falsa sensación de control y pueden quedarse obsoletas. Si recibes tráfico automatizado abusivo, analiza primero los registros y aplica límites, reglas del servidor, WAF o medidas específicas de seguridad. Robots.txt no sustituye ninguna de ellas.
Para una URL concreta, la meta robots permite indicar noindex, nofollow o directivas relacionadas. WordPress dispone de la función wp_robots() y del filtro wp_robots para que el tema o los plugins ajusten esas etiquetas. Esta vía es más precisa para archivos de poco valor, resultados de búsqueda o páginas que deben poder rastrearse pero no entrar en el índice.
En cambio, el filtro robots_txt permite modificar el contenido del archivo robots.txt que WordPress genera. Si lo usas desde un plugin propio o un fragmento de código, comprueba el parámetro $public y conserva las reglas existentes. Un ejemplo mínimo sería:
add_filter( 'robots_txt', function ( $output, $public ) {
if ( ! $public ) {
return $output;
}
$sitemap = home_url( '/wp-sitemap.xml' );
if ( strpos( $output, 'Sitemap:' ) === false ) {
$output .= "Sitemap: {$sitemap}" . PHP_EOL;
}
return $output;
}, 10, 2 );Lenguaje del código: PHP (php)Este código solo tiene sentido si la URL del sitemap es realmente esa y si ningún plugin ya la añade. Si no estás acostumbrado a modificar filtros de WordPress, es más seguro revisar la documentación del plugin SEO o utilizar un plugin de fragmentos con copias y posibilidad de deshacer el cambio. Después de guardar, vuelve a abrir robots.txt y comprueba el resultado.
Las versiones actuales de WordPress incluyen un sitemap XML nativo, normalmente accesible en /wp-sitemap.xml. Un plugin SEO puede sustituirlo por su propia dirección, añadir índices de sitemaps o modificar qué tipos de contenido aparecen. Solo debes declarar la URL que existe y responde correctamente con código 200.
Un sitemap no fuerza la indexación: sirve como ayuda para que los buscadores descubran URLs que ya consideras públicas y útiles. Si el archivo incluye páginas que deberían ser noindex, revisa la configuración del plugin o del tipo de contenido en lugar de intentar taparlas únicamente con robots.txt.
No hay un archivo universal. Para una web pública suele bastar con conservar las reglas que genera WordPress, bloquear el área de administración y declarar el sitemap real. Las demás reglas dependen del contenido, la arquitectura y la estrategia de indexación.
No de forma fiable. Disallow limita el rastreo, pero una URL bloqueada puede aparecer sin descripción. Para evitar la indexación, usa noindex con la página accesible para el rastreador o protégela con contraseña.
No por defecto. Esas rutas pueden contener estilos, scripts, imágenes y otros recursos necesarios para renderizar la web. Bloquearlas sin comprobar el efecto puede dificultar que los buscadores interpreten la página.
En una línea Sitemap con la dirección completa del sitemap que realmente sirve tu web, normalmente https://tudominio.com/wp-sitemap.xml en WordPress nativo. Si un plugin SEO utiliza otra URL, declara esa y evita duplicados.
Fuentes: documentación oficial de SEO de WordPress, filtro robots_txt de WordPress y documentación de Google sobre robots.txt.
jorge says:
Hola, gracias por la información, me preguntaba si para una tienda en woocommerce, el robots.txt debería tener algunas indicaciones especiales para la tienda??
Gracias por tu tiempo, saludos