La relación entre los sitios web y los rastreadores ha cambiado de naturaleza. Durante años, el “visitante invisible” más habitual fue el bot de los buscadores tradicionales, que indexaba páginas con una lógica relativamente predecible. Pero la explosión de la inteligencia artificial generativa ha traído una nueva fauna de crawlers: agentes orientados a entrenamiento de modelos, a búsquedas impulsadas por IA o a asistentes que “leen” la web para responder preguntas sin que el usuario visite el sitio original. En ese contexto aparece VigIA – AI Crawler Activity Analytics & Control, un plugin para WordPress que no se limita a detectar bots, sino que analiza su actividad y ofrece herramientas para controlarla.
El nombre no es casual: “VigIA” juega con “vigía” y con “IA” (Inteligencia Artificial), y la propuesta es directa: dar visibilidad y control sobre un tipo de tráfico que a menudo pasa desapercibido hasta que se convierte en un problema de rendimiento, de atribución o de estrategia editorial.
VigIA se presenta como un plugin “todo en uno” centrado en rastreadores de IA. Su núcleo es un panel de analítica que muestra métricas pensadas para este fenómeno: número total de visitas, crawlers únicos detectados y páginas rastreadas, además de un desglose temporal diario para entender picos y patrones. El sistema incorpora tablas de “top crawlers” y de las páginas más recorridas, junto con un registro de actividad reciente filtrable y una función de comparación entre periodos.
La información no se queda en pantalla: el plugin permite exportar informes en CSV, una función útil cuando el responsable del sitio necesita cruzar esos datos con logs del servidor, herramientas de analítica tradicionales o cuadros de mando internos.
Además, VigIA clasifica la actividad por categorías como AI Training, AI Search, AI Assistant o Data Scraper, un enfoque que ayuda a poner orden: no es lo mismo un bot orientado a entrenamiento que uno diseñado para servir respuestas en buscadores con modo IA, y las implicaciones pueden ser distintas.
Una de las ideas que más repite la comunidad técnica es que robots.txt es una recomendación, no un mecanismo de seguridad. Los rastreadores “bien educados” lo respetan; otros lo ignoran. VigIA aborda ese punto con dos capas.
Por un lado, integra gestión de reglas en robots.txt para rastreadores de IA, con una vista previa visual del archivo y un sistema de monitorización de cumplimiento: permite ver qué bots están ignorando las directrices configuradas. Por otro, añade un método más contundente: bloqueo vía PHP, devolviendo un 403 Forbidden. Es decir, un “no” efectivo, independientemente de si el crawler decide obedecer robots.txt o no.
Este bloqueo puede aplicarse de forma cómoda desde el propio panel, con un desplegable de “quick block” en la tabla de crawlers, y también desde una sección de herramientas adicionales. El plugin recalca que esta vía funciona en cualquier servidor (Apache, Nginx, LiteSpeed, etc.), al no depender de reglas específicas de .htaccess o configuraciones del proxy.
Ese enfoque permite a los administradores aplicar estrategias más finas: por ejemplo, mantener abierta la indexación clásica, pero frenar bots de entrenamiento; o permitir determinados agentes y bloquear los que sistemáticamente incumplen las reglas.
La vigilancia manual tiene un límite: pocos equipos pueden revisar a diario qué bots han entrado y qué se han llevado. VigIA incorpora alertas por email con cadencia diaria, semanal o mensual, y con tres niveles de detalle (mínimo, normal y completo). El informe puede incluir avisos sobre crawlers no conformes y comparativas con el periodo anterior, lo que convierte la herramienta en una especie de “radar” de cambios: cuándo empieza a crecer un bot nuevo, cuándo se dispara el rastreo de una sección concreta o cuándo aparece un agente desconocido.
En paralelo al debate sobre rastreadores, ha crecido el interés por llms.txt, un estándar orientado a ofrecer a sistemas de IA un mapa legible del sitio y su estructura. VigIA incluye un generador de llms.txt y también de llms-full.txt, con opciones que apuntan a un uso profesional: selección por tipo de contenido (posts, páginas y custom post types), filtros por taxonomías, inclusiones y exclusiones manuales con búsqueda AJAX y exclusión por patrones de URL con comodines.
Uno de los puntos prácticos es la integración con plugins SEO para excluir automáticamente contenido marcado como noindex, evitando incoherencias. VigIA declara compatibilidad con Yoast SEO, Rank Math, All in One SEO, SEOPress y The SEO Framework. También permite regeneración automática del archivo (diaria, semanal o mensual) y puede añadir referencias a llms.txt y llms-full.txt en robots.txt cuando existan esos ficheros.
La lectura que subyace es clara: no se trata solo de bloquear, sino también de ordenar cómo se representa un sitio ante sistemas de IA, especialmente cuando el tráfico y la visibilidad se desplazan hacia búsquedas y asistentes.
VigIA afirma monitorizar más de 50 crawlers. Entre ellos aparecen agentes asociados a OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-Web, Claude-SearchBot), Google (Google-Extended, GoogleOther, Gemini-Deep-Research), Perplexity (PerplexityBot, Perplexity-User), Meta (Meta-ExternalAgent, FacebookBot), Microsoft (BingBot), ByteDance (Bytespider), Amazon (Amazonbot) o Apple (Applebot-Extended), además de la posibilidad de definir “crawlers personalizados” por patrones de User-Agent.
En el plano de privacidad, el plugin insiste en que almacena los datos localmente en la base de datos de WordPress, sin enviar información a servidores externos. Los registros se guardan en una tabla propia (indicada como wp_vigia_visits), y el sistema minimiza el impacto: el plugin explica que el chequeo es rápido porque se basa en la detección de la cadena User-Agent en cada petición y solo escribe en base de datos cuando detecta un crawler de IA.
El changelog muestra una evolución orientada a robustez y experiencia de uso. En la versión 1.2.0 se introdujo un rediseño del generador de llms.txt con selección más escalable para sitios con miles de entradas, además de la integración con plugins SEO y la regeneración programada. Versiones posteriores corrigieron problemas de persistencia de ajustes, conflictos con caché de objetos en entornos con Memcached/Redis, normalización de opciones y detalles de integración con robots.txt.
La versión 1.2.5, la más reciente en la información aportada, incluye correcciones de diseño responsive para evitar desbordes en pantallas pequeñas y mejorar el comportamiento de rejillas y gráficos.
VigIA sigue el flujo habitual de WordPress: subir a /wp-content/plugins/vigia/ o instalar desde la pantalla de plugins, activar y acceder a la sección VigIA del menú de administración. Desde ahí, el administrador puede revisar analítica, configurar bloqueos y activar alertas y herramientas adicionales en “Extras”.
Para AyudaWP, el equipo detrás del desarrollo, la propuesta encaja con su especialización declarada en seguridad, SEO y rendimiento: una herramienta que responde a un problema real —la nueva economía del rastreo por IA— sin exigir cambios complejos en servidor y manteniendo el control en manos del propietario del sitio.
¿Cómo puedo bloquear GPTBot o ClaudeBot en WordPress sin tocar el .htaccess?
Con un plugin como VigIA, que permite bloquear crawlers por PHP devolviendo un 403 Forbidden. Esto evita depender de reglas específicas del servidor y funciona en configuraciones variadas (Apache, Nginx o LiteSpeed).
¿Bloquear bots de entrenamiento de IA afecta al SEO en Google?
Bloquear crawlers de entrenamiento (por ejemplo, GPTBot o ClaudeBot) no debería afectar al posicionamiento en buscadores tradicionales. La precaución está en los bots asociados a búsqueda con IA: si se bloquean, podría cambiar cómo aparece el contenido en experiencias de búsqueda basadas en IA.
¿Qué diferencia hay entre robots.txt y bloquear un crawler con respuesta 403?
Robots.txt es una directriz voluntaria: el bot puede ignorarla. Un 403 Forbidden impide el acceso de forma efectiva, incluso si el crawler no respeta las reglas.
¿Para qué sirve llms.txt en una web de WordPress y cómo se genera?
Llms.txt ofrece un resumen estructurado para que sistemas de IA entiendan mejor el contenido y la organización del sitio. VigIA incorpora un generador que permite seleccionar qué contenidos incluir, filtrar por categorías o etiquetas, excluir URLs por patrones y sincronizar exclusiones con contenido marcado como noindex en plugins SEO.
