La señal histórica de la web para el comportamiento de rastreo, robots.txt, fue diseñada como un protocolo voluntario: una simple solicitud legible por máquina que los rastreadores bien comportados respetan. Sigue siendo útil para coordinar la indexación de motores de búsqueda y evitar la exposición accidental de rutas sensibles, pero la RFC 9309 señala explícitamente que robots.txt no es un sustituto de la seguridad de contenido y depende del cumplimiento voluntario.
En los últimos dos años, los operadores y editores han descubierto una dura realidad: algunos agentes de IA modernos ignoran robots.txt o encuentran formas de eludir las defensas del sitio. Esa realidad ha provocado respuestas técnicas, legales y de estándares, mientras la industria lucha por proteger los sitios, hacer cumplir las preferencias de los editores y actualizar las normas para una web centrada en agentes.
Por qué robots.txt nunca fue un escudo perfecto
El Protocolo de Exclusión de Robots siempre ha sido un mecanismo de coordinación más que un control de seguridad. La RFC 9309 formalizó el análisis y el comportamiento, pero también advirtió que exponer rutas en robots.txt puede revelar lo que los propietarios de sitios prefieren ocultar y que el protocolo depende del cumplimiento voluntario de los rastreadores.
Debido a que es solo una recomendación, robots.txt funciona bien con motores de búsqueda y rastreadores reputados que se identifican y respetan los deseos del sitio. Sin embargo, no ofrece ninguna aplicación técnica contra actores que deciden ignorarlo o eludirlo activamente; esos actores pueden obtener contenido como cualquier otro navegador, a menos que existan bloqueos adicionales.
Como resultado, los propietarios de sitios deben tratar robots.txt como una capa dentro de una defensa más amplia: útil para señalar la intención, pero insuficiente por sí solo para detener el scraping decidido o el uso no autorizado del contenido.
Casos documentados: agentes de IA y rastreo sigiloso
El informe técnico de Cloudflare del 4 de agosto de 2025 destacó un caso llamativo: un motor de respuestas de IA identificado como Perplexity operaba tanto agentes de usuario declarados como rastreadores sigilosos no declarados que rotaban IPs y ASNs y a veces ignoraban o no solicitaban los archivos robots.txt. Posteriormente, Cloudflare eliminó el servicio de su lista de bots verificados y añadió heurísticas de bloqueo.
Cloudflare también publicó volúmenes que muestran la mezcla de tráfico declarado y sigiloso: el agente de usuario declarado de Perplexity realizaba aproximadamente 20 a 25 millones de solicitudes diarias, mientras que el agente de usuario sigiloso no declarado producía alrededor de 3 a 6 millones de solicitudes diarias usando cadenas de agente de usuario genéricas similares a Chrome y rangos de IP no listados. Esas cifras ilustran cuán significativos pueden ser los rastreos sigilosos en comparación con el rastreo declarado.
Este caso encaja en un panorama empírico más amplio. Un estudio a gran escala en arXiv (27 de mayo de 2025) encontró que algunas categorías de scrapers, incluidos los rastreadores de búsqueda de IA, rara vez consultan robots.txt. Reuters y monitores de la industria han informado de manera similar que múltiples servicios de IA están eludiendo el Protocolo de Exclusión de Robots, lo que ha provocado advertencias de editores y empresas de licencias.
Cómo los agentes de IA eluden robots.txt y las defensas web
Las técnicas comunes de evasión están bien documentadas: suplantación del agente de usuario (haciéndose pasar por navegadores convencionales), rotación rápida de IP y ASN, y el uso de proxies de navegador como servicio de terceros. Estas tácticas hacen que el tráfico de los agentes parezca navegación humana ordinaria hasta que se realiza una huella digital.
El análisis de Cloudflare describió tráfico sigiloso usando cadenas de agente de usuario similares a Chrome y bloques de direcciones no listados, y artículos de la industria han mostrado que algunos agentes recurren a mecanismos de obtención impulsados por navegador para mezclarse con los patrones de tráfico normales. Eso complica las defensas simples que dependen únicamente de listas negras de agentes de usuario o IP.
Los operadores que dependen solo de robots.txt enfrentan, por lo tanto, una brecha técnica. Sin gestión activa de bots, detección de anomalías o aplicación de políticas en la capa CDN/WAF, los agentes sigilosos pueden recolectar contenido con solo un esfuerzo adicional moderado.
Daños a los editores y efectos en el mercado
Los editores han expresado preocupaciones claras sobre el scraping por parte de agentes de IA porque los resúmenes o vistas previas de IA pueden reducir el tráfico directo y los clics monetizables. Un estudio de seguimiento de Pew Research (marzo de 2025) mostró que los resúmenes de IA reducen considerablemente las tasas de clics, con ejemplos de reducciones de alrededor del 15% a cerca del 8% en algunos contextos, y solo alrededor del 1% de las ocurrencias de vistas previas de IA llevaron a un clic hacia la fuente citada.
Estos cambios de tráfico amenazan la economía de anuncios y suscripciones de los editores, motivando el uso de exclusiones basadas en robots.txt y enfoques de licencias pagadas. Reuters informó a mediados de 2024 que varias empresas de IA estaban eludiendo los estándares web para extraer datos de sitios de editores, y observadores de la industria instaron a los editores a negociar licencias en lugar de confiar únicamente en robots.txt.
La gravedad del problema se refleja en las respuestas legales. En 2025, varios demandantes, incluidos Reddit y varios editores japoneses, presentaron demandas alegando scraping no autorizado y elusión de medidas anti-scraping. Las quejas citan evidencia de publicaciones de prueba y afirman que se ignoraron robots.txt y los términos, buscando daños y medidas cautelares.
Cómo respondieron los proveedores de infraestructura y la industria
Las empresas de infraestructura se movieron rápidamente para proteger a sus clientes. Cloudflare informó que millones de sitios adoptaron opciones para prohibir el entrenamiento de IA mediante controles gestionados de robots y lanzó el bloqueo predeterminado de rastreadores de IA para sus clientes, junto con un concepto de pago por rastreo. Wired cubrió los cambios de política de Cloudflare en septiembre de 2025 y señaló que el Protocolo de Exclusión de Robots sigue siendo ineficaz contra muchos scrapers de IA.
Las técnicas defensivas desplegadas en la práctica incluyen reglas gestionadas para bots, huella digital de rastreadores sigilosos, trampas tipo honeypot o laberinto para detectar agentes automatizados y acuerdos de pago por rastreo que monetizan el acceso legítimo a los datos. Estas medidas aumentan el costo del scraping sigiloso y brindan a los editores opciones de remediación más allá de robots.txt.
Las acciones públicas de Cloudflare tras su análisis de Perplexity, eliminando una entrada de bot verificado y añadiendo heurísticas automatizadas, demuestran cómo los operadores de CDN y seguridad pueden detectar y mitigar rastreos sigilosos, incluso cuando estos se disfrazan como navegadores ordinarios.
Estándares, ley y la búsqueda de controles duraderos
Reconociendo que las normas existentes son insuficientes, los sistemas de estándares y legales se están adaptando. Un Internet-Draft publicado en abril de 2025 propuso extender robots.txt con un vocabulario de preferencias de IA legible por máquina para permitir que los sitios expresen exclusiones específicas de IA de manera estandarizada. Ese borrador refleja un interés amplio en actualizar el Protocolo de Exclusión de Robots para los casos de uso de la era de los agentes.
Al mismo tiempo, los tribunales y litigantes están probando si el scraping no autorizado y la reutilización de contenido pueden ser restringidos por contrato, derechos de autor u otras teorías legales. Las demandas de 2025 contra empresas de IA argumentan no solo sobre la copia, sino también sobre la elusión de medidas técnicas y términos contractuales que los editores usan para controlar el acceso.
Estas vías paralelas , trabajo en estándares técnicos, controles industriales y desafíos legales, probablemente convergerán. O bien robots.txt se ampliará o complementará con mecanismos aplicables, o la presión del mercado y la ley llevará a los servicios de IA hacia licencias explícitas y cooperación técnica.
Pasos prácticos para propietarios de sitios
Los operadores de sitios deben asumir que robots.txt por sí solo es insuficiente para detener cierto scraping de IA. Las medidas defensivas útiles incluyen habilitar la gestión de bots en CDN/WAF, desplegar límites de velocidad y detección de anomalías, usar honeypots para identificar rastreadores sigilosos y registrar metadatos detallados de las solicitudes para su posterior atribución.
Los editores preocupados por el entrenamiento y la reutilización deben considerar licencias contractuales, modelos de pago por rastreo ofrecidos por CDNs y acuerdos comerciales explícitos con proveedores de IA. Cloudflare y otros proveedores ahora ofrecen exclusiones gestionadas y controles de acceso pagados que convierten las preferencias del sitio en políticas aplicables en el borde de la red.
Finalmente, manténgase atento a los desarrollos en estándares y leyes. Adopte nuevas señales de preferencia de IA legibles por máquina una vez que se estabilicen y consulte con asesores legales sobre posibles remedios si detecta elusión sistemática. Combinar herramientas técnicas, contractuales y legales ofrece la mejor oportunidad de proteger el contenido a corto plazo.
Los agentes de IA ignoran robots.txt en algunos casos del mundo real, y esa discrepancia entre la expectativa y el comportamiento tiene consecuencias reales para los editores y el ecosistema web. El episodio de Cloudflare/Perplexity, los estudios empíricos y las demandas legales dejan claro el problema: las señales voluntarias ya no son suficientes cuando algunos agentes actúan de forma sigilosa.
De cara al futuro, defender la web abierta requerirá defensas en capas, estándares más claros y acuerdos comerciales y legales más sólidos. Robots.txt seguirá siendo parte de la caja de herramientas, pero los editores y proveedores de infraestructura deben combinarlo con aplicación activa, acceso negociado y participación en el trabajo de estándares para que las normas de la web evolucionen con la era de los agentes.
