Los webmasters y editores recurren cada vez más al engaño y la fricción para proteger sus sitios de los recolectores automáticos de IA. Lo que comenzó como bloqueos básicos y declaraciones en robots.txt ha evolucionado hacia una caja de herramientas que incluye páginas señuelo, generadores de trampas (tarpits), envenenamiento de conjuntos de datos, proxies de prueba de trabajo y puertas comerciales capaces de detectar, ralentizar o incluso cobrar a los rastreadores.
La tendencia refleja un choque entre los sitios que consideran el scraping como un daño económico y los desarrolladores de IA que dependen de los datos web para el entrenamiento. Nuevos productos defensivos y proyectos de código abierto han hecho que estas técnicas sean más accesibles, y la telemetría pública de los proveedores ha agudizado el debate sobre lo que es técnicamente posible, legalmente permisible y económicamente sostenible.
El nuevo kit de herramientas de Cloudflare: AI Labyrinth y Pay Per Crawl
Cloudflare anunció AI Labyrinth el 19 de marzo de 2025, una función opcional que detecta comportamiento inapropiado de bots y sirve páginas señuelo generadas por IA con enlaces ocultos para ralentizar, confundir y tomar huellas de los recolectores. El proveedor explicó que cualquier visitante que haga clic en cuatro enlaces profundos probablemente sea un bot, utilizando el comportamiento de enlaces profundos como señal para separar humanos de rastreadores automáticos.
Más allá de los señuelos, Cloudflare también lanzó Pay Per Crawl en una beta privada el 1 de julio de 2025, creando un marco técnico y comercial para bloquear, permitir o cobrar a los rastreadores. Ese sistema utiliza semántica HTTP 402 y firmas Web Bot Auth, con Cloudflare actuando como comerciante de registro para gestionar pagos y cumplimiento.
En conjunto, estos movimientos representan un cambio de política y producto: Cloudflare pasó a bloquear rastreadores de IA por defecto para nuevos clientes y promovió la monetización como palanca. Editores y medios como Condé Nast, The Atlantic y Associated Press señalaron que estas herramientas podrían ayudarles a recuperar el control o servir como posición de negociación en acuerdos de licencia.
Cómo funcionan los señuelos, tarpits y honeypots
Las páginas señuelo y los tarpits crean un océano de contenido plausible pero inútil, diseñado para atraer y desperdiciar los recursos de los rastreadores no supervisados. Proyectos de código abierto con nombres como Nepenthes, Iocaine y Quixotic generan páginas falsas interminables, enlaces ocultos y a veces galimatías algorítmica para enredar a los recolectores que no respetan las intenciones del sitio.
Los honeypots clásicos siguen siendo útiles: campos de formulario invisibles, enlaces ocultos y rutas que los usuarios normales nunca recorren pueden revelar o ralentizar bots. El Labyrinth de Cloudflare es una versión gestionada y automatizada de este patrón, utilizando la profundidad del comportamiento para puntuar a los visitantes y suministrar contenido señuelo para la toma de huellas.
Algunas implementaciones van más allá y alimentan a los recolectores con verborrea generada por cadenas de Markov o IA para desperdiciar sus presupuestos de tokens o intentar envenenarlos. Los despliegues reportados aún son modestos pero se están extendiendo, y los defensores afirman que incluso pequeñas trampas pueden obligar a los recolectores a gastar CPU, ancho de banda y tiempo de desarrollo para evitarlas.
Envenenamiento y defensas orientadas a artistas
Artistas y fotógrafos han liderado iniciativas para envenenar las cosechas de recolectores, de modo que los modelos entrenados con esas imágenes produzcan resultados incorrectos o inutilizables. Herramientas como Nightshade y Glaze, desarrolladas en entornos académicos, alteran imágenes o incrustan perturbaciones específicas de prompts para interrumpir el entrenamiento de modelos en experimentos controlados.
HaveIBeenTrained de Spawning ayuda a los creadores a comprobar grandes conjuntos de datos en busca de sus imágenes, mientras que Kudurru, un plugin de WordPress y red de defensa, rastrea IPs de recolectores entre sitios participantes y puede bloquearlos o devolver imágenes alternativas como contramedida. Los desarrolladores reportaron haber detenido temporalmente grandes descargas de conjuntos de datos durante pruebas, ilustrando el potencial de defensa cooperativa.
El trabajo académico muestra que el envenenamiento de conjuntos de datos a escala web es práctico en entornos de laboratorio y que un número modesto de muestras envenenadas puede afectar a modelos más pequeños. Sin embargo, escalar el envenenamiento para afectar modelos de producción a escala web es difícil, y los principales desarrolladores de IA afirman estar invirtiendo en detección y filtrado para reducir el riesgo de datos de entrenamiento corruptos.
Prueba de trabajo, fricción económica y muros de pago para bots
Algunos defensores invierten la idea tradicional del CAPTCHA en una imposición de costos para los bots. Proxies inversos de prueba de trabajo, como el llamado enfoque Anubis, exigen cómputo para continuar, haciendo que el scraping sea más caro y lento. Estos sistemas buscan cambiar el cálculo económico: si cuesta demasiado rastrear a gran escala, parte del scraping se detendrá.
Pay Per Crawl de Cloudflare es el equivalente comercial, permitiendo a los sitios requerir autenticación, cobrar por el acceso o bloquear rastreadores desconocidos. Al combinar firmas Web Bot Auth y facturación, el sistema crea un canal estándar de la industria para el rastreo legal y pagado, y un elemento disuasorio contra la recolección masiva anónima.
Pero estas medidas no son perfectas. Actores sofisticados pueden distribuir el trabajo entre muchos nodos, improvisar evasión de bajo costo o integrarse con granjas de proxies. La prueba de trabajo aumenta los costos para ambos lados y puede crear latencia que afecta la experiencia del usuario final si no se aísla cuidadosamente a los actores sospechosos.
Escala, telemetría y por qué los defensores se sienten presionados
Los datos de Cloudflare subrayan la magnitud del desafío: se reportó que los rastreadores de IA generaban más de 50 mil millones de solicitudes a la red de Cloudflare cada día, aproximadamente el 1% de todas las solicitudes en el momento del informe. Ese volumen bruto motiva la innovación defensiva y las respuestas comerciales.
La telemetría también muestra cambios rápidos en quién está rastreando. Para mayo de 2025, GPTBot había aumentado hasta aproximadamente un 30% de las solicitudes de rastreadores de IA, frente a aproximadamente el 5% del año anterior, mientras que ExternalAgent de Meta apareció con alrededor del 19%. La telemetría de la red de editores de TollBit en el primer trimestre de 2025 encontró que el scraping de IA aumentó bruscamente: el bypass de robots.txt subió de alrededor del 3,3% al 12,9% trimestre a trimestre, los scrapes basados en recuperación crecieron cerca del 49% QoQ y el tráfico de bots a contenido bajo muro de pago aumentó dramáticamente.
Los editores señalan ratios extremos de rastreo por referencia como evidencia de daño económico: algunas empresas de IA y rastreadores hacen miles de solicitudes por cada referencia o clic que normalmente generaría ingresos publicitarios. Estas cifras han ayudado a justificar controles técnicos más estrictos, negociaciones de licencias y demandas destinadas a recuperar valor de los modelos comerciales entrenados con contenido de los editores.
Riesgos, contramedidas y la creciente carrera armamentista
Las trampas defensivas conllevan costos y riesgos. Los administradores advierten que los tarpits y la generación de señuelos pueden consumir CPU y ancho de banda reales en el sitio defensor, y que el contenido falso o envenenado, si es reindexado, puede contaminar la web pública con señales de baja calidad. Las trampas mal configuradas también pueden bloquear rastreadores legítimos y perjudicar el SEO o la experiencia del usuario.
Las empresas de IA no se quedan quietas: los principales proveedores informan que están construyendo detección de envenenamiento, canalizaciones de filtrado y procesos de entrenamiento más resistentes para identificar y descartar muestras corruptas. Las declaraciones públicas indican un impulso hacia el respeto de políticas y registros cuando sea posible, mientras se invierte en robustez frente a datos ruidosos o adversariales.
El resultado es una carrera armamentista con compensaciones. Las defensas técnicas, las estrategias legales y los productos comerciales como el pago por rastreo y los acuerdos de licencia son palancas complementarias. Pero cada lado se adapta: los defensores perfeccionan las trampas, los recolectores endurecen sus bots y los intermediarios como Cloudflare ofrecen nuevas herramientas de cumplimiento. Los observadores coinciden en que esta dinámica continuará, con los costos y los efectos colaterales determinando qué técnicas ganan tracción.
A corto plazo, los webmasters tienen un menú creciente de opciones para ralentizar o disuadir el scraping no deseado, desde enlaces honeypot y tarpits hasta envenenamiento y puertas comerciales. Ninguna de estas es una solución mágica y todas requieren una implementación cuidadosa para evitar daños colaterales a la infraestructura, la indexación de búsqueda y el tráfico legítimo.
A largo plazo, el debate estará determinado por la tecnología, la ley y la negociación de mercado: si los desarrolladores de IA mejoran la higiene de sus rastreadores y respetan las políticas de los sitios, si los editores aseguran acuerdos de licencia o remedios legales, y si los intermediarios equilibran la aplicación con el acceso abierto. Por ahora, los defensores están experimentando activamente con trampas de contenido como una herramienta dentro de una estrategia más amplia para recuperar el control sobre cómo se recolecta y utiliza el contenido web.
