'Bloquear todos los bots de IA' ahora te está costando visibilidad activamente

Una Disallow línea, dos bots muy diferentes

Cuando la mayoría de los sitios agregaron bloqueos de bots de IA, estaban pensando en datos de entrenamiento, y eso era razonable. Pero los rastreadores se han multiplicado desde entonces. OpenAI ahora ejecuta tres bots distintos. Anthropic hizo lo mismo a principios de 2026. Un Disallow: / general para cualquiera de estos nombres captura tanto el rastreador de entrenamiento como el rastreador de búsqueda/recuperación, y solo uno de esos te perjudica bloquear.

La documentación de OpenAI es inequívoca: "Los sitios que se excluyen de OAI-SearchBot no se mostrarán en las respuestas de búsqueda de ChatGPT." La misma lógica se aplica a Claude-SearchBot y Claude-User. Bloquéalos y te excluyes a ti mismo de las citas en respuestas de IA en tiempo real. Eso va mucho más allá del entrenamiento futuro del modelo que pretendías detener.

La fila de Google merece una nota propia. Los AI Overviews de Google están agrupados con su rastreador de búsqueda principal: bloquear Google-Extended te excluye del entrenamiento de Gemini, pero no hace nada para eliminarte de AI Overviews. La distinción importa.

GPTBot lidera la lista de bloqueados - y sigue creciendo

TechnologyChecker.io escaneó 29,9 millones de dominios activos en Q1 2026 y clasificó los rastreadores de IA por participación de DISALLOW reglas. El resultado: GPTBot está en la cima, ya superando al más antiguo CCBot. La mayoría de estos bloqueos se escribieron antes de que la división entre entrenamiento/búsqueda fuera ampliamente comprendida - lo que significa que una gran parte de ellos están silenciosamente excluyen esos sitios de la citación de búsqueda de IA.

Un análisis de BuzzStream de 100 principales editores de noticias de EE.UU. y Reino Unido (enero de 2026) encontró que el 79% bloquea al menos un bot de entrenamiento - sin embargo, Google-Extended fue el rastreador de entrenamiento menos bloqueado con un 46% en general, con editores estadounidenses (58%) muy por delante de editores británicos (29%). Los editores claramente quieren bloquear - solo que lo hacen de manera poco precisa.

416 mil millones de solicitudes bloqueadas en cinco meses

Cuando Cloudflare declaró "Día de la Independencia del Contenido" el 1 de julio de 2025 y comenzó a bloquear rastreadores de IA por defecto en nuevos dominios, nos dio la primera imagen a gran escala de cuánto rastreo de IA está sucediendo. El CEO de Cloudflare, Matthew Prince, divulgó el total en la Gran Entrevista de WIRED en diciembre de 2025: 416 mil millones de solicitudes de bots de IA rechazadas en aproximadamente cinco meses - alrededor de 2,8 mil millones por día. Esa es una operación de extracción industrial a escala completa funcionando las 24 horas.

Prince también expresó la ventaja estructural de Google en números claros (enero de 2026, presentado junto con la consulta de la CMA del Reino Unido): "Google aprovecha su monopolio de búsqueda para ver 3,2x más de la web que OpenAI, 4,8x más que Microsoft, y más de 6x más que casi todos los demás." Esa asimetría significa que bloquear rastreadores de Google cuesta mucha más visibilidad que bloquear el equivalente de cualquier otro proveedor.

Pay-per-crawl: se está formando un camino intermedio

En lugar de permitir/bloquear de forma binaria, los editores están comenzando a cobrar por el acceso. El mercado Pay Per Crawl de Cloudflare (anunciado en 2026) permite a los editores devolver una HTTP 402 Payment Required respuesta con un encabezado de precio de rastreador; Cloudflare actúa como comerciante registrado. Ya se envían más de mil millones de tales respuestas por día en la red de Cloudflare.

Stack Overflow hizo la división concreta en febrero de 2026: un acuerdo de licencia con Cloudflare cobra por acceso comercial de entrenamiento mientras mantiene el contenido de la comunidad libremente legible. Los datos de entrenamiento tienen valor; la recuperación de búsqueda ayuda a la comunidad. Cobrar por uno mientras se permite el otro es ahora una decisión de producto en vivo - las empresas realmente lo están implementando.

No todo bloqueo es incorrecto

Este artículo no argumenta a favor del acceso de puertas abiertas a todo. Hay razones sólidas para mantener a los rastreadores de entrenamiento fuera, y deberías considerarlas:

• Los datos de entrenamiento tienen valor real. Si tu contenido es original y autorizado, los rastreadores de entrenamiento están extrayendo ese valor de forma gratuita. El acuerdo de Stack Overflow establece un precedente para cobrar en lugar de regalar.
• Los rastreadores de entrenamiento no dan atribución ni tráfico de referencia. A diferencia de las citas de bots de búsqueda, los pases de entrenamiento no dejan huella - tu contenido mejora un modelo sin reconocimiento y sin enlace de vuelta.
• Riesgo de propiedad intelectual y competencia. Si tu contenido es lo suficientemente propietario o específico del dominio como para constituir una ventaja competitiva, es posible que no quieras que se integre en un LLM público que cualquier competidor pueda consultar.

El argumento aquí es estrecho: bloquea rastreadores de entrenamiento deliberadamente si lo deseas, pero hazlo por nombre, para que una regla general no capture también los bots de búsqueda/recuperación que impulsan citas y visibilidad.

Una advertencia más: la aplicación de robots.txt es voluntaria. Bytespider tiene un historial documentado de ignorarla. Los falsificadores routinariamente usan agentes de usuario de Chrome para evitar la detección. Una entrada de robots.txt señala tu preferencia y te da una base legal para queja; técnicamente no previene el acceso. El control real requiere reglas del lado del servidor, configuración de WAF y señales de bot verificado (la gestión de bots de Cloudflare puede verificar rastreadores legítimos por IP y huella digital de TLS antes de permitirles o cobrarles). Trata robots.txt como tu primera capa, luego respalda con los controles del lado del servidor anteriores.

Bloquea los bots de entrenamiento por nombre

Un robots.txt que distingue el entrenamiento de la búsqueda se ve así:

El segundo paso es verificar si tu CDN o WAF ya ha tomado esta decisión por ti. Cloudflare comenzó a bloquear rastreadores de IA de forma predeterminada en todos los dominios nuevos a partir del 1 de julio de 2025. Si configuraste o migraste un dominio después de esa fecha, es posible que los rastreadores de IA ya estén bloqueados en la capa de red, incluidos los bots de búsqueda que podrías querer permitir. Verifica tu configuración de Cloudflare Security → Bots antes de asumir que tu robots.txt está haciendo el trabajo.

El tercer paso es medir tu visibilidad actual de IA para saber qué tienes que perder o ganar. Eso es lo que hace el escáner de marca de Baseline.

Audita tu visibilidad de IA