Los editores de contenido acogieron con satisfacción los rastreadores y los bots de los motores de búsqueda porque ayudaban a dirigir el tráfico hacia sus sitios web. Los rastreadores veían lo que se publicaba en el sitio y mostraban ese material a los usuarios que lo buscaban. Los propietarios de los sitios podían monetizar su material porque esos usuarios seguían teniendo que hacer clic en la página para acceder a algo más allá de un título breve.
Los bots de inteligencia artificial (IA) también rastrean el contenido de un sitio, pero con un modelo de entrega completamente diferente. Estos modelos de lenguaje de gran tamaño (LLM) hacen todo lo posible por leer la web para entrenar un sistema que pueda volver a empaquetar ese contenido para el usuario sin que este tenga que visitar la publicación original.
Es posible que las aplicaciones de IA sigan intentando citar el contenido, pero hemos descubierto que muy pocos usuarios hacen clic en relación con la frecuencia con la que el bot de IA extrae un sitio web determinado. Hemos analizado este desafío en entornos más pequeños y hoy nos complace publicar nuestras conclusiones como una nueva métrica que se muestra en la página AI Insights en Cloudflare Radar.
Los visitantes de Cloudflare Radar ahora pueden revisar la frecuencia con la que un determinado modelo de IA envía tráfico a un sitio en relación con la frecuencia con la que lo rastrea. Compartimos este análisis con un público más amplio para que los propietarios de los sitios puedan disponer de información más completa que les ayude a tomar decisiones sobre qué bots de IA deben permitir o bloquear, y para que los usuarios puedan comprender cómo el uso de la IA en conjunto afecta al tráfico de Internet.
¿Cómo funciona esta métrica?
Dado que las páginas HTML son posiblemente el contenido más valioso para estos rastreadores, las ratios mostradas se calculan dividiendo el número total de solicitudes de los agentes de usuario relevantes asociados a una plataforma de búsqueda o de IA determinada donde la respuesta fue de Content-type: text/html por el número total de solicitudes de contenido HTML en las que el encabezado Referer: contenía un nombre de host asociado a una plataforma de búsqueda o de IA determinada.
Los diagramas siguientes ilustran dos escenarios comunes de rastreo y muestran que las empresas pueden utilizar diferentes agentes de usuario en función de la finalidad del rastreador. El de arriba representa una transacción simple en la que la plataforma de IA de ejemplo solicita contenido para entrenar un LLM, representándose a sí misma como AIBot. El de abajo representa un escenario en el que la plataforma de IA de ejemplo solicita contenido para atender la solicitud de un usuario, en busca de información sobre vuelos. En este caso, se representa a sí mismo como AIBot-User. El tráfico de solicitudes de estos dos agentes de usuario se agregaría bajo un único nombre de plataforma a efectos de nuestro análisis.
Cuando un usuario hace clic en un enlace de un sitio web o aplicación, el cliente suele enviar un encabezado Referer: como parte de la solicitud al sitio de destino. En el diagrama siguiente, la plataforma de IA de ejemplo ha devuelto contenido que incluye enlaces a sitios externos en respuesta a una interacción del usuario. Cuando el usuario hace clic en un enlace, se realiza una solicitud al proveedor de contenido que incluye ai.example.com en el encabezado Referer:, lo que le permite saber de dónde procede el tráfico de esa solicitud. Los nombres de host se asocian a sus respectivas plataformas a efectos de nuestro análisis.
La nueva métrica se presenta como una tabla sencilla, que compara el número de solicitudes de página HTML agregadas de rastreadores (agentes de usuario) asociados a una plataforma determinada con el número de solicitudes de página HTML de clientes remitidos por un nombre de host asociado a una plataforma determinada. La ratio calculada siempre se normaliza a una única solicitud de referencia.
La tabla siguiente muestra que, para el periodo comprendido entre el 19 y el 26 de junio de 2025, por ejemplo, las ratios oscilan entre el 70 900:1 de Anthropic y el 0,1:1 de Mistral. Esto significa que la plataforma de IA Claude de Anthropic realizó casi 71 000 solicitudes de páginas HTML por cada referencia de página HTML, mientras que Mistral envió 10 veces más referencias que solicitudes de rastreo. (Sin embargo, el tráfico remitido por la aplicación nativa de Claude no incluye un encabezado Referer:, y creemos que lo mismo es válido para el tráfico generado desde otras aplicaciones nativas. Por lo tanto, dado que los recuentos de referencias solo incluyen el tráfico procedente de las herramientas web de estos proveedores, es posible que estos cálculos exageren las ratios respectivas, aunque no está claro en qué medida.)
Por supuesto, debido en parte a los cambios en los patrones de rastreo, estas ratios cambiarán con el tiempo. La tabla anterior también muestra los cambios en la ratio con respecto al periodo anterior, que van desde aumentos de más del 6 % para DuckDuckGo y Yandex hasta una disminución del 19,4 % para Google. La caída intersemanal de la ratio de Google está relacionada con un descenso observado en el tráfico de rastreo de GoogleBot a partir del 24 de junio, mientras que el crecimiento intersemanal de Yandex está relacionado con un incremento observado en la actividad de rastreo de YandexBot desde el 21 de junio, como se ve en los gráficos siguientes.
La herramienta Data Explorer de Radar incluye una vista de series temporales de cómo estas ratios cambian a lo largo del tiempo, como en el ejemplo de Baidu a continuación. Los datos de la serie temporal también están disponibles a través de un punto final de la API.
Patrones en el tráfico de referencia
Los cambios y las tendencias en la actividad subyacente se pueden ver en la vista asociada de Data Explorer, así como en los datos sin procesar disponibles a través de los puntos finales de la API (series temporales, resumen). Ten en cuenta que los porcentajes de tráfico de referencia y de rastreo son relativos al conjunto de referencias y rastreadores incluidos en los gráficos, y no al tráfico de Cloudflare en general.
Por ejemplo, en la siguiente vista centrada en las referencias, que abarca prácticamente las primeras cuatro semanas de junio de 2025, podemos ver que el tráfico de referencia está dominado por la plataforma de búsqueda Google, con un patrón diurno bastante consistente visible en los datos. (La entrada google.* incluye el tráfico de referencia del sitio web principal google.com, así como de sitios web locales, como google.es o google.com.tw). Debido a la precarga derivada del uso de reglas de especulación, el tráfico de referencia procedente del número de sistema autónomo de Google (AS15169) se excluye específicamente del análisis, ya que no representa el consumo activo de contenido por parte de los usuarios.
Los patrones diurnos claros también son visibles en la ratio de solicitudes de referencia de otras plataformas de búsqueda, aunque las ratios de solicitudes son una pequeña parte de las que se observan en Google.
A lo largo del mes de junio, el porcentaje de tráfico procedente de plataformas de IA fue significativamente inferior, incluso en términos agregados, al porcentaje de tráfico procedente de plataformas de búsqueda.
Cambios en el tráfico de rastreo
Como se ha indicado anteriormente, el cambio en los valores de la ratio a lo largo del tiempo puede deberse a cambios en la actividad de rastreo. Estos cambios son visibles en los porcentajes de tráfico de rastreo disponibles en Data Explorer, así como en los datos sin procesar disponibles a través de los puntos finales de la API (series temporales, resumen). En la siguiente vista centrada en el rastreador, que abarca casi las cuatro primeras semanas de junio de 2025, podemos ver que el porcentaje de solicitudes relacionadas con la actividad de rastreo de Google tanto para sus identificadores Googlebot como para GoogleOther disminuye a lo largo del mes, con varios periodos de picos y caídas. Un patrón similar observado en el tráfico de solicitudes HTTP de AS15169 de Google durante ese mismo periodo de tiempo coincide aproximadamente con esta caída observada en el porcentaje.
Además, parece que GPTBot de OpenAI experimentó varios periodos en los que se observó poca o ninguna actividad de rastreo a lo largo del mes.
Qué significa esto para los proveedores de contenido
Estas ratios afectan directamente a la viabilidad de la publicación de contenidos en Internet. Aunque variarán con el tiempo, la tendencia sigue siendo más rastreos y menos referencias cuando se comparan entre sí. Los rastreadores de índice de búsqueda heredados escaneaban tu contenido un par de veces, o menos, por cada visitante enviado. La disponibilidad de un sitio para los rastreadores hacía que su modelo de ingresos fuera más viable, no menos.
Los nuevos datos que estamos observando sugieren que ya no es así. Estos modelos siguen consumiendo más contenido, con mayor frecuencia, a pesar de enviar el mismo tráfico o menos al origen de su contenido.
Hemos lanzado nuevas herramientas durante el último año para ayudar a los propietarios de los sitios web a recuperar el control. Con un solo clic, los editores pueden bloquear los tipos de rastreadores de IA que se entrenan con su contenido. Y hoy, hemos anunciado nuevas formas de hacer que el intercambio de valor sea justo para ambas partes de la ecuación. Sin embargo, seguimos recomendando que los creadores de contenido auditen y luego apliquen sus políticas preferidas para los rastreadores de IA.
Además de proporcionar esta nueva información sobre el rastreo y el tráfico de referencia y las tendencias asociadas, también hemos aprovechado la oportunidad para lanzar contenido ampliado sobre bots verificados. La página Bots de Cloudflare Radar incluye una lista numerada de bots verificados, que muestra el nombre del bot, el propietario, la categoría y la clasificación (según el volumen de solicitudes). Esta lista se ha ampliado ahora a un directorio independiente en una nueva sección de Bots. El directorio, que se muestra a continuación, muestra una tarjeta para cada bot verificado, que muestra el nombre del bot, una descripción, el propietario y la categoría del bot, y el estado de verificación. Los usuarios pueden buscar en el directorio por nombre de bot, propietario o descripción, y también pueden filtrar por categoría (seleccionando solo bots de Monitorización y Análisis, por ejemplo).
Si haces clic en el nombre de un bot dentro de una tarjeta, se abrirá una página específica del bot que incluye metadatos sobre el bot, información sobre cómo se representa el agente de usuario del bot en los encabezados de solicitud HTTP y cómo se debe especificar en las directivas de robots.txt, y un gráfico de tráfico que muestra las tendencias del volumen de solicitudes HTTP asociadas para el periodo de tiempo seleccionado (con una comparación por defecto con el periodo anterior). Los datos asociados también están disponibles a través de la API. A medida que añadamos información adicional a estas páginas específicas de bots en el futuro, documentaremos las actualizaciones en las entradas del registro de cambios.