Sem alucinações aqui: rastreie as últimas tendências de IA com insights expandidos no Cloudflare Radar

Durante a Semana de Aniversário de 2024, lançamos um gráfico de tráfego de bots e crawlers de IA no Cloudflare Radar que fornece visibilidade sobre quais bots e crawlers são os mais agressivos, têm o maior volume de solicitações, que rastreiam regularmente e muito mais. Hoje, estamos lançando uma nova página dedicada, a "AI Insights", no Cloudflare Radar que incorpora esse gráfico e o desenvolve com métricas adicionais que você pode usar para entender as tendências relacionadas à IA a partir de várias perspectivas. Além das tendências de tráfego, a nova seção inclui uma visão da popularidade relativa dos serviços de IA generativa disponíveis publicamente com base no tráfego do resolvedor de DNS 1.1.1.1, o uso de diretivas robots.txt para restringir o acesso de bots de IA ao conteúdo e código aberto do modelo de bots, conforme observado pelo Cloudflare Workers AI.

Abaixo, analisaremos cada seção da nova página AI Insights mais detalhadamente.

Rastrear as tendências de tráfego para bots de IA pode nos ajudar a entender melhor sua atividade ao longo do tempo. Lançado inicialmente em setembro de 2024 na página de tráfego do Radar, o gráfico de tráfego de bots e crawlers de IA foi movido para a página AI Insights e oferece visibilidade das tendências de tráfego coletadas globalmente durante o período selecionado para os cinco bots e crawlers de IA mais ativos. A lista associada de agentes de usuário rastreados aqui é baseada na lista do ai.robots.txt e será atualizada com novas entradas à medida que forem identificadas. As séries temporais e dados resumidos para este gráfico estão disponíveis na API do Radar e as tendências de tráfego para o conjunto completo de bots e crawlers de IA dos quais vemos o tráfego podem ser visualizadas no Log Explorer.

Nos últimos anos, a Análise anual do Cloudflare Radar analisou dados de tráfego de solicitações do nosso resolvedor de DNS 1.1.1.1 para apresentar classificações dos serviços de internet mais populares, tanto de modo geral quanto em diversas categorias. Em 2023 e 2024, essa seção incluiu classificações para serviços de IA generativa disponíveis publicamente, com o ChatGPT no topo da lista em ambos os anos. Embora um post do blog que a acompanha forneça uma visão mais detalhada de como as classificações mudaram ao longo do ano, ele também mostra uma visão retrospectiva. Ou seja, não fornece visibilidade das mudanças à medida que elas ocorrem. O gráfico de popularidade dos novos serviços de IA generativa mostra as classificações relativas desses serviços e plataformas com base no tráfego de solicitações de DNS para domínios associados a esses serviços agregados em um nível diário. Os dados de séries temporais subjacentes estão disponíveis por meio da API do Radar, usando o parâmetro serviceCategory=Generative%20AI .

O gráfico abaixo mostra que, no final de janeiro de 2025, os cinco principais serviços estavam bastante estáveis nas quatro semanas anteriores, mas houve um movimento regular entre os classificados entre o 6º e o 10º lugares. Esperamos que as classificações continuem a mudar ao longo do tempo. O DeepSeek, um serviço de IA generativa que surpreendeu o setor no final de janeiro, pode ser visto fazendo sua primeira presença na 9ª posição em 26 de janeiro, subindo rapidamente para a 3ª posição em 29 de janeiro, apenas três dias depois. 

Os provedores de conteúdo podem tentar controlar o acesso ao site inteiro, ou a partes específicas dele, por meio do uso de diretrizes Allow ou Disallow em um arquivo robots.txt. No entanto, o controle de acesso bem-sucedido depende de os bots respeitarem as diretivas listadas. O AI Audit da Cloudflare oferece visibilidade e controle sobre como os bots de IA estão interagindo com seu site. E agora o Cloudflare Radar fornece insights sobre como outros sites estão lidando com eles.

Semanalmente, analisamos os 10 mil principais domínios do Radar para determinar quais sites associados publicam arquivos robots.txt, bem como agregam as diretivas específicas de IA nesses arquivos. Em nosso novo gráfico de agentes de usuário de IA encontrados no gráfico robots.txt, visto abaixo, agora fornecemos insights sobre as ações que esses principais sites estão adotando em relação aos bots de IA. Essas ações são especificadas por diretivas que permitem ou não o acesso de um determinado agente de usuário (identificador de bots) a todo o conteúdo do site (Fully Allowed/Disallowed) ou a determinadas seções (Partially Allowed/Disallowed).

Além disso, também organizamos esses domínios por categoria (por exemplo, comércio eletrônico ou notícias e mídia), destacando os bots específicos que os sites dessas categorias listaram em suas diretrizes. Por exemplo, o gráfico de categoria de domínio de notícias e mídia mostrado abaixo ilustra que esses tipos de sites desaprovam quase universalmente o acesso a seus sites por agentes de usuário de IA.

Alterar a diretiva para "Allow" mostra um conjunto muito menor de agentes de usuários, com um conjunto drasticamente menor de sites permitindo explicitamente o acesso total ou parcial. (Observe que, se um agente de usuário não estiver listado em um arquivo robots.txt e um agente de usuário curinga “*” não for especificado, o acesso será totalmente permitido por padrão).

Além de aparecerem na página AI Insights, os dados subjacentes estão disponíveis para maior exploração e análise por meio da API do Radar e do Log Explorer. 

O cenário de modelos de IA está evoluindo rapidamente, com os provedores lançando regularmente modelos mais poderosos, capazes de tarefas como geração de texto e imagens, reconhecimento de fala e classificação de imagens. A Cloudflare trabalha em estreita colaboração com os provedores de modelos de IA para garantir que o Workers AI seja compatível com esses modelos o mais rápido possível após seu lançamento. Na nova página AI Insights, o Radar agora fornece visibilidade da popularidade dos modelos compatíveis disponíveis publicamente (popularidade do modelo Workers AI), bem como os tipos de tarefas (popularidade da tarefa do Workers AI) que esses modelos executam, com base no compartilhamento de contas do cliente. Insights ampliados, incluindo tendências de compartilhamento e compartilhamentos resumidos para a lista completa de modelos e tarefas, bem como a capacidade de comparar compartilhamentos de modelos e tarefas ao longo de períodos de tempo, estão disponíveis no Log Explorer. Os dados subjacentes de popularidade da tarefa e do modelo também estão disponíveis por meio de endpoints de API.

O espaço da IA é extremamente dinâmico, com novas plataformas, serviços e modelos aparecendo regularmente. Em alguns casos, esses novos participantes têm até o poder de perturbar o mercado, pois observam um rápido crescimento no interesse e no uso. E mais de dois anos desde que o ChatGPT foi anunciado,ainda há tensão entre provedores de conteúdo e plataformas de IA sobre a raspagem de conteúdo para treinamento de modelos. A nova página “AI Insights” no Cloudflare Radar fornece tendências e informações oportunas sobre esse espaço dinâmico, permitindo que observadores e participantes do setor entendam melhor como ele está mudando e evoluindo ao longo do tempo.

Se você compartilhar gráficos do AI Insights nas redes sociais, certifique-se de nos marcar: @CloudflareRadar (X), noc.social/@cloudflareradar (Mastodon) e radar.cloudflare.com (Bluesky). Você também pode entrar em contato pelas redes sociais ou conosco por e-mail para dar sugestões de métricas de IA que podemos explorar para adicionar à página no futuro.