A internet tem um segundo público

Durante a maior parte de sua história, a internet teve apenas um público que pagava as contas: as pessoas. Nós líamos os artigos, víamos os anúncios e comprávamos as assinaturas. Os bots sempre estiveram lá, mas eram principalmente grandes operações automatizadas que não visualizavam anúncios, não pagavam nada e não liam em nenhum sentido significativo.

Isso está mudando rapidamente. No final de 2024, a Cloudflare processava uma média de 63 milhões de requisições HTTP por segundo. Hoje, esse número quase dobrou para 115 milhões, com picos acima de 150 milhões. No último ano, as requisições diárias de agentes de IA em nossa rede cresceram mais de 1.700 %. Este ano, pela primeira vez, mais da metade do tráfego da internet não era humano.

A web humana não encolheu para dar espaço. Um segundo público surgiu ao lado dela: agentes, software agindo em nome das pessoas. Eles se situam em algum lugar entre os humanos e os bots tradicionais. Eles não respondem a anúncios, mas geralmente há uma pessoa por trás deles com uma tarefa a realizar. Para as empresas que aprendem a atendê-los e a extrair valor deles, os agentes agregam valor. Para as que não o fazem, eles extraem valor.

O que nossos clientes precisam não mudou: ser descobertos, contar grandes histórias, criar experiências excelentes e vender. O que mudou é que mais da metade de seus visitantes agora são softwares. Nossa missão é ajudar você a atender a ambos os públicos.

Mais tráfego, menos receita

Por trinta anos, a web funcionou com um único arranjo: você permitia que os mecanismos de busca rastreassem seu site, eles lhe enviavam visitantes e você transformava esses visitantes em negócios. Ser encontrado e ser pago eram a mesma coisa.

A IA fez esse delicado equilíbrio entrar em colapso. Agora, os mecanismos de respostas leem a página e dão ao leitor um resumo. Isso custa largura de banda para os sites sem levar um humano a um site onde os anúncios ou pagamentos acontecem. As máquinas continuaram chegando, e o público que pagava pela web parou de chegar a esses sites. Algumas das categorias mais rastreadas, como varejo, software de computador, TI e serviços e serviços financeiros, viram o tráfego humano cair até 40 % em menos de um ano.

O resultado é que a receita por solicitação está caindo enquanto os custos sobem. Cada solicitação automatizada ainda custa largura de banda, computação e recursos de origem, e uma parcela crescente dessas solicitações não gera referências, impressões de anúncio ou assinaturas. Nosso primeiro instinto foi bloquear todo o tráfego automatizado. No ano passado, recomendamos bloquear os crawlers de treinamento de IA em novos domínios para que os proprietários de sites pudessem ao menos dizer não ao uso de seu conteúdo para desenvolver modelos. Na primavera de 2025, 22% das requisições de crawlers que vimos eram para treinamento de IA (de acordo com o propósito declarado dos crawlers). Em junho de 2026, era 52%. O problema é que um “não” generalizado não é uma abordagem suficientemente refinada para a economia da internet que está sendo construída agora.

Existe uma oportunidade de atender os agentes. Faça certo e você estará na vanguarda de um novo modelo de negócio. Faça errado e os resultados serão os mesmos de gerações de sites que estiveram no lado errado das mudanças de algoritmo dos mecanismos de busca.

Parte desse tráfego é um cliente

Um agente que reserva uma mesa, compara cotações de seguro ou compra um conjunto de dados para um pesquisador é um cliente. Só que não é humano.

A parte do tráfego automatizado que cresce mais rapidamente não são mais os crawlers. São os agentes: softwares que buscam páginas em nome de uma pessoa, muitas vezes porque o humano perguntou algo a um chatbot. Esse tráfego de agentes segue as rotinas humanas, com um ritmo semanal e uma queda durante as férias de verão. Recusar um agente pode ser recusar a pessoa que o enviou.

Os agentes também se comportam de maneira diferente dos crawlers de treinamento. Um crawler de treinamento coleta suas páginas para desenvolver um modelo. Um agente volta cada vez que alguém pergunta sobre esse conteúdo, então esse tráfego cresce com o número de perguntas que as pessoas fazem, não com o quanto você publica.

Não dá para fazer negócios com um público que você não pode ver, não pode distinguir, não pode definir termos e não pode cobrar. Até recentemente, para a maior parte do tráfego web não humano, nenhuma dessas quatro coisas era possível.

Veja quem realmente visita seu site

O termo "bot de IA" já não significa muita coisa por si só. O que importa é o que um bot faz. O AI Crawl Control, o Business Insights e o BotBase da Cloudflare mostram aos proprietários de sites quem está rastreando, o que está sendo coletado, o que volta e quais de seus URLs são mais requisitados.

O nome de um bot só tem valor se você puder confiar nele. Com o Web Bot Auth, operadores, incluindo OpenAI, Google e AWS, assinam criptograficamente as solicitgações de seus agentes, para que um site possa distinguir um agente real de um impostor sem precisar adivinhar por endereços de IP ou strings de user-agent. Processamos mais de 500 bilhões de solicitações de bots verificadas por semana.

Defina seus termos

Em julho, substituímos o único switch  de “bloqueio de bots de IA” por controles separados para busca, agentes e treinamento, disponíveis em todos os planos, inclusive no gratuito. Os dados mostraram por que essa distinção era necessária. Menos de 1% dos sites na Cloudflare bloqueiam crawlers de busca, enquanto 17% bloqueiam os de treinamento. Os proprietários de sites nunca tentaram se esconder. Mas com o crescimento do tráfego agêntico e as novas formas como os agentes usam as informações, eles de repente não tinham transparência sobre como seu conteúdo estava sendo usado, nem escolha sobre isso. Ser encontrado não garante mais que serão pagos, e eles querem ser encontrados sem serem explorados.

Isso é particularmente difícil no caso de crawlers de uso misto. Quando um bot faz tanto busca quanto treinamento, recusar um significa recusar o outro. Em 15 de setembro, lançamos o Disallow AI Training. Ele mantém você indexado para buscas enquanto usa mecanismos específicos do crawler para instruir o operador a não usar seus dados para treinamento. Apple, Google e Microsoft se comprometeram a respeitar isso. O Cloudflare Radar também rastreia publicamente o comportamento dos crawlers.

Novos domínios agora veem configurações recomendadas com base em como o site ganha dinheiro, em vez do tipo de software que o visita. Para sites financiados por publicidade, você pode facilmente proibir o treinamento e bloquear agentes em páginas que exibem anúncios, porque um anúncio só paga quando uma pessoa o vê. Você pode alterar qualquer uma dessas configurações a qualquer momento.

Seja pago

Em agosto de 2026, descrevemos a internet agêntica que estamos construindo como legível, detectável, acionável e que permite pagamento. O último termo, que permite pagamento, é o que determina se a web aberta consegue se autofinanciar. A web precisa de uma forma de dizer “sim, se você pagar” em vez de um binário “sim” ou “não”.

O mercado de licenciamento mostra tanto a enorme demanda quanto onde estão as lacunas. Mais de 50 acordos entre produtores de conteúdo e IA foram assinados desde 2023. Quase todos são personalizados e bilaterais, envolvendo grandes produtores de conteúdo e grandes empresas de IA. Eles provam que o conteúdo tem valor. Mas não alcançam a maior parte da web, e não alcançam a maioria dos compradores.

Nem todo ativo deve ser vendido da mesma forma. Conteúdo e conjuntos de dados de alto valor precisam de uma rede confiável, onde os compradores sejam identificados e relatem como o trabalho foi usado. Serviços como APIs e ferramentas MCP não funcionam assim: cada solicitação é o uso.

Por isso estamos desenvolvendo para os dois.

O Pagamento por uso alcança os sites que o licenciamento direto não consegue. A maioria dos produtores de conteúdo nunca conseguirá um acordo personalizado com cada empresa de IA, e nenhuma empresa de IA pode negociar com milhões de sites. O Pagamento por uso é a ponte. Ele não cobra pelo rastreamento. O pagamento ocorre apenas quando o conteúdo é realmente usado. Cada comprador é um crawler verificado, o que garante a confiabilidade da rede, definindo seus próprios critérios para o que constitui uso e qual valor será pago. 

Os produtores de conteúdo veem a oferta, escolhem se querem aderir e podem cancelar a participação quando deixar de funcionar para eles. O comprador relata cada utilização, a Cloudflare verifica esses relatórios, cobra o comprador e paga o produtor de conteúdo. O relatório é tão importante quanto o pagamento. Os produtores de conteúdo veem o que foi utilizado, quando e quanto ganharam, e, quando o comprador informa, informações sobre quais perguntas trouxeram seu trabalho à tona. Acordos de licenciamento raramente oferecem esse nível de transparência. Isso cria um ciclo de feedback: os produtores de conteúdo aprendem o que as pessoas realmente perguntam e, a partir disso, podem decidir o que abordar, o que atualizar e o que disponibilizar facilmente para os agentes.

Não haverá uma única definição de uso. Um mecanismo de busca citando uma fonte, um agente de pesquisa citando uma passagem e um agente de compras completando uma compra criam tipos diferentes de valor, e cada um vai querer seu próprio modelo de negócio. Os compradores podem participar por meio de vários modelos de negócio utilizando a mesma infraestrutura, sem necessidade de novas integrações por parte dos produtores de conteúdo. Pegue uma publicação especializada para engenheiros navais, com alguns milhares de assinantes e pouca perspectiva de um acordo de licenciamento de IA. Ela é paga por cada empresa de IA participante que se baseia em seu trabalho.

O Monetization Gateway captura valor que, até então, não tinha como ser transacionado. Contas, chaves de API e assinaturas funcionam para clientes que você já conhece, não para um agente que quer uma única consulta de um serviço que nunca usou antes. Nosso beta fechado permite que clientes da Cloudflare nos EUA qualificáveis definam preços para qualquer conteúdo que passe por nós, usando a linguagem de regras que já conhecem. Quando uma regra corresponde, retornamos HTTP 402 Payment Required usando o protocolo aberto x402, e o agente paga ao vendedor diretamente.

Isso faz muito além de recuperar receita perdida. Os agentes são clientes por direito próprio: pagam pelos dados, APIs e ferramentas que usam, seja a solicitação a compra inteira ou uma etapa em uma tarefa maior.

O Monetization Gateway precifica por solicitação, por consulta ou por token, a preços fixos ou com teto máximo. Um site de estatísticas esportivas baseado em anúncios pode cobrar uma fração de centavo cada vez que um agente pergunta: “Quem lidera a liga em assistências?” Quando anunciamos o Monetization Gateway, milhares de vendedores entraram na lista de espera, e a solicitação mais comum foi “cobrar dos agentes, não dos humanos”. Também somos nosso primeiro cliente. O AI Gateway da Cloudflare usa o Monetization Gateway para permitir que os agentes paguem pela inferência, para que encontremos os pontos problemáticos antes que nossos clientes o façam.

Para os compradores, os dois produtos superam uma página de bloqueio: acesso confiável e uma forma de alcançar milhões de sites em vez de um acordo de licenciamento ou chave de API por vez. Cada solicitação paga gera um recibo mostrando o que foi comprado e o pagamento.

Tanto o Pagamento por uso  quanto o Monetization Gateway são apostas, desenvolvidas em conjunto com clientes utilizando elementos fundamentais compartilhados: identidade, medição, precificação, liquidação e análises. Eles funcionam juntos, de modo que um produtor de conteúdo pode proibir o treinamento, permitir a busca, ganhar com respostas de IA e cobrar dos agentes por artigo a partir de um único painel. Precificação e descoberta ainda não estão resolvidas, por isso os dois são lançados como betas, moldados por clientes reais e transações reais.

Tornar cada solicitação mais barata

O pagamento é a resposta para a queda de receita. O aumento de custos é um problema diferente, e boa parte dele é simplesmente desperdício. A maioria dos crawlers ainda baixa páginas criadas para humanos, repetidamente, para extrair alguns parágrafos de texto. Com muita frequência, os bots rastreiam sites que não mudaram desde a última tentativa. Isso queima largura de banda para o site e capacidade de computação para o crawler, e acontece antes que qualquer resposta seja escrita. Estamos trabalhando com nossos clientes e os crawlers em ferramentas que vão ajudar. Hoje, você pode ver o consumo de largura de banda por operador em nosso painel.

Em julho, anunciamos um projeto de pesquisa conjunto com a OpenAI, um piloto pioneiro para explorar como as informações da rede global da Cloudflare podem ajudar os mecanismos de busca de IA a descobrir e indexar conteúdo relevante na web aberta de forma mais eficiente e eficaz. Planejamos compartilhar nossos resultados iniciais nas próximas semanas.

Para nossos clientes, estamos lançando ferramentas e experiências de um clique para otimizar seus sites para esse novo tipo de tráfego. O Markdown for Agents permite que os agentes leiam uma página sem o estilo adicional voltado para olhos humanos, e o WebMCP permite que um site exponha ações diretamente em vez de fazer os agentes adivinharem qual botão pressionar.

Por que desenvolver na Cloudflare

Mais de 20 % da web está atrás da rede da Cloudflare, assim como quase 80 % das principais empresas de IA. Vemos os dois lados deste mercado. Construímos a infraestrutura para visibilidade, identidade, controles e liquidação, e deixamos o mercado definir o valor das coisas.

O antigo acordo acabou, e o novo ainda está sendo escrito. Juntos podemos moldar o que vem a seguir.

Em uma versão, poucas empresas controlam como os agentes encontram as coisas, provam quem são e pagam, e todos os demais passam por elas. Na outra, esses elementos são padrões abertos que qualquer um pode implementar, e um site de qualquer tamanho pode definir seus termos e ser pago. Preferimos a segunda.

É por isso que essa infraestrutura opera com base em padrões abertos como x402 e Web Bot Auth, para que qualquer um possa desenvolver a partir deles. Os proprietários de domínio escolhem seus próprios provedores de identidade, seus próprios processadores de pagamentos, seus próprios parceiros agentes. A Cloudflare é uma opção, não toda a pilha.

Por décadas, a web foi custeada pelas pessoas que a visitavam. Agora o software que a visita em nome delas também pode pagar sua parte.