互联网拥有第二类受众
在互联网的大部分历史中，只有一类受众负责支付运营成本：人类。我们阅读文章、浏览广告、购买订阅。机器人一直存在，但它们大多是大规模的自动化操作，既不查看广告，也不为任何内容付费，也不以任何有意义的方式阅读内容。
这种状况正在迅速改变。2024 年底，Cloudflare 平均每秒处理 6300 万次HTTP 请求。如今，这一数字几乎翻倍，达到 1.15 亿次，峰值超过 1.5 亿次。过去一年，我们网络上AI 智能体的每日请求量增长了逾 1700%。今年，历史上首次，超过半数的互联网流量不再来自人类。
人类互联网并未萎缩来为此让路。第二类受众随之而来：智能体（agent）——代表人类行动的软件。它们介于人类与传统机器人之间。它们不响应广告，但背后通常有一个需要完成任务的人。对于学会服务智能体并从中捕获价值的企业而言，智能体是增值性的；而对于那些尚未学会的企业，智能体则是消耗性的。
我们的客户所需要的没有改变：被发现、讲好故事、打造优质体验和实现销售。改变的是，您的访客中已有超过一半是软件。我们的使命是帮助您同时服务这两类受众。
流量增多，收益减少
三十年来，互联网遵循着同一套逻辑运转：您让搜索引擎抓取您的网站，搜索引擎为您带来访客，而您再将这些访客转化为商业价值。被找到和获得收益是一回事。
AI 打破了这一微妙的平衡。如今，答案引擎读取页面并向用户提供摘要。这消耗了网站的带宽，却并未将人类引导至产生广告收益或付费行为的网站。机器人持续涌入，而为互联网买单的受众却再也无法到达那些网站。零售、计算机软件、IT 与服务、金融服务等被爬取最频繁的类别，在不到一年的时间里，人类流量下降了多达 40%。
结果是，每次请求的收益不断下降，而成本却在上升。每个自动化请求仍然消耗带宽、算力和源站容量，而这些请求中越来越多的比例既没有引流，也没有广告展示，更没有带来订阅。我们最初的反应是封锁所有自动化流量。去年，我们建议在新域名上屏蔽 AI 训练爬虫，让网站所有者至少能对其内容被用于构建模型说“不”。2025 年春，我们观察到的爬虫请求中 22% 用于AI训练（根据爬虫声明的目的）。到 2026 年 6 月，这一比例升至 52%。问题在于，一概而论的“不”并不足够精细，无法应对当前正在形成的互联网经济。
迎合智能体的机会就在眼前。做对了，您将站在新商业模式的前沿；做错了，结果将与历代曾站在搜索引擎算法变化错误一侧的网站相同。
部分流量来自客户
一个为研究人员预订餐厅、比较保险报价或购买数据集的智能体，就是一个客户——只不过不是人类客户。
自动化流量中增长最快的部分已不再是爬虫，而是智能体：代表个人获取页面的软件，通常是因为用户向聊天机器人提出了问题。智能体流量遵循人类的规律，呈现出每周的节奏，并在暑假期间有所下降。拒绝智能体，可能意味着拒绝了派遣它的那个人。
智能体的行为方式也与训练爬虫不同。训练爬虫收集您的页面来构建模型；智能体则会在有人询问相关内容时反复返回，因此这类流量随着人们提问的频率增长，而非随发布量增长。
您无法与一类看不见、无法区分、无法设定条款、也无法收费的受众做生意。直到最近，对于互联网上大多数非人类流量，这四件事中没有任何一件是可能的。
了解真正在访问的是谁
「AI 机器人」这个说法已不再有实质意义。重要的是机器人做了什么。Cloudflare 的 AI Crawl Control、Business Insights 和 BotBase 向网站所有者呈现谁在爬取、取走了什么、带来了什么，以及哪些URL最受关注。
机器人的名字只有在可信的情况下才有意义。借助 Web Bot Auth，包括 OpenAI、Google 和 AWS 在内的运营商对其智能体请求进行加密签名，让网站无需通过 IP 地址或用户代理字符串猜测，即可辨别真正的智能体与仿冒者。我们每周看到超过 5000 亿次经过验证的机器人请求。
设定您的条款
7 月，我们将单一的「屏蔽 AI 机器人」开关替换为独立的搜索、智能体和训练控制，适用于包括免费版在内的所有方案。数据表明为何需要这种区分：Cloudflare 上不足 1% 的网站屏蔽搜索爬虫，而 17% 的网站屏蔽训练。网站所有者从来没有试图隐藏。但随着代理流量的兴起以及智能体使用信息的新方式，他们突然对内容的使用方式既没有透明度，也没有选择权。被找到不再意味着能获得收益，他们希望在不被剥削的前提下被发现。
在混合用途爬虫的情况下，这尤为棘手。当一个机器人同时执行搜索和训练任务时，拒绝其中一项就意味着拒绝另一项。9月15日，我们推出了Disallow AI Training。它让您保持搜索索引，同时利用爬虫专属机制指示运营商不得将您的数据用于训练。Apple、Google 和 Microsoft 均已承诺遵守该要求。Cloudflare Radar 也公开追踪爬虫行为。
新域名现在会根据网站的盈利方式而非访客软件的类型，获得推荐配置。对于广告支持的网站，您可以轻松禁止训练，并在承载广告的页面上屏蔽智能体——因为广告只有在真人看到时才会产生收益。您可以随时更改这些设置。
获取收益
2026 年 8 月，我们将正在构建的智能体互联网描述为：可读、可发现、可调用、可支付。最后一个词——可支付——决定着开放网络能否实现自我造血。互联网需要一种方式说“可以，但需要付费”，而不是非此即彼的“可以”或“不可以”。
授权许可市场既揭示了巨大的需求，也揭示了差距所在。自2023年以来，已有逾50份出版商与AI之间的协议签订。几乎所有协议都是定制化的双边协议，发生在大型出版商与大型AI公司之间。它们证明内容具有价值。但它们并未覆盖大多数网络，也未触及大多数买家。
并非所有资产都应以同一方式出售。高价值内容和数据集需要一个可信网络，在其中买家可被识别，并报告作品的使用方式。API 和 MCP 工具等服务不以此方式运作：每次请求即为一次使用。
因此，我们正在为两者同时构建。
Pay Per Use 触达了直接授权许可无法到达的网站。大多数出版商永远不会与每家 AI 公司达成定制化协议，而任何 AI 公司都无法与数百万个网站逐一谈判。Pay Per Use 是这座桥梁。它不对爬取收费，而在内容被实际使用时付款。每位买家都是经过验证的爬虫——这正是其成为可信网络的原因——每位买家自行定义何为使用以及愿意支付的金额。
出版商看到报价后，可选择是否加入，并可在不再适合时随时退出。买家报告每次使用，Cloudflare 核实这些报告，随后向买家收费并向出版商付款。报告与付款同等重要。出版商可以看到哪些内容被使用、何时使用、赚取了多少，以及在买家报告时，哪些问题触发了对其作品的引用。授权许可协议几乎从不提供这些信息。这形成了一个反馈循环：出版商了解到人们真正在问什么，并据此决定报道什么、更新什么，以及向智能体开放哪些内容。
使用的定义不会只有一种。引用来源的搜索引擎、引用段落的研究智能体和完成购买的购物智能体，各自创造了不同类型的价值，且每种类型都需要自己的商业模式。买家可通过同一套基础设施参与多种商业模式，无需出版商进行新的技术集成。以一本面向海洋工程师、拥有数千订阅用户且几乎不可能获得AI授权许可协议的专业刊物为例——它将从每一家使用其内容的参与AI公司处获得付款。
Monetization Gateway 捕获了此前从未有途径实现价值转移的场景。账户、API密钥和订阅适用于您已知的客户，而非一个从未使用过某服务、只需一次查询的智能体。我们的封闭测试版允许符合条件的美国Cloudflare 客户，使用他们已熟悉的规则语言，为经过我们的任何内容定价。当规则匹配时，我们使用开放的 x402 协议返回 HTTP 402 Payment Required，智能体直接向卖方付款。
这不仅仅是找回失去的收益。智能体本身就是客户：无论请求是一次完整购买还是更大任务中的一个步骤，它们都会为所使用的数据、API 和工具付费。
Monetization Gateway 按请求、按查询或按 token 计费，支持固定价格或上限价格。一个依靠广告运营的体育数据网站，可以在每次智能体询问「谁在助攻榜领先？」时收取极小额的费用。我们宣布 Monetization Gateway 时，数千名卖家加入了候补名单，最常见的需求是「向智能体收费，而非人类」。我们也是自己的第一个客户——Cloudflare 的 AI Gateway 使用 Monetization Gateway，让智能体为推理付费，这样我们就能在客户之前发现问题所在。
对买家而言，两款产品都优于拦截页面：提供可靠访问，以及一次性触达数百万网站的方式，而不是逐一签订授权许可协议或申请API密钥。每次付费请求都留有收据，表明购买了什么以及已完成付款。
Pay Per Use 和 Monetization Gateway 都是押注，与客户共同构建于共同的基础元素之上：身份、计量、定价、结算和分析。它们协同工作，让出版商能够从一个控制台禁止训练、允许搜索、从 AI 回答中获利，并按文章向智能体收费。定价和可发现性尚未解决，因此两者均以测试版形式推出，由真实客户和真实交易塑造。
降低每次请求的成本
付款是应对收益下滑的答案。成本上升是另一个问题，而其中很大一部分纯属浪费。大多数爬虫仍在一遍遍地下载为人类构建的页面，只为提取几段文字。机器人频繁爬取自上次访问以来毫无变化的网站。这在任何答案尚未生成之前，就已为网站消耗了带宽、为爬虫消耗了算力。我们正与客户和爬虫合作开发相关工具。如今，您可以在我们的控制台中查看每个运营商的带宽消耗。
7月，我们宣布了与 OpenAI 的联合研究项目——这是一项开创性的试点，旨在探索Cloudflare全球网络的洞察如何帮助AI搜索引擎更高效、更有效地发现和索引开放网络上的相关内容。我们计划在未来几周内分享初步结果。
我们正在为客户推出工具和一键式体验，帮助其网站针对这种新型流量进行优化。Markdown for Agents 让智能体无需处理为人眼设计的额外样式即可读取页面，WebMCP 让网站直接公开操作，而不是让智能体猜测该按哪个按钮。
为何选择在 Cloudflare 上构建
超过 20% 的互联网流量经由 Cloudflare 网络传输，近 80% 的主要 AI 公司也不例外。我们能看到这个市场的两面。我们构建了可见性、身份、管控和结算的基础设施，让市场决定事物的价值。
旧的合约已经终结，新的合约仍在书写之中。我们可以共同塑造接下来将发生的事情。
在一种版本中，少数公司掌控着智能体如何寻找信息、如何证明身份并完成支付，其他所有人都须经由它们路由。在另一种版本中，这些要素是任何人都可以实现的开放标准，任何规模的网站都能设定自己的条款并获得报酬。我们更倾向于后者。
这就是为什么这些基础设施运行在 x402 和 Web Bot Auth 等开放标准之上，以便任何人都能在此基础上构建。域名所有者可以自主选择身份提供商、支付处理商和智能体合作伙伴。Cloudflare 是其中一个选择，而非整个技术栈。
几十年来，互联网由访问它的人们来买单。如今，代表他们访问的软件也可以支付属于自己的那份费用了。
