網際網路擁有第二類受眾
在網際網路的大部分歷史中，只有一類受眾負責支付費用：人類。我們閱讀文章、瀏覽廣告、購買訂閱。機器人一直存在，但它們大多是大規模的自動化操作，既不瀏覽廣告，也不為任何內容付費，也不以任何有意義的方式閱讀內容。
這種狀況正在迅速改變。2024 年底，Cloudflare 平均每秒處理 6300 萬次 HTTP 請求。如今，這一數字幾乎翻倍至 1.15 億次，峰值超過 1.5 億次。過去一年，我們網路上 AI 智慧體的每日請求量成長了逾 1,700%。今年，歷史上首次，超過半數的網際網路流量不再來自人類。
人類網路並未萎縮來為此讓路。第二類受眾隨之而來：智慧體——代表人類行動的軟體。它們介於人類與傳統機器人之間。它們不回應廣告，但背後通常有一個需要完成任務的人。對於學會服務智慧體並從中汲取價值的企業而言，智慧體是附加價值性的；而對於尚未學會的企業，智慧體則是單方消耗性的。
我們客戶所需要的沒有改變：被發現、講述精彩故事、打造優質體驗和實現銷售。改變的是，您的訪客中已有超過一半是軟體。我們的使命是協助您同時服務這兩類受眾。
流量增加，收益減少
三十年來，網路遵循著同一套邏輯運作：您讓搜尋引擎爬取您的網站，搜尋引擎為您帶來訪客，而您再將這些訪客轉化為商業價值。被找到和獲得收益是同一件事。
AI 打破了這個微妙的平衡。如今，答案引擎讀取頁面並向使用者提供摘要。這消耗了網站的頻寬，卻並未將人類引導至產生廣告收益或付費行為的網站。機器人持續湧入，而為網際網路買單的受眾卻再也無法到達那些網站。零售、電腦軟體、IT 和服務以及金融服務等被爬取最頻繁的類別，在不到一年的時間裡，人類流量下降了多達 40%。
結果是，每次請求的收益不斷下降，而成本卻在上升。每個自動化請求仍然消耗頻寬、算力和源站容量，而這些請求中越來越多的比例既沒有引流，也沒有廣告曝光，更沒有帶來訂閱。我們最初的反應是封鎖所有自動化流量。去年，我們建議在新網域上封鎖AI訓練爬蟲，讓網站擁有者至少能對其內容被用於建構模型說「不」。2025 年春，我們觀察到的爬蟲請求中 22% 用於AI訓練（根據爬蟲聲明的目的）。到 2026 年 6 月，這一比例升至 52%。問題在於，一概而論的「不」並不足夠精細，無法應對當前正在形成的網際網路經濟。
迎合智慧體的機會就在眼前。做對了，您將站在新商業模式的前沿；做錯了，結果將與歷代曾站在搜尋引擎演算法變化錯誤一側的網站相同。
部分流量來自客戶
一個為研究人員預訂餐廳、比較保險報價或購買資料集的智慧體，就是一個客戶——只不過不是人類客戶。
自動化流量中成長最快的部分已不再是爬蟲，而是智慧體：代表個人獲取頁面的軟體，通常是因為使用者向聊天機器人提出了問題。智慧體流量遵循人類的規律，呈現出每週的節奏，並在暑假期間有所下降。拒絕智慧體，可能意味著拒絕了派遣它的那個人。
智慧體的行為方式也與訓練爬蟲不同。訓練爬蟲收集您的頁面來建構模型；智慧體則會在有人詢問相關內容時反覆返回，因此這類流量隨著人們提問的頻率成長，而非隨發布量成長。
您無法與一類看不見、無法區分、無法設定條款、也無法收費的受眾做生意。直到最近，對於網際網路上大多數非人類流量，這四件事中沒有任何一件是可能的。
了解真正的訪客是誰
「AI 機器人」這個說法已不再有實質意義。重要的是機器人做了什麼。Cloudflare 的 AI Crawl Control、Business Insights 和 BotBase 向網站擁有者呈現誰在爬取、取走了什麼、帶來了什麼，以及哪些 URL 最受關注。
機器人的名字只有在可信的情況下才有意義。借助 Web Bot Auth，包括 OpenAI、Google 和 AWS 在內的營運商對其智慧體請求進行加密簽章，讓網站無需透過 IP 位址或使用者智慧體字串猜測，即可辨別真正的智慧體與仿冒者。我們每週看到超過5000億次經過驗證的機器人請求。
設定您的條款
7 月，我們將單一的「封鎖AI機器人」開關替換為獨立的搜尋、智慧體和訓練控制，適用於包括免費版在內的所有方案。資料表明為何需要這種區分：Cloudflare 上不足 1% 的網站封鎖搜尋爬蟲，而 17% 的網站封鎖訓練。網站擁有者從來沒有試圖隱藏。但隨著智慧體流量的興起以及智慧體使用資訊的新方式，他們突然對內容的使用方式既沒有透明度，也沒有選擇權。被找到不再意味著能獲得收益，他們希望在不被剝削的前提下被發現。
在混合用途爬蟲的情況下，這尤為棘手。當一個機器人同時執行搜尋和訓練任務時，拒絕其中一項就意味著拒絕另一項。9月15日，我們推出了 Disallow AI Training。它讓您保持搜尋索引，同時利用爬蟲專屬機制指示營運商不得將您的資料用於訓練。Apple、Google 和 Microsoft 均已承諾遵守該要求。Cloudflare Radar 也公開追蹤爬蟲行為。
新網域現在會根據網站的盈利方式而非訪客軟體的類型，獲得推薦設定。對於依賴廣告的網站，您可以輕鬆禁止訓練，並在承載廣告的頁面上封鎖智慧體——因為廣告只有在真人看到時才會產生收益。您可以隨時變更這些設定。
獲取收益
2026 年 8 月，我們將正在建構的智慧體網際網路描述為：可讀、可發現、可呼叫、可支付。最後一個詞「可支付」決定了開放網路能否自給自足。網際網路需要一種方式說「可以，但需要付費」，而不是非此即彼的「可以」或「不可以」。
授權許可市場既揭示了巨大的需求，也揭示了差距所在。自 2023 年以來，已有逾 50 份發佈者與 AI 之間的協議簽訂。幾乎所有協議都是客製化的雙邊協議，發生在大型發佈者與大型 AI 公司之間。它們證明內容具有價值。但它們並未覆蓋大多數網路，也未觸及大多數買家。
並非所有資產都應以同一方式出售。高價值內容和資料集需要一個可信賴的網路，買家在其中被識別，並報告作品的使用方式。API 和 MCP 工具等服務不以此方式運作：每次請求即為一次使用。
因此，我們正在為兩者同時建構。
Pay Per Use 觸達了直接授權許可無法到達的網站。大多數發佈者永遠不會與每家 AI 公司達成客製化協議，而任何 AI 公司都無法與數百萬個網站逐一談判。Pay Per Use 是這座橋樑。它不對爬取收費，而在內容被實際使用時付款。每位買家都是經過驗證的爬蟲——這正是其成為可信賴網路的原因——每位買家自行定義何為使用以及願意支付的金額。
發佈者看到報價後，可選擇是否加入，並可在不再適合時隨時退出。買家報告每次使用，Cloudflare 核實這些報告，隨後向買家收費並向發佈者付款。報告與付款同等重要。發佈者可以看到哪些內容被使用、何時使用、賺取了多少，以及在買家報告時，哪些問題觸發了對其作品的引用。授權許可協議幾乎從不提供這些資訊。這形成了一個反饋迴圈：發佈者了解到人們真正在問什麼，並據此決定報道什麼、更新什麼，以及向智慧體開放哪些內容。
使用的定義不會只有一種。引用來源的搜尋引擎、引用段落的研究智慧體和完成購買的購物智慧體，各自創造了不同類型的價值，且每種類型都需要自己的商業模式。買家可透過同一套基礎設施參與多種商業模式，無需發佈者進行新的技術整合。以一本面向海洋工程師、擁有數千訂閱用戶且幾乎不可能獲得 AI 授權許可協議的專業刊物為例——它將從每一家使用其內容的參與 AI 公司處獲得付款。
Monetization Gateway 捕獲了此前從未有途徑實現價值轉移的場景。帳戶、API 金鑰和訂閱適用於您已知的客戶，而非一個從未使用過某服務、只需一次查詢的智慧體。我們的封閉測試版允許符合條件的美國 Cloudflare 客戶，使用他們已熟悉的規則語言，為經過我們的任何內容定價。當規則相符時，我們使用開放的 x402 協議返回 HTTP 402 Payment Required，智慧體直接向賣方付款。
這不僅僅是找回失去的收益。智慧體本身就是客戶：無論請求是一次完整購買還是更大任務中的一個步驟，它們都會為所使用的資料、API 和工具付費。
Monetization Gateway 按請求、按查詢或按 token 計費，支援固定價格或上限價格。一個依靠廣告營運的體育資料網站，可以在每次智慧體詢問「誰在助攻榜領先？」時收取極小額的費用。我們宣布 Monetization Gateway 時，數千名賣家加入了候補名單，最常見的需求是「向智慧體收費，而非人類」。我們也是自己的第一個客戶——Cloudflare 的 AI Gateway 使用 Monetization Gateway，讓智慧體為推理付費，這樣我們就能在客戶之前發現問題所在。
對買家而言，兩款產品都優於封鎖頁面：提供可靠存取，以及一次性觸達數百萬網站的方式，而不是逐一簽訂授權許可協議或申請 API 金鑰。每次付費請求都留有收據，表明購買了什麼以及已完成付款。
Pay Per Use 和 Monetization Gateway 都是基於身分驗證、計量、定價、結算和分析等通用基礎功能建構的創新嘗試，旨在與客戶共同打磨產品。它們協同運作，讓發佈者能夠從一個儀表板禁止訓練、允許搜尋、從 AI 回答中獲利，並按文章向智慧體收費。定價和可發現性尚未解決，因此兩者均以測試版形式推出，由真實客戶和真實交易塑造。
降低每次請求的成本
付款是應對收益下滑的答案。成本上升是另一個問題，而其中很大一部分純屬浪費。大多數爬蟲仍在一遍遍地下載為人類建構的頁面，只為提取幾段文字。機器人頻繁爬取自上次存取以來毫無變化的網站。這在任何答案尚未生成之前，就已為網站消耗了頻寬、為爬蟲消耗了算力。我們正與客戶和爬蟲合作開發相關工具。如今，您可以在我們的儀表板中查看每個營運商的頻寬消耗。
7 月，我們宣布了與 OpenAI 的聯合研究項目——這是一項開創性的試點，旨在探索 Cloudflare 全球網路的洞察如何協助AI搜尋引擎更高效、更有效地發現和索引開放網路上的相關內容。我們計劃在未來幾週內分享初步結果。
我們正在為客戶推出工具和一鍵式體驗，協助其網站針對這種新型流量進行最佳化。Markdown for Agents 讓智慧體無需處理為人眼設計的額外樣式即可讀取頁面，WebMCP 讓網站直接公開操作，而不是讓智慧體猜測該按哪個按鈕。
為何選擇在 Cloudflare 上建構
超過20%的網際網路流量經由 Cloudflare 網路，近 80% 的主要AI公司也是如此。我們能看到這個市場的兩面。我們建構了可見性、身分、管控和結算的基礎設施，讓市場決定事物的價值。
舊的合約已經終結，新的合約仍在書寫之中。我們可以共同塑造接下來將發生的事情。
在一種版本中，少數公司掌控著智慧體如何尋找資訊、如何證明身分並完成支付，其他所有人都須經由它們路由。在另一種版本中，這些要素是任何人都可以實現的開放標準，任何規模的網站都能設定自己的條款並獲得報酬。我們更傾向於後者。
這就是為什麼這些基礎設施運行在 x402 和 Web Bot Auth 等開放標準之上，以便任何人都能在此基礎上構建。網域擁有者可以自主選擇身分識別提供者、支付處理商和智慧體合作夥伴。Cloudflare 是其中一個選擇，而非整個技術堆疊。
幾十年來，網際網路由存取它的人們來買單。如今，代表他們存取的軟體也可以支付屬於自己的那份費用了。
