內容獨立日一週年:為自主式網際網路建構商業模式

一年前,我們宣布了內容獨立日。當時,我們已經看見許多業界人士開始隱約感受到的趨勢:網際網路的基本經濟結構正在轉變。AI 的採用速度加快,發佈者面臨的引薦流量急遽下滑,而 AI 公司正以前所未有的規模爬取網路內容,往往未明確表明意圖,且幾乎從未提供補償。
我們變更了預設值。針對所有在 Cloudflare 上新註冊的網域,AI 訓練爬蟲將預設遭到封鎖,除非網域擁有者主動選擇放行。我們這麼做,並非要築起高牆將網路封閉,而是因為我們相信,一個更健康的生態系統需要透明度、自主控制權、稀缺性,以及最終能讓高品質內容獲得合理評價與公平交易的市場。
一年過去,這樣的市場已然成形。然而,網際網路的轉換速度甚至比我們預期的還要快。在本報告中,我們將分享關鍵數據,說明網際網路商業模式如何迅速翻轉,以及這個全新的內容市場對發佈者與網站經營者意味著什麼。
第一部分:網際網路的變化速度超出預期
垂直的採用曲線
AI 不僅僅是另一個科技週期,它是一場平台轉移,發生的速度是智慧型手機採用速度的兩倍以上。短短三年半內,超過 30% 的人類(也就是 25 億名活躍使用者)已養成定期使用生成式 AI 的習慣。這條採用曲線不只是陡峭,它幾乎是垂直上升。

開放網路的衰退
人類與資訊互動、執行工作及在線上消磨時間的方式,從未有過如此劇烈的轉變。

人們使用網際網路的方式正發生巨變。如今,每花一小時在線上搜尋資訊,其中只有 15 分鐘是停留在開放網路上。隨著使用者轉向由 AI 驅動的發掘與消費模式,傳統的搜尋行為正快速崩解。使用者不再透過造訪多個網站來蒐集與比對資訊,而是直接輸入提示詞,隨即就能獲得近乎即時、整合完備的答案。
自主式網際網路已經到來
今年,智慧體流量首次跨越了歷史性的門檻:網際網路上超過 50% 的流量現在來自非人類。這項轉變對發佈者、內容擁有者以及開放網路的未來,都帶來了驚人的影響。

爬蟲的用途已經改變
觀察 Cloudflare 按用途分類識別出的爬蟲,其流量組成清晰地揭示了這一變化:
- 截至 2026 年 6 月,52% 的爬蟲請求用於 AI 訓練,而這一比例在 2025 年春季僅為 22%。
- 混合用途爬蟲(即兼具搜尋、智慧體應用和訓練功能的爬蟲)佔所有爬蟲活動的 36% 以上。
- 純搜尋引擎爬取雖對發佈者曝光度仍至關重要,但在整體爬蟲活動中的佔比已變得很小且呈下降趨勢。

隨著 AI 訓練成為爬蟲活動的主要驅動力,區分「發現」與「訓練」的能力變得越來越重要。混合用途爬蟲模糊了這種區別,讓內容擁有者陷入兩難:是在「智慧體時代」繼續保持被發現的機會,還是在沒有任何補償的情況下拱手讓出其最有價值的內容。
舊的商業模式已經消失
數十年來,開放網路的經濟模型很直觀:內容創作者提供內容存取權限,以換取在搜尋引擎中的曝光度及由此帶來的引薦流量。這種流量是發布者、創作者和企業創造經濟價值的主要途徑。
然而如今,這種交換機制正在瓦解。內容依在被抓取、索引和使用,但往往無法將相應的流量回饋給來源。隨著 AI 系統直接回答問題、比較產品、進行研究並完成任務,開放網路上的各類資訊正日益成為 AI 訓練和擷取系統的一部分。由此引發了一個關乎生存的根本問題:若內容被消費卻從未有人造訪原始網站,內容創作者該如何維持生計?

這些影響不分產業
最早感受到衝擊的產業是新聞機構和媒體公司。如今,類似的動態也正在影響零售、軟體、IT 和金融等產業。在一些被爬蟲頻繁抓取的類別中,來自人類使用者的流量在不到一年的時間內下降了多達 40%。

許多內容發佈者正著手應對所謂的「Google Zero」時代——即幾乎不再有流量源自搜尋引流的局面。
這些影響實際上波及每一個產業。任何在網際網路上發布專有資訊的組織,都需要瞭解如何在智慧體時代中運作。這種動態不僅對內容擁有者至關重要,對我們所有人也是如此。網際網路是全球經濟的關鍵組成部分,也是世界上最重要的公共資訊資源之一。確保網際網路保持健康且可持續發展,對所有人來說都是必要的。
第二部分:市場已然成形
我們構建了什麼
在啟動「內容獨立日」時,我們做出了三項承諾:
- 為網站擁有者提供透明度和控制權,使他們能夠定義自己的內容如何被取用和變現。
- 打造創造稀缺性的工具,將權力平衡重新移轉回內容擁有者手中。
- 建立一個市場機制,讓各種規模的內容創作者與 AI 公司能更有效率地發掘、授權並決定內容的價值。
一年過去,一個針對付費內容的市場已然出現,而一個動態市集的條件也正在形成。
透明度和控制權創造了稀缺性
過去,發布者對於 AI 公司如何存取和使用他們的內容,掌握的可見度很有限。隨著推薦流量下滑,這種缺乏可見度的情況變成了一個經濟問題,促使發布者尋求新的方式來獲取價值。
Cloudflare 的歸因分析、商業智慧與執行工具,讓出版者得以在網路層級掌握 AI 使用內容的情況——這是一種遠比 robots.txt 等自願性標準更有效的執行機制。有史以來第一次,發佈者能夠決定其內容如何被存取與變現。這份控制權創造了稀缺性,並推動了基於供需關係的內容經濟發展。
稀缺性轉化為談判籌碼
成功管控存取權限的發佈者有效地製造了稀缺性,這賦予了他們談判籌碼,進而促成更有利的交易。發佈者首次取得了營運商層級的歸因數據——具體證據包括:大型語言模型 (LLM) 嘗試存取其內容的頻率、哪些競爭對手的 LLM 正在爬取資料、哪些 URL 需求最高,以及爬取量與推薦流量的比例為何。這大幅降低了授權談判中的資訊不對稱,使發佈者能夠在有充分資訊的情況下進行談判。
籌碼正在改變權力平衡
這份籌碼強化了客戶的實力。隨著他們對 AI 系統如何取用和使用其內容獲得更高的可見度,他們也更能理解這對其業務的影響,並且更有自信地闡述自己所建立的資訊、品牌和受眾的價值。
隨著內容擁有者與 AI 公司之間的權力平衡開始轉變,一個授權經濟正在興起:
- 自 2023 年以來,已簽署了超過 50 項發佈者與 AI 公司之間的合作協議。
- 大型 AI 公司正在積極授權內容,越來越認識到差異化和高品質內容的價值。
- 集體授權模式持續出現並擴大規模。
- 大型發佈者正在獲得有意義的授權協議,證明內容在 AI 生態系統中確實具有實際的經濟價值。
對話的重點不再是「內容是否應該獲得補償」,現在的問題是「該如何補償」。
市場日趨成熟,但效率瓶頸猶存
早期的授權協議證明了需求確實存在,但目前的授權模式多半仍屬客製化,不太可能完全彌補發佈者在推薦、廣告和聯盟收益上的損失。因此,發佈者正日益在兼顧傳統人類發現機制的同時,針對 AI 消費進行最佳化,並探索新的變現途徑。
供需雙方仍然難以有效媒合,而且雖然大家都理解並非所有內容都有相同的價值,但關於內容估值的具體標準尚未達成共識。
Google 的整合問題
談論這個市場,就不能不提 Google 所扮演的獨特角色。Google 仍然是線上發現內容的主導入口,佔了約 88% 的推薦流量。但 Google 正日益幫助使用者在 Google 自家的 AI 體驗中直接消費內容。

「發現」與「消費」有著根本上的不同目的。搜尋將使用者引導至內容,而 AI 驅動的體驗則日益將內容彙總並重新利用,無需使用者造訪來源網站。網站擁有者對這兩種活動的看法也不同,因為前者產生流量,而後者則越來越多地替代流量。
當網站擁有者決定誰能以何種目的存取其內容時,這些差異便顯得尤為關鍵。多數主流 AI 公司會將發現用爬蟲和訓練用爬蟲分開,這讓發佈者可以相對簡單地為其中一種目的啟用內容存取,而 Google 則沒有這麼做。如今,Google 能存取的資訊量約是主流 AI 公司的 2 倍,因為 Google 使用的是混合用途機器人,導致客戶若想參與 Google 的搜尋生態系統,就不得不同時參與 Google 的 AI 生態系統。
與其他 AI 提供者不同,Google 的混合用途爬蟲也限制了網站擁有者的透明度。因為發現和 AI 存取被合併到單一爬蟲中,發佈者無法判斷 Google 為何存取他們的內容,也無法區分用於搜尋的流量和用於 AI 體驗的流量。他們更失去了在網路層級獨立允許或封鎖這些活動所能獲得的可見度與證據。
這種情況加速了對更高透明度和控制權的需求,以及對新型變現模式的需求,以便更好地服務各種規模的內容擁有者和 AI 公司。
第三部分:生態系統的獨特視角
Cloudflare 位於新興智慧體經濟的交匯點。
超過 20% 的網路位於 Cloudflare 的網路之後。在全球造訪量最高的網站中,36% 依賴我們的網路,而《財星》500 大企業中,有超過 40% 是 Cloudflare 的客戶。近 80% 的主流 AI 公司使用 Cloudflare,此外還有數以千計的開發人員和新興 AI 公司。
這個獨特的位置使我們能夠看見市場的供需雙方。我們看到內容擁有者創作內容,AI 公司消費內容,以及兩者之間日益增多的連結訊號。這種視角讓我們對過去一年市場的演變及其當前的需求有了獨特的見解。
第四部分:新興市場的啟示
隨著發佈者和 AI 公司適應新的智慧體經濟,Cloudflare 對生態系統現在需要什麼有了更清晰的認識。
透明度必須成為標準
內容擁有者日益需要可見度和控制權,以瞭解誰在存取他們的內容、內容如何被使用,以及用途為何。AI 公司也日益認識到,透明度能建立信任並減少與發佈者之間的摩擦。可見度和執行機制不再僅是安全問題——它們已成為直接影響授權協商和商業決策的業務要求。
為了協助將透明度確立為標準,Cloudflare 持續投資於增強的歸因分析、衡量指標和發佈者控制工具,讓內容擁有者對其內容被存取和使用的方式有更高的可見度與控制力。
隨著產業朝向更高透明度發展,我們認為可驗證的機器人自我識別和爬取意圖宣告,是永續生態系統的根本。如今,我們網路上超過三分之一的爬蟲活動仍然來自混合用途機器人,使得內容擁有者無法區分爬取意圖。我們正積極與生態系統各方互動,並投資於相關工具,力求在明年此時將此比例降至零。
更好的 AI 需要更好的訊號
過去一年來,越來越明顯的是,AI 公司需要的不僅是內容的存取權。他們需要更好的方式來判斷要存取什麼、何時存取,以及內容變更的頻率。不加區別地爬取不僅浪費 AI 公司的運算資源,也為發佈者帶來不必要的頻寬負擔,降低了整個生態系統的效率。
我們相信,更好的答案需要更智慧的資訊。我們正在投資於即時的新鮮度訊號,結合更豐富的可信度、品質和關聯性指標,以協助 AI 公司發掘有差異化的資訊,同時減少網路上不必要的爬取活動。
市場需先完善「發現」,方能談「定價」
我們深信,完善的定價機制必須以高效的發現機制為前提。為了讓市場成熟,發佈者與 AI 公司需要更深入瞭解彼此。我們正投資更豐富的市場情報、內容訊號與相關功能,以提升生態系統雙方的發現效率,為未來更具規模的市場機制奠定基礎。
第五部分:為自主式網際網路建立基礎架構
一年前,「內容獨立日」提出了一個簡單的想法:內容擁有者應該對 AI 公司如何存取和使用他們的資訊擁有更大的控制權。
在過去的十二個月中,這種控制權協助催生了一個市場。透明度創造了稀缺性,稀缺性轉化為談判籌碼,而籌碼則加速了授權進程。曾經只是關於 AI 與內容未來走向的理論性討論,如今已經變成一個活躍的市場,發佈者、AI 公司和技術提供者都在適應新的經濟現實。
這個市場現在正進入一個需要新基礎架構的新階段。隨著網際網路變得越來越自主化,支撐網際網路的底層系統也必須演進,以因應大規模的權限管理、授權和商業交易。內容擁有者和 AI 公司需要更有效率的方式來連接和交換價值。我們相信,這些功能將會匯聚成可程式化、可擴展的內容探索與變現機制——在減少摩擦的同時,釋放出更豐富的價值交換形式。
Cloudflare 的角色是建立基礎架構和業務情報,並為相關標準做出貢獻,讓市場能夠更有效率地決定價值,並幫助發佈者和 AI 公司參與一個更健康、更有活力的內容經濟體系。
網際網路始終在不斷演變。這次的演變比大多數人預期的更快、影響更深遠。但有了正確的基礎架構、正確的激勵機制,以及對透明度的承諾,我們相信自主式網際網路可以變得更永續、更有效率,對所有人更有利。
研究方法論:
本報告數據彙整自 Cloudflare Radar 與 Cloudflare 2026 年投資者日簡報。
Cloudflare Radar 是一個展示全球網際網路流量、攻擊以及技術趨勢和深入解析的中心。Radar 由 Cloudflare 全球網路中的資料提供支援,旨在幫助任何人從安全性、效能和使用的角度瞭解網際網路上正在發生的事情。
Cloudflare 對網際網路的獨特理解來自於它的全球網路(它是世界上規模最大的網路之一,覆蓋了 100 多個國家/地區的 330 多座城市),以及來自 Cloudflare 1.1.1.1 公用 DNS 解析程式(作為一種快速且私密地瀏覽網際網路的方式被廣泛使用)的彙整和匿名資料。超過 20% 的網路位於 Cloudflare 網路的後方。