我們很高興宣布，Galileo 專案現在將包括 Cloudflare 的 Bot Management 和 AI Crawl Control 服務。參與該計畫的成員（包括全球約 750 名記者、獨立新聞機構及其他支援新聞採集的非營利組織）現在將能夠免費保護其網站免受 AI 網路爬蟲的侵擾。
Galileo 專案是 Cloudflare 的免費計畫，旨在保護線上重要的公民聲音。該計畫於 2014 年推出，現在有 125 個國家/地區的 3,000 多個組織參與，並成為其他協助保護民主選舉、公立學校、公共衛生診所和其他關鍵基礎架構的 Cloudflare 免費計畫的基礎。
雖然我們認為所有 Galileo 專案的參與者都將受益於這些額外的免費服務，但我們認為，這些服務對新聞機構來說亦不可或缺。
新聞機構，尤其是地方新聞機構，在過渡到 AI 驅動型網路方面正面臨著重大挑戰。隨著人們越來越多地轉向 AI 模型來獲取資訊，存取原始資訊來源網站的流量也隨之減少。依賴使用者流量來創造收入的產業，例如新聞機構，面臨的風險也越來越大。
允許新聞機構監視和控制 AI 網路爬蟲與其網站互動的方式，將協助他們更好地保護自己的內容，並在與 AI 公司合作時做出更明智的決策。最終，我們的目標是為新聞機構提供的工具，以便他們能夠為其工作爭取公平的報酬。
AI 從根本上改變了網際網路上流量的流動方式。Cloudflare 最近發布的資料表明，使用 Open AI 後，網站擁有者獲得同等流量的難度比以前的 Google 搜尋高 750 倍。對於 Anthropic，難度增加了 30,000 倍。
新聞機構不僅依賴流量來與讀者建立聯繫，還從訂閱、廣告、電子商務和授權中獲得營收。英國金融時報的執行長最近表示，AI 導致其透過搜尋引擎到達文章的流量「相當突然並持續」下降 25% 到 30%。」
使用者流量和營收的潛在損失正值新聞產業本已岌岌可危的時期。有充分證據顯示，小型獨立報紙和新聞廣播電台持續面臨重大財務壓力，尤其是在美國。根據美國國會最近的證詞，2024 年每週有兩種以上的報紙在 2025 年年初之前關停。Northwestern Local News Initiative 在 2024 年的報告中指出，超過 206 個美國縣沒有任何當地新聞來源，而 1,561 個縣只有一個。
為美國公共新聞電視台提供贈款、節目和其他支援的 Public Broadcasting Corporation 和 National Public Radio 近期遭到削減，但這些組織承受了進一步的壓力，預計還會有更多關停。
為了協助記者和新聞機構適應 AI 驅動的網路，重要第一步是提供各種工具，以協助他們監控和控制 AI 模型對其內容的存取。
「在這個由 AI 和數位顛覆定義的時代，為獨立媒體提供強大的工具不僅是支援，更是生命線」- Internews Europe 執行長 Meera
「獨立出版商需要易於使用且價格實惠的工具，這樣他們就能專注於發展業務。LION 對 Cloudflare 多年來透過 Galileo 專案為會員提供的安全性與保護表示讚賞，我們很高興看到現在有更多資源可用於協助會員管理快速發展的數位安全領域。」 - LION 會員總監 Sarah Gustavus Lim
Cloudflare Bot Management 和 AI Crawl Control 正是為此目的而設計。機器人管理是一種安全性工具，使用機器學習分析網路流量，以區分善意機器人（如搜尋引擎網路爬蟲）和攻擊網站或竊取憑證的惡意機器人。該服務允許網站擁有者封鎖惡意機器人進入其網站，同時確保有用的機器人可以繼續執行其工作。
AI Crawl Control 提供類似的工具來識別和管理 AI 網路爬蟲。Cloudflare 利用多種技術來識別和分類網路爬蟲（HTTP 標頭、啟發式方法和其他行為），讓網站擁有者能夠按類型分析其活動（例如，AI 搜尋、AI 抓取程式），其來源（Google、OpenAI、Anthorpic 等）及其正在存取的內容。以下是 Cloudflare AI Crawl Control 工具可提供的資料類型（使用 radar.cloudflare.com 網域）作為範例：
Cloudflare 將這些洞察與易於使用的控制相結合，讓網站擁有者能夠做出明智的決策，是否提供其資料，包括僅向特定類型的機器人或個別 AI 公司提供。例如，這將允許當地報紙決定封鎖所有 AI 網路爬蟲，並透過自己的網站保持與讀者的直接連線，僅封鎖 AI 剽竊者，同時允許推薦流量的 AI 搜尋網路爬蟲，或協商並出售其內容的獨家存取權給單一 AI 公司。下圖顯示 AI Crawl Control 如何讓使用者依據每個網路爬蟲允許或封鎖存取：
我們認為，能夠控制和監控 AI 網路爬蟲活動，將為希望保護其內容並瞭解模型如何使用其資料的新聞機構提供即時協助。
此外，我們還認為這將提供長期的深入解析，讓新聞機構能夠隨著時間的推移，與 AI 公司協商互利的關係。
「獨立媒體能否透過收集新聞和發布可信的資訊來履行其民主功能，取決於其營收是否能不受政治或商業影響。」透過監控和從出版商網站的爬行中獲利，媒體可保護其智慧財產權，同時開發新的收入來源以支援其高品質新聞。」- International Press Institute 創新與媒體商業方案主管 Ryan Powell
新聞業是自由社會和民主治理基礎的一部分。它有助於監督權力機構的行為，並為弱勢群體和被邊緣化群體發聲。此外還能保護自由開放的市場環境，讓新創公司能夠挑戰強大的老牌企業。
地方新聞尤其有助於增強人們的共同認同感。地方新聞不僅涵蓋社區活動、高中體育賽事、農貿市場和新興企業，還對地方官員、學校董事會、公共安全事件和選舉等事務進行必要的監督和資訊公開。
協助保護記者和新聞機構的線上安全性，始終是 Cloudflare 使命的一部分。我們認為，這對我們的業務和網際網路的未來至關重要。
如果您有興趣瞭解更多有關 Galileo 專案的資訊，請立即註冊。如果您有興趣協助建置更出色的網際網路，請加入我們。