在 2024 年生日週期間，我們在 Cloudflare Radar 上推出了 AI 機器人和網路爬蟲流量圖，讓您瞭解哪些機器人和網路爬蟲最具攻擊性、要求最多、哪些機器人和網路爬蟲會定期進行爬取等等。今天，我們在 Cloudflare Radar 上推出了一個新的專用「AI 深入解析」頁面，該頁面整合了此圖表並在其基礎上新增了其他指標，您可以使用這些指標從多個角度瞭解與 AI 相關的趨勢。除了流量趨勢之外，新板塊還包括基於 1.1.1.1 DNS 解析程式流量的公開可用生成式 AI 服務的相對熱門程度、使用 robots.txt 指令來限制 AI 機器人內容存取權限的情況以及 Cloudflare Workers AI 所見的開放原始碼模型使用情況。
下面，我們將更詳細地介紹新推出「AI 深入解析」頁面的每個部分。
追蹤 AI 機器人的流量趨勢可以幫助我們更好地瞭解它們隨時間變化的活動。AI 機器人和網路爬蟲流量圖表最初於 2024 年 9 月在 Radar 的「流量」頁面上推出，現已移至「AI 深入解析」頁面，並可查看選定時間段內全球最活躍的五個 AI 機器人和網路爬蟲的流量趨勢。此處追蹤的相關使用者代理清單基於 ai.robots.txt 清單，並將在識別出新項目後進行更新。該圖表的時間序列和摘要資料可透過 Radar API 獲取，同時可以在 Data Explorer 中檢視我們觀察其流量的全部 AI 機器人和網路爬蟲的流量趨勢。
在過去幾年中，Cloudflare Radar 年度回顧分析了來自我們 1.1.1.1 DNS 解析程式的要求流量資料，以呈現最受歡迎的網際網路服務排名（包括綜合排名以及多個類別的排名）。在 2023 年和 2024 年，此部分均包括對公開可用的生成式 AI 服務的排名，其中 ChatGPT 在這兩年均位居榜首。雖然同時發佈的部落格文章更詳細地介紹了一年來排名的變化情況，但也只是回顧過去而已。也就是說，它無法提供對正在發生之變化的可見性。新的生成式 AI 服務熱門程度圖表基於與這些服務關聯之網域的 DNS 要求流量每日彙總情況，顯示這些服務和平台的相對排名。可使用 serviceCategory=Generative%20AI 參數，透過 Radar API 取得底層時間序列資料。
下圖顯示，截至 2025 年 1 月底，排名前五的服務在前四週相當穩定，但排名第 6 至第 10 位的服務之間存在規律性的變動。我們預計排名將隨著時間的推移而不斷變化。DeepSeek 是一項生成式 AI 服務，於 1 月底席捲產業，1 月 26 日首次出現在第 9 名，僅僅三天后，1 月 29 日迅速上升至第 3 名。
內容提供者可以嘗試透過在 robots.txt 檔案中使用「允許」或「禁止」指令來控制對其整個網站或網站特定部分的存取。然而，存取控制是否成功取決於機器人是否遵守列出的指令。Cloudflare 推出 AI 稽核功能，讓您可以查看和控制 AI 機器人如何與您的網站進行互動。現在，您可透過 Cloudflare Radar 瞭解其他網站如何處理它們。
我們每週都會分析 Radar 的前 10,000 個網域，以確定哪些關聯網站發佈了 robots.txt 檔案，並彙總這些檔案中特定於 AI 的指令。現在，我們在新版 robots.txt 中發現的 AI 使用者代理程式圖表中（如下所示），提供有關這些熱門網站針對 AI 機器人所採取動作的深入解析。這些動作由指令指定，允許或禁止給定使用者代理程式（機器人識別碼）存取網站上的所有內容（完全允許/禁止）或某些部分（部分允許/禁止）。
此外，我們還按類別（例如電子商務或新聞和媒體）對這些網域進行分組，並突出顯示了這些類別中的網站在其指令中列出的特定機器人。例如，下面顯示的新聞和媒體網域類別圖表表明，這些類型的網站幾乎普遍完全禁止 AI 使用者代理程式存取其網站。
將指令變更為「允許」會顯示更少的一組使用者代理程式，而明確允許全部或部分存取的網站則更要大幅度減少。（請注意，如果 robots.txt 檔案中未列出某個使用者代理程式，且未指定萬用字元「*」使用者代理程式，則預設完全允許存取。）
除了顯示在「AI 深入解析」頁面之外，還可以透過 Radar API 和 Data Explorer 對底層資料進行進一步探索和分析。
AI 模型領域正在迅速發展，提供者定期發佈更強大的模型，能夠執行文字和影像產生、語音識別和影像分類等任務。Cloudflare 與 AI 模型提供者密切合作，以確保在其發佈模型後，Workers AI 可盡快為這些模型提供支援。在新的「AI 深入解析」頁面上，Radar 現在可以根據客戶帳戶份額，查看公開可用的受支援模型的熱門程度（Workers AI 模型熱門程度）以及這些模型執行的任務類型（Workers AI 任務熱門程度）。利用 Data Explorer，可以獲得詳盡的深入解析，包括模型和任務完整清單的份額趨勢和份額摘要，以及比較不同時段的模型和任務份額的能力。也可以透過 API 端點取得底層模型熱門程度和任務熱門程度。
AI 領域非常活躍，新的平台、服務和模型不斷湧現。在某些情況下，這些新進入者甚至有能力顛覆市場，因為人們對這些模型的興趣和使用量迅速成長。自 ChatGPT 發佈兩年多以來，內容提供者和 AI 平台之間在抓取內容進行模型訓練方面仍存在緊張關係。Cloudflare Radar 上的新「AI 深入解析」頁面提供了有關這一動態領域的及時趨勢和資訊，使產業觀察員和參與者能夠更好地瞭解其如何隨著時間的推移而變化和發展。
如果您在社群媒體上分享「AI 深入解析」圖表，請務必帶上我們的標籤：@CloudflareRadar (X)、noc.social/@cloudflareradar (Mastodon) 和 radar.cloudflare.com (Bluesky)。您也可以透過社群媒體或電子郵件聯絡我們，提出有關 AI 指標的建議，我們可以嘗試在未來將其新增到頁面中。