Data PlatformR2SQL生日週產品新聞開發人員

Cloudflare Basin：一個開放的無伺服器資料平台，現已正式上線

Marc Selwan和Micah Wylde

閱讀時間：10 分鐘

這篇文章亦提供 English、Deutsch、Español、Français、日本語、한국어、简体中文和Português.

在 2025 年生日週期間，我們宣布推出 Cloudflare Data Platform，這是一套用於擷取、儲存和查詢分析資料的產品組合。今天，我們宣布該平台正式上線，並為其賦予全新名稱：Cloudflare Basin。

Basin 是一個無伺服器資料分析平台，基於 Apache Iceberg（資料湖的開放標準）和 R2 Object Storage建構。Basin 產品家族包括：

  • Basin Pipelines（前身為 Cloudflare Pipelines），從 Workers、HTTP 或 Cloudflare Logpush 接收事件，透過 SQL 進行轉換，並將其寫入 Apache Iceberg 資料表或 R2 中的檔案。
  • Basin Catalog（前身為 R2 Data Catalog），管理 Iceberg 中繼資料，並自動維護資料表以保持高速與成本效益。
  • Basin SQL（前身為 R2 SQL），這是我們的無伺服器分散式 SQL 引擎，可直接在 Cloudflare 上查詢 Apache Iceberg 資料表。

Basin 為 Developer Platform 帶來了端對端的分析平台，讓您能夠從應用程式、基礎架構、裝置及其他 Cloudflare 服務等多種來源收集資料，再對其進行查詢以回答分析問題。

去年，我們著手建構這一資料平台，因為我們發現了兩項根本性的發展動態，正在改變現代資料應用程式的建構方式。首先，Apache Iceberg 已成為標準的開放資料表格式，使資料能夠在幾乎所有主流查詢引擎之間實現可攜。其次，我們開始看到開發人員將分析資料遷移至 R2，R2 無輸出費用的特性使得從不同工具、團隊、地區和雲端供應商實際存取資料變得實用且具成本效益。

因此，當我們以開放測試版推出 Basin 時，開發人員（包括 Cloudflare 內部的賬務和基礎架構團隊）立即開始將這些服務用於各種情境，包括使用即時資料最佳化電子商務網站、帳單指標的長期儲存與報告，以及擷取和查詢來自 Cloudflare 基礎架構的遙測資料，以衡量和提升利用率與效率。

「我們將整個公司的資料管道遷移至 Basin Pipelines、Catalog 和 SQL，以更簡潔的無伺服器架構取代了複雜的 AWS S3 和 Athena 方案，可靠地處理我們所有的事件資料。——Dax Raad，Anomaly 共同創辦人」

早期採用者讓我們深刻認識到在邊緣運行分析平台意味著什麼。過去一年，我們圍繞三個具體方向持續最佳化 Basin，這三個方向正是 Developer Platform 分析能力的獨特之處：速度、開放性和成本效益。

Basin 專為速度而生——無論是快速上手還是執行大型查詢。您可以在數秒內建立 Basin Catalog、設定 Pipeline 以擷取資料，並透過 Basin SQL 進行查詢。隨著越來越多的資料應用程式以提示詞到編碼智慧體的方式建構，這一點至關重要，否則這些應用程式將不得不等待並輪詢資源或資料。隨著資料集增長，Basin Catalog 會對中繼資料和資料檔案進行壓縮以減少 I/O，並產生用於查詢規劃的統計資訊。Basin SQL 利用這些統計資訊將查詢拆分為更小的任務，並將其分散至各 Workers，使查詢在資料集擴展時保持高速且穩定。

推動 Basin 發展和採用的一大核心力量，是我們持續看到的開放 Apache Iceberg 生態系統的蓬勃成長。開發人員正在圍繞一個激進的理念凝聚共識：您應該擁有並掌控自己的資料——將儲存層與運算層分離，讓您能夠為不同任務選擇合適的查詢引擎。使用 Basin，您可以透過任何相容 Iceberg 的引擎讀寫資料，包括 PyIceberg、DuckDB、Snowflake 和 Apache Spark。這種資料可攜性只有在免費輸出的前提下才得以實現，使開發人員能夠從生態系統中的各類工具存取 Cloudflare 中的資料，不受地區或雲端平台限制。

「Bobsled 是一個資料產品平台，全球最先進的資料團隊使用它來建構 AI 就緒資料並將其分發給合作夥伴、供應商和客戶，」Bobsled 平台負責人 Julien Grobbelaar 表示，「Basin 讓我們能夠建構可在每個主要資料和 AI 平台的任意地區存取的資料產品，同時具備生產級可靠性，並得益於零輸出費用而大幅降低成本。」

除免費輸出外，我們的無伺服器架構還能透過依用量計費為客戶帶來更多成本節省。僅當 Basin 擷取、處理或查詢您的資料時才會產生費用。開發人員能夠以極低甚至零成本為業餘愛好專案建構分析功能，而我們的定價方案也能經濟高效地滿足更大規模的企業級需求。無需擔憂按小時計費或額外的基礎架構成本。

如果您已準備好開始，請參閱 Basin 教學課程，獲取如何使用 Basin Pipelines 將事件傳送至由 Basin Catalog 管理的 Apache Iceberg 資料表並透過 Basin SQL 進行查詢的逐步指南。繼續閱讀以深入了解 Basin 及其未來規劃。

為何選擇 Basin？

我們去年推出了這些產品，當時統稱為「Cloudflare Data Platform」；在投入使用的第一年裡，這個名稱很好地發揮了作用。對於正式上線，我們決定需要一個新名稱，能夠涵蓋我們對該平台的宏大願景，將所有產品緊密聯繫在一起，同時更具衝擊力。

盆地（Basin）是眾多來源的河流匯聚於一點之處。我們認為 Basin 完美地詮釋了該平台的使用方式：Pipelines 將資料引入 Basin Catalog，而 Basin SQL 則使其即時可查詢。有趣的是：地球約 20% 的陸地面積匯入內流盆地，正如超過 20% 的網路流量流經 Cloudflare 的網路。

瑞典維納恩湖——2億至3億年前因地殼活動形成的盆地。

今天，Basin 由三款產品組成：Pipelines、Catalog 和 SQL，涵蓋擷取、儲存和查詢，並將隨著時間推移擴展更多產品，管理分析資料生命週期的其餘環節。

Basin Pipelines

在查詢資料之前，您的事件需要先被擷取、按結構描述進行結構化，並寫入物件儲存。這正是 Basin Pipelines 的職責。它透過 HTTP 端點或 Workers 繫結接收事件，按照 SQL 查詢對其進行處理，並將其作為 Apache Iceberg 資料表交付至 Basin Catalog，或以 JSON 或 Parquet 檔案形式寫入 R2。

自測試版上線以來，使用者已為各種情境建立了數以萬計的 Pipeline。例如，我們常見的一種模式是使用 Pipelines 在儲存前轉換 Cloudflare HTTP 記錄：

INSERT INTO http_logs_sink
SELECT
  EdgeResponseStatus,
  to_timestamp_micros(EdgeStartTimestamp) AS event_time,
  upper(ClientRequestMethod) AS method,
  sha256(ClientIP) AS hashed_ip
FROM http_logs_stream
WHERE EdgeResponseStatus >= 400;

在擷取過程中執行此類處理，可以顯著減少儲存佔用、降低動態資料來源的雜訊，並有助於防止敏感或不必要的資料被寫入。

自測試版以來，我們大幅提升了 Pipelines 的可擴展性：現在每個串流支援高達 3GB/s 的擷取速率。我們還擴展了功能集及與其他 Cloudflare 系統的整合：

  • Cloudflare Logpush 整合：您可以使用 SQL 轉換 Cloudflare 記錄，並將其儲存為壓縮的 Parquet 檔案或 Iceberg 資料表，隨時可透過 Basin SQL 或其他引擎進行查詢。
  • Worker 繫結支援結構描述感知。執行 wrangler types 可從串流的結構描述產生 TypeScript 類型，在部署前擷取缺少的欄位和類型不符的問題。
  • 資料品質錯誤可視化。儀表板和 GraphQL API 會顯示被捨棄的事件，並區分缺少欄位、類型不符、剖析失敗和空值等問題。
  • 完整的擷取路徑支援 Infrastructure as Code。Terraform 資源涵蓋 catalog、stream、sink 以及連接它們的 SQL。

接下來，我們計劃進一步擴展 Pipelines 的功能，包括：

  • 寫入 Basin Catalog 時的自訂分割區
  • 結構描述移轉，以及可更新的設定和可更新的 Pipelines SQL
  • 支援 Iceberg V3，包括用於高效查詢半結構化資料的 VARIANT 類型
  • 具狀態處理，以支援串流聚合、聯結和增量更新具體化檢視等工作負載

Basin Catalog

Basin Catalog 是我們去年率先推出的產品。自發布以來，我們看到數以千計的開發人員將 Basin Catalog 用於各類情境，涵蓋了從「為 DuckDB 提供一種結構化方式以存取 R2 中的分析資料」等簡單用例，到建構完整的企業級資料共用平台等複雜應用；開發者們充分利用了其零輸出費用和易於使用的 API 優勢。Basin Catalog 是開始使用 Apache Iceberg 的最簡便方式。只需執行：

npx wrangler basin catalog create CATALOG_NAME

您將立即獲得一個全託管的 Apache Iceberg REST catalog，它會自動執行使資料表保持高效能和健康狀態所需的日常維護。

當我們宣布推出 Data Platform 時，Basin Catalog 剛剛新增了自動壓縮功能。此後，它不斷演進，隨資料規模擴展持續維護健康的資料表：

  • 按資料表壓縮策略讓您可以根據每張資料表的存取模式選擇目標檔案大小。
  • 自動快照到期按照保留原則刪除舊的 Iceberg 快照，同時保留最少數量的近期快照。
  • 未參照資料檔案清理在快照到期時回收儲存空間，無需單獨執行 Spark 維護作業。
  • 資訊清單最佳化在壓縮前按分割區對碎片化資訊清單進行整合和叢集，減少查詢規劃期間的中繼資料 I/O。

我們正在為 Basin Catalog 開發一些令人期待的新功能，包括：

  • 一種新的壓縮方式，可高效地對資料進行排序和叢集，以提升查詢效能
  • 對命名空間和資料表更細緻的授權控制
  • 司法管轄區支援，以滿足資料主權和資料合規要求

Basin SQL

Basin SQL 是我們專為儲存在 Basin Catalog 中的 Apache Iceberg 資料表設計的無伺服器分散式查詢引擎。它專為讀取大型資料集而建構，可自動跨 Cloudflare 全球網路進行擴展。無需預先佈建叢集或資源，只需透過隨時可用的 API，您和您的智慧體即可立即開始查詢資料。

在測試版發布時，Basin SQL 已能出色地對大型事件和時間序列資料表進行篩選和探索。過去一年，Basin SQL 已演進為支援數百種函式，包括：

  • 標準和近似聚合、GROUP BY、HAVING 以及結構描述探索命令
  • 190 餘個涵蓋字串、時間戳記、規則運算式、密碼學、統計、陣列、對應和結構體的純量及彙總函式
  • CASE 運算式、通用資料表運算式、類型轉換、算術運算和 EXPLAIN
  • 內部、外部、半和反聯結；子查詢；自我聯結；以及多資料表查詢
  • DISTINCT、UNION、INTERSECT 和 EXCEPT
  • 視窗函式、QUALIFY、分組集、彙總和 Cube
  • 一套 JSON 函式

假設您的 Pipeline 將應用程式事件傳送至一張資料表，將帳戶資料傳送至另一張資料表。現在，您可以在一個查詢中聯結這兩張資料表、按客戶聚合活動、用視窗函式對結果排名，並對排名進行篩選：

WITH account_activity AS (
  SELECT
    a.plan,
    e.account_id,
    count(*) AS events,
    approx_distinct(e.user_id) AS active_users
  FROM analytics.events e
  JOIN analytics.accounts a
    ON e.account_id = a.account_id
  WHERE e.event_time >= '2026-09-01T00:00:00Z'
  GROUP BY a.plan, e.account_id
)
SELECT
  *,
  rank() OVER (PARTITION BY plan ORDER BY events DESC) AS activity_rank
FROM account_activity
QUALIFY rank() OVER (PARTITION BY plan ORDER BY events DESC) <= 10;

您可以透過 Wrangler 或 API 執行 Basin SQL，也可以在 Cloudflare 儀表板中開啟內建編輯器。編輯器提供語法醒目提示和自動完成、命名空間和資料表的瀏覽器、查詢統計資訊和執行計畫，以及可匯出的結果。從建立新資料表到獲得有用答案，只需數秒。

團隊的腳步不會就此停止，目前正在開發：

  • 進階統計和自適應排程，以提升查詢效能與效率
  • 直接透過 Basin SQL 提供完整的資料定義語言 (DDL) 支援
  • Iceberg V3 支援，包括對 VARIANT 和地理空間類型的支援

後續計畫

我們的未來願景是將資料基礎架構完全抽象化。儲存格式、產品和資源只是實作細節——這些細節固然重要，有助於實現關鍵目標——但往往會成為阻礙。我們正在建構一個平台，讓開發人員從問題出發，而非從 CREATE 陳述式或 CLI 命令開始。我們已為這一願景奠定了基礎，現在正朝著這一願景持續推進，包括：

  • 在整個平台支援最新的 Apache Iceberg 規格，解鎖更靈活的資料使用方式
  • 一鍵式擷取來源和目的地，與 Cloudflare 開發人員和可觀測性產品實現零設定連接
  • Basin Catalog 中的進階自適應資料表維護策略，可根據實際查詢模式自動組織資料
  • 持續擴展 SQL 相容性、效能和可觀測性，以支援日益複雜的分析工作負載
  • 更多即時持續處理資料並根據資料中訊號觸發操作的方式
  • 在整個平台層面遵守資料合規和資料主權規則的工具

我們將繼續以開放標準進行建構：使用開放格式和協定，為我們所依賴的專案貢獻改進，並確保您的資料始終向更廣泛的生態系統開放。

立即開始

Basin Pipelines、Basin Catalog 和 Basin SQL 今天正式上線。您可以將它們作為端對端平台協同使用，也可以採用適合您現有架構的部分。

請按照入門教學課程擷取事件、在 Basin Catalog 中建立 Apache Iceberg 資料表並透過 Basin SQL 進行查詢。造訪 Basin 說明文件取得產品指南、定價、限制和整合資訊。

現有的 Cloudflare Pipelines、R2 Data Catalog 和 R2 SQL 設定將繼續正常運作。

我們期待看到您的建構成果。歡迎在 Cloudflare Developer Discord 中與我們分享您的意見回饋。