Data PlatformR2SQL产品新闻开发人员生日周

Cloudflare Basin：一个开放的无服务器数据平台，现已正式发布

Marc Selwan和Micah Wylde

阅读时间：9 分钟

本文另有 English、Deutsch、Español、Français、日本語、한국어、繁體中文和Português.

在 Birthday Week 2025 期间，我们宣布推出 Cloudflare Data Platform，这是一套用于摄取、存储和查询分析数据的产品组合。今天，我们宣布该平台正式发布，并为其赋予全新名称：Cloudflare Basin。

Basin 是一个无服务器数据分析平台，基于 Apache Iceberg（数据湖的开放标准）和 R2 Object Storage 构建。Basin 产品家族包括：

  • Basin Pipelines（前身为 Cloudflare Pipelines）从 Workers、HTTP 或 Cloudflare Logpush 接收事件，通过 SQL 对其进行转换，并将其写入 Apache Iceberg 表或 R2 中的文件。
  • Basin Catalog（前身为 R2 Data Catalog）管理 Iceberg 元数据，并自动维护表以保持其高速和成本效率。
  • Basin SQL（前身为 R2 SQL）是我们的无服务器分布式 SQL 引擎，可直接在 Cloudflare 上查询 Apache Iceberg 表。

Basin 为 Developer Platform 带来了端到端的分析平台，使您能够从应用、基础设施、设备及其他 Cloudflare 服务等多种来源收集数据，然后对其进行查询以解答分析问题。

去年，我们着手构建这一数据平台，因为我们发现了两项根本性的发展动态，正在改变现代数据应用的构建方式。首先，Apache Iceberg 已成为标准的开放表格式，使数据能够在几乎所有主流查询引擎之间实现可移植。其次，我们开始看到开发者将分析数据迁移到 R2，R2 无出口费用的特性使得从不同工具、团队、区域和云服务商实际访问数据变得切实可行且经济高效。 

因此，当我们以开放测试版推出 Basin 时，开发者——包括 Cloudflare 内部的账单和基础设施团队——立即开始将这些服务用于各种场景，包括使用实时数据优化电商网站、账单指标的长期存储与报告，以及摄取和查询来自 Cloudflare 基础设施的遥测数据以衡量和提升利用率与效率。

「我们将整个公司的数据管道迁移到了 Basin Pipelines、Catalog 和 SQL，用更简洁的无服务器架构取代了复杂的 AWS S3 和 Athena 方案，可靠地处理我们所有的事件数据。——Dax Raad，Anomaly 联合创始人」

早期采用者让我们深刻认识到在边缘运行分析平台意味着什么。过去一年，我们围绕三个具体方向持续优化 Basin，这三个方向正是 Developer Platform 分析能力的独特之处：速度、开放性和成本效率。

Basin 专为速度而生——无论是快速上手还是执行大型查询。您可以在数秒内创建 Basin Catalog、设置 Pipeline 以摄取数据，并通过 Basin SQL 进行查询。随着越来越多的数据应用从提示词到编码智能体的方式构建，这一点至关重要，否则这些应用将不得不等待并轮询资源或数据。随着数据集增长，Basin Catalog 会对元数据和数据文件进行压缩以减少 I/O，并生成用于查询规划的统计信息。Basin SQL 利用这些统计信息将查询拆分为更小的任务，并将其分发到各 Workers，使查询在数据集扩展时保持高速且稳定。

推动 Basin 发展和采用的一大核心力量，是我们持续看到的开放 Apache Iceberg 生态系统的蓬勃成长。开发者正在围绕一个激进的理念凝聚共识：您应该拥有并掌控自己的数据——将存储层与计算层分离，让您能够为不同任务选择合适的查询引擎。使用 Basin，您可以通过任何兼容 Iceberg 的引擎读写数据，包括 PyIceberg、DuckDB、Snowflake 和 Apache Spark。这种数据可移植性只有在免费出口的前提下才得以实现，使开发者能够从生态系统中的各类工具访问 Cloudflare 中的数据，不受地区或云平台限制。

「Bobsled 是一个数据产品平台，全球最先进的数据团队使用它来构建 AI 就绪数据并将其分发给合作伙伴、供应商和客户，」Bobsled 平台负责人 Julien Grobbelaar 表示。「Basin 让我们能够构建可在每个主要数据和 AI 平台的任意地区访问的数据产品，同时具备生产级可靠性，并得益于零出口费用而大幅降低成本。」

除免费出口外，我们的无服务器架构还能通过按用量计费为客户带来更多成本节约。仅当 Basin 摄取、处理或查询您的数据时才会产生费用。开发者可以以极低甚至零成本为业余爱好项目构建分析功能，而我们的定价方案也能经济高效地满足更大规模的企业级需求。无需担忧按小时计费或额外的基础设施成本。

如果您已准备好开始，请参阅 Basin 教程，获取如何使用 Basin Pipelines 将事件传送至由 Basin Catalog 管理的 Apache Iceberg 表并通过 Basin SQL 进行查询的分步指南。继续阅读以了解更多关于 Basin 及其未来规划的信息。

为何选择 Basin？

我们去年以 Cloudflare Data Platform 的名称推出了这些产品，这一名称在可用性上线的第一年为我们提供了良好的支撑。对于正式发布，我们决定需要一个新名称，能够涵盖我们对该平台的宏大愿景，将所有产品紧密联系在一起，同时更具冲击力。

Basin 意为"盆地"——百川汇聚之处。这恰好对应平台的用法：Pipelines 把数据汇流进 Basin Catalog，Basin SQL 让它即刻可查。一个冷知识：地球上约 20% 的陆地径流汇入内流盆地，正如超过 20% 的互联网流量经过 Cloudflare 网络。

瑞典维纳恩湖 - 2亿至3亿年前由地壳活动形成的盆地。

今天，Basin 由三款产品组成：Pipelines、Catalog 和 SQL，涵盖摄取、存储和查询，并将随着时间推移扩展更多产品，管理分析数据生命周期的其余环节。

Basin Pipelines

在查询数据之前，您的事件需要先被摄取、按 schema 进行结构化，并写入对象存储。这正是 Basin Pipelines 的职责。它通过 HTTP 端点或 Workers 绑定接收事件，按照 SQL 查询对其进行处理，并将其作为 Apache Iceberg 表交付至 Basin Catalog，或以 JSON 或 Parquet 文件形式写入 R2。

自测试版上线以来，用户已为各种场景创建了数以万计的 Pipeline。例如，我们常见的一种模式是使用 Pipelines 在存储前转换 Cloudflare HTTP 日志：

INSERT INTO http_logs_sink
SELECT
  EdgeResponseStatus,
  to_timestamp_micros(EdgeStartTimestamp) AS event_time,
  upper(ClientRequestMethod) AS method,
  sha256(ClientIP) AS hashed_ip
FROM http_logs_stream
WHERE EdgeResponseStatus >= 400;

在摄取过程中执行此类处理，可以显著减少存储占用、降低动态数据源的噪声，并有助于防止敏感或不必要的数据被写入。

自测试版以来，我们大幅提升了 Pipelines 的可扩展性：现在每个流支持高达 3GB/s 的摄取速率。我们还扩展了功能集及与其他 Cloudflare 系统的集成：

  • Cloudflare Logpush 集成：您可以使用 SQL 转换 Cloudflare 日志，并将其存储为压缩的 Parquet 文件或 Iceberg 表，随时可通过 Basin SQL 或其他引擎进行查询。
  • Worker 绑定支持schema 感知。运行 wrangler types 可从流的架构生成 TypeScript 类型，在部署前捕获缺失字段和类型不匹配的问题。
  • 数据质量错误可视化。仪表盘和 GraphQL API 会显示被丢弃的事件，并区分缺失字段、类型不匹配、解析失败和空值等问题。
  • 完整的摄取路径支持 Infrastructure as Code。Terraform 资源涵盖 catalog、stream、sink 以及连接它们的 SQL。

接下来，我们计划进一步扩展 Pipelines 的功能，包括：

  • 写入 Basin Catalog 时的自定义分区
  • schema 迁移，以及可更新的配置和 Pipelines SQL
  • 支持 Iceberg V3，包括用于高效查询半结构化数据的 VARIANT 类型
  • 有状态处理，以支持流聚合、联接和增量更新物化视图等工作负载

Basin Catalog

Basin Catalog 是我们去年率先推出的产品。此后，我们看到数以千计的开发者将 Basin Catalog 用于各类场景，从为 DuckDB 提供结构化方式访问 R2 中的分析数据这样的简单应用，到开发者构建完整的企业级数据共享平台，充分利用零出口费用和易于使用的 API。

Basin Catalog 是开始使用 Apache Iceberg 的最简便方式。只需运行：

npx wrangler basin catalog create CATALOG_NAME

您将立即获得一个全托管的 Apache Iceberg REST catalog，它会自动执行使表保持高性能和健康状态所需的日常维护。

当我们宣布 Data Platform 时，Basin Catalog 刚刚新增了自动压缩功能。此后，它不断演进，随数据规模扩展持续维护健康的表：

  • 按表压缩策略让您可以根据每张表的访问模式选择目标文件大小。
  • 自动快照过期按照保留策略删除旧的 Iceberg 快照，同时保留最少数量的近期快照。
  • 未引用数据文件清理在快照过期时回收存储空间，无需单独运行 Spark 维护作业。
  • 清单优化在压缩前按分区对碎片化清单进行整合和聚类，减少查询规划期间的元数据 I/O。

我们正在为 Basin Catalog 开发一些令人期待的新功能，包括：

  • 一种新的压缩方式，可高效地对数据进行排序和聚类，以提升查询性能
  • 对命名空间和表更细粒度的权限控制
  • 司法管辖区支持，以满足数据主权和数据合规要求

Basin SQL

Basin SQL 是我们专为存储在 Basin Catalog 中的 Apache Iceberg 表设计的无服务器分布式查询引擎。它专为读取大型数据集而构建，可自动跨 Cloudflare 全球网络进行扩展。无需预置集群或资源，只需通过随时可用的 API，您和您的代理即可立即开始查询数据。

在测试版发布时，Basin SQL 已能出色地对大型事件和时间序列表进行过滤和探索。过去一年，Basin SQL 已演进为支持数百种函数，包括：

  • 标准和近似聚合、GROUP BY、HAVING 以及 schema 发现命令
  • 190 余个涵盖字符串、时间戳、正则表达式、密码学、统计、数组、映射和结构体的标量及聚合函数
  • CASE 表达式、公用表表达式、类型转换、算术运算和 EXPLAIN
  • 内联接、外联接、半联接和反联接；子查询；自联接；以及多表查询
  • DISTINCT、UNION、INTERSECT 和 EXCEPT
  • 窗口函数、QUALIFY、分组集、汇总和立方体
  • 一套 JSON 函数

假设您的 Pipeline 将应用事件传送到一张表，将账户数据传送到另一张表。现在，您可以在一个查询中联接这两张表、按客户聚合活动、用窗口函数对结果排名，并对排名进行过滤：

WITH account_activity AS (
  SELECT
    a.plan,
    e.account_id,
    count(*) AS events,
    approx_distinct(e.user_id) AS active_users
  FROM analytics.events e
  JOIN analytics.accounts a
    ON e.account_id = a.account_id
  WHERE e.event_time >= '2026-09-01T00:00:00Z'
  GROUP BY a.plan, e.account_id
)
SELECT
  *,
  rank() OVER (PARTITION BY plan ORDER BY events DESC) AS activity_rank
FROM account_activity
QUALIFY rank() OVER (PARTITION BY plan ORDER BY events DESC) <= 10;

您可以通过 Wrangler 或 API 运行 Basin SQL，也可以在 Cloudflare 仪表盘中打开内置编辑器。编辑器提供语法高亮和自动补全、命名空间和表的浏览器、查询统计信息和执行计划，以及可导出的结果。从新建表到获得有用答案，只需数秒。

团队的步伐不会就此停止，目前正在开发：

  • 高级统计和自适应调度，以提升查询性能与效率
  • 直接通过 Basin SQL 提供完整的数据定义语言 (DDL) 支持
  • Iceberg V3 支持，包括对 VARIANT 和地理空间类型的支持

下一步计划

我们的未来愿景是将数据基础设施完全抽象化。存储格式、产品和资源只是实现细节——这些细节固然重要，有助于实现关键目标——但往往会成为阻碍。我们正在构建一个平台，让开发者从问题出发，而非从 CREATE 语句或 CLI 命令开始。我们已为这一愿景奠定了基础，现在正朝着这一愿景持续推进，包括：

  • 在整个平台支持最新的 Apache Iceberg 规范，解锁更灵活的数据使用方式
  • 一键式摄取来源和目的地，与 Cloudflare 开发者和可观测性产品实现零配置连接
  • Basin Catalog 中的高级自适应表维护策略，可根据实际查询模式自动组织数据
  • 持续扩展 SQL 兼容性、性能和可观测性，以支持日益复杂的分析工作负载
  • 更多实时持续处理数据并基于数据中信号触发操作的方式
  • 在整个平台层面遵守数据合规和数据主权规则的工具

我们将继续以开放标准进行构建：使用开放格式和协议，为我们所依赖的项目贡献改进，并确保您的数据始终向更广泛的生态系统开放。

开始使用

Basin Pipelines、Basin Catalog 和 Basin SQL 今天正式发布。您可以整套采用，也可以只挑适合现有架构的部分。 

请按照入门教程摄取事件、在 Basin Catalog 中创建 Apache Iceberg 表并通过 Basin SQL 进行查询。访问 Basin 文档获取产品指南、定价、限制和集成信息。

现有的 Cloudflare Pipelines、R2 Data Catalog 和 R2 SQL 配置将继续正常运行。

我们期待看到您的构建成果。欢迎在 Cloudflare Developer Discord 中与我们分享您的反馈。