订阅以接收新文章的通知:

使用 R2 Super Slurper 轻松从 S3 迁移

2022-11-15

2 分钟阅读时间
这篇博文也有 EnglishEspañol日本語版本。

R2 是兼容 S3 的全局分布式对象存储,允许开发人员存储大量非结构化数据,无需负担其他提供商通常会带来的高昂的出口带宽费用。

The R2 Super Slurper will enable anyone to bring any amount of data into R2 with minimal effort and risk

要享受这一出口自由,您需要开始计划将您存储在别处的所有这些数据发送到 R2。您可能想一次性全部发送,尽快迁移尽可能多的数据,同时确保数据一致性。或者,您是否更倾向于将数据缓慢迁移至 R2,将您的读取操作逐渐从旧提供商转移到 R2?到时候再决定是弃用旧存储还是留作 R2 中新对象的备份?

此迁移操作的架构和实施有多种选项,但将 TB 级数据从一个云存储提供商迁移至另一个提供商总是会带来问题,总是需要进行规划,并可能需要人员配备。

而这些在以前是很难实现的,但如今有轻松的解决办法了。

今天我们隆重推出 R2 Super Slurper 这项功能,支持您将所有数据通过一个巨大的 slurp 迁移至 R2,或一口一口进行迁移,所有这些都通过友好、直观的 UI 和 API 进行。

第一步:R2 Super Slurper 封闭测试

一次性批量

在 R2 Super Slurper 的第一次迭代,您就可以针对 S3 存储桶,将您在其中存储的对象导入 R2 存储桶。这是简单的一次性导入过程,涵盖了最常见的场景。指向您的现有 S3 源,授予 R2 Super Slurper 权限以读取您想迁移的对象,然后一个异步作业将负责处理其余操作。

您还可以保存用于访问源存储桶的定义和凭证,以便可以在新操作中迁移存储桶内的不同文件夹,而不必反复重新定义 URL 和凭证。单凭此操作,您就不必使用您想验证一致性的许多路径编写各种各样的脚本来遍历存储桶。在测试阶段,我们会利用用户反馈信息来演变 R2 Super Slurper,直至任何人只需点击几个按钮就能实现完全一致的超级 slurp。

an active migration implies a big-bang of data movement from your old buckets to R2

自动一口一口迁移

其他未来开发工作包括自动一口一口迁移,用于在最终用户请求时递增式将对象复制到 R2。它允许您在对象迁移的同时开始从 R2 提供这些对象,立即节省开支。

请求和对象迁移的流程如下所示:

a passive migration strategy involves always serving through Cloudflare, but getting the file from an external repository on the first time it’s requested
  • 检查对象 — 请求到达 Cloudflare (1),然后我们在 R2 存储桶中检查所请求的对象 (2)。如果该对象存在,R2 将提供该对象 (3)

  • 复制对象 — 如果该对象在 R2 中_不_存在,对象请求将流至源存储桶 (2a)。找到对象后,我们会提供它并将其复制到 R2 (2b) 中。

  • 提供对象 — R2 为未来针对该对象的所有请求提供服务 (3)

使用该功能,您可以从其他供应商处复制之前通过一个或多个存储桶分散的对象,同时确保从最终用户端请求的所有内容都从 R2 提供。由于您只需在首次请求时使用 R2 Super Slurper 从别处吸取对象,在后续请求时您将开始节省这些出口费用。

我们目前针对的是兼容 S3 的存储桶,但预计其他源将在 2023 年可用。

加入 R2 Super Slurper 封闭测试的等候名单

要访问 R2 Super Slurper,您必须首先是 R2 用户,并在此处注册 R2 Super Slurper 等候名单。

我们将在封闭测试阶段与许多早期用户密切协作,优化并测试该服务。我们很快会隆重推出开放测试,供用户注册服务。

请务必加入我们的 Discord 服务器,并与非凡的用户社区和 Cloudflare 员工一起探讨所有与 R2 相关的话题!

我们保护整个企业网络,帮助客户高效构建互联网规模的应用程序,加速任何网站或互联网应用程序抵御 DDoS 攻击,防止黑客入侵,并能协助您实现 Zero Trust 的过程

从任何设备访问 1.1.1.1,以开始使用我们的免费应用程序,帮助您更快、更安全地访问互联网。要进一步了解我们帮助构建更美好互联网的使命,请从这里开始。如果您正在寻找新的职业方向,请查看我们的空缺职位
Developer WeekR2 StorageR2 Super SlurperData Transfer Bucket产品新闻Developer Platform

在 X 上关注

Aly Cabral|@Aly_Cabral
Cloudflare|@cloudflare

相关帖子

2024年10月31日 13:00

Moving Baselime from AWS to Cloudflare: simpler architecture, improved performance, over 80% lower cloud costs

Post-acquisition, we migrated Baselime from AWS to the Cloudflare Developer Platform and in the process, we improved query times, simplified data ingestion, and now handle far more events, all while cutting costs. Here’s how we built a modern, high-performing observability platform on Cloudflare’s network....

2024年10月24日 13:05

Build durable applications on Cloudflare Workers: you write the Workflows, we take care of the rest

Cloudflare Workflows is now in open beta! Workflows allows you to build reliable, repeatable, long-lived multi-step applications that can automatically retry, persist state, and scale out. Read on to learn how Workflows works, how we built it on top of Durable Objects, and how you can deploy your first Workflows application....