Sippy는 S3에서 R2로 데이터를 점진적으로 마이그레이션하는 동안 전송 요금 발생을 방지하는 데 도움이 됩니다

2023년 초에 우리는 다른 클라우드 개체 스토리지 공급자로부터 R2로 대량의 데이터를 쉽게 복사할 수 있는 데이터 마이그레이션 도구인 R2 Super Slurper를 발표했습니다. 발표 이후, 개발자들은 R2 Super Slurper를 이용하여 수천 건의 마이그레이션을 성공적으로 수행했습니다!

R2 Super Slurper는 모든 데이터를 한 번에 R2로 옮기고자 하는 경우에 적합하지만, 시간이 지남에 따라 데이터를 점진적으로 마이그레이션해야 하는 시나리오도 있습니다. AWS 데이터 이전 비용을 한꺼번에 지불하고 싶지 않으신가요? 아니면 액세스할 수 없는 레거시 데이터가 있으며, 필요한 데이터만 마이그레이션하고 싶으신가요?

오늘, Cloudflare에서는 일반적으로 대량의 데이터를 옮길 때 발생하는 불필요한 클라우드 송신료를 지불하지 않고도 요청에 따라 S3(다른 클라우드 서비스도 곧 제공 예정!)에서 R2로 데이터를 복사하는 점진적 마이그레이션 서비스인 Sippy의 오픈 베타를 발표합니다. Sippy는 벤더 종속 문제를 해결할 뿐만 아니라, 스트레스가 생기고 시간이 많이 걸리는 마이그레이션을 과거의 일로 만들어 줍니다. 애플리케이션에서 S3 엔드포인트를 교체하거나 도메인을 새 R2 버킷에 연결하기만 하면 데이터가 복사되기 시작합니다.

Sippy는 R2 버킷에 직접 구축된 점진적 마이그레이션 서비스입니다. 마이그레이션 관련 송신료는 이미 송신료를 지불하고 있는 애플리케이션의 흐름 내에서 요청을 활용하여 개체를 R2로 동시에 복사함으로써 절감됩니다. 그 작동 방식은 다음과 같습니다.

Workers , S3 API, 공개 버킷에서 개체를 요청하면, 개체를 찾을 경우 R2 버킷에서 제공됩니다.

R2에서 개체를 찾을 수 없으면 동시에 S3 버킷에서 반환되어 R2로 복사됩니다.

참고: 일부 대형 개체는 복사하는 데 여러 번의 요청이 필요할 수 있습니다.

즉, 개체가 복사된 후 후속 요청은 R2에서 제공되며 송신료가 즉시 절약되기 시작합니다.

점진적 마이그레이션을 시작하려면 R2 버킷이 없는 경우 먼저 R2 버킷을 만들어야 합니다. Cloudflare 대시보드에서 새 R2 버킷을 만들려면 다음과 같이 합니다.

1. Cloudflare 대시보드에 로그인하고 R2를 선택합니다.

2. 버킷 만들기를 선택합니다.

3. 버킷에 이름을 지정하고 버킷 만들기를 선택합니다.

​​R2 버킷을 만드는 다른 방법에 대해 자세히 알아보려면 버킷 만들기에 대한 문서를 참조하세요.

다음으로, 만든 R2 버킷에 대해 Sippy를 활성화합니다. 베타 버전에서는 API를 사용하여 이 작업을 수행할 수 있습니다. 다음은 cURL을 사용하여 R2 버킷에 대하여 Sippy를 활성화하는 방법의 예입니다.

시작하는 방법에 대한 자세한 내용은 설명서를 참조하세요. 이 기능을 활성화하면 이제 버킷에 대한 요청이 R2 버킷에 아직 없는 경우 S3에서 데이터를 복사하기 시작합니다.

curl -X PUT https://api.cloudflare.com/client/v4/accounts/{account_id}/r2/buckets/{bucket_name}/sippy \
--header "Authorization: Bearer <API_TOKEN>" \
--data '{"provider": "AWS", "bucket": "<AWS_BUCKET_NAME>", "zone": "<AWS_REGION>","key_id": "<AWS_ACCESS_KEY_ID>", "access_key":"<AWS_SECRET_ACCESS_KEY>", "r2_key_id": "<R2_ACCESS_KEY_ID>", "r2_access_key": "<R2_SECRET_ACCESS_KEY>"}'

점진적 마이그레이션은 원하는 기간 동안 실행할 수 있지만, 결국에는 R2로 마이그레이션을 완료하고 싶을 수도 있습니다. 그러려면 Sippy와 R2 Super Slurper를 페어링하여 액세스되지 않은 나머지 데이터를 R2로 쉽게 마이그레이션할 수 있습니다.

Cloudflare에서는 오픈 베타에 대한 기대가 크지만, 이제 시작에 불과합니다. 다음으로, Cloudflare 대시보드에서 점진적 마이그레이션을 구성할 수 있도록 할 계획입니다. 그에 따라 마이그레이션 진행 상황과 그때까지 복사된 개체에 대한 송신 수수료를 지불하지 않음으로써 얼마나 절약할 수 있는지를 보여주는 분석 기능이 제공될 것입니다.

데이터를 점진적으로 R2로 마이그레이션하고 싶거나 Cloudflare에서 다음 번에 구축할 사항에 대한 질문이나 피드백이 있으면 Discord 커뮤니티에 참여하여 공유해 주시기 바랍니다!