Apresentamos o Cloudflare Basin: uma plataforma de dados aberta e sem servidor, agora em disponibilidade geral

Durante a Semana de Aniversário 2025, anunciamos o Cloudflare Data Platform, um conjunto de produtos que ingere, armazena e consulta seus dados analíticos. Hoje, anunciamos que a plataforma está em disponibilidade geral, e estamos dando a ela um novo nome: Cloudflare Basin.

O Basin é uma plataforma de análise de dados sem servidor construída sobre Apache Iceberg, o padrão aberto para data lakes, e o R2 Object Storage. A família Basin inclui:

• Basin Pipelines, anteriormente Cloudflare Pipelines, recebe eventos de Workers, HTTP ou Cloudflare Logpush, transforma-os com SQL e os grava como tabelas Apache Iceberg ou arquivos no R2.
• Basin Catalog, anteriormente R2 Data Catalog, gerencia metadados do Iceberg e realiza manutenção automática das tabelas para mantê-las rápidas e com eficiência de custos.
• Basin SQL, anteriormente R2 SQL, é o nosso mecanismo de consultas SQL distribuído e sem servidor para consultar tabelas Apache Iceberg diretamente na Cloudflare.

O Basin traz uma plataforma de análise completa para a plataforma para desenvolvedores, permitindo que você colete dados de diversas fontes, como aplicativos, infraestrutura, dispositivos e outros serviços da Cloudflare, e depois os consulte para responder perguntas analíticas.

Decidimos criar uma plataforma de dados no ano passado quando identificamos dois desenvolvimentos fundamentais que mudaram a forma como os aplicativos de dados modernos estavam sendo desenvolvidos. Primeiro, o Apache Iceberg emergiu como o formato de tabela aberto padrão, tornando os dados portáteis em praticamente todos os principais mecanismos de consultas. Segundo, começamos a ver desenvolvedores trazendo seus dados analíticos para o R2, onde a ausência de taxas de saída tornava prático e econômico o acesso real aos dados por diferentes ferramentas, equipes, regiões e provedores de nuvem.

Assim, quando lançamos o Basin em beta aberto, desenvolvedores, incluindo nossas equipes de faturamento e infraestrutura na Cloudflare, começaram imediatamente a adotar esses serviços para vários casos de uso, incluindo o uso de dados em tempo real para otimizar sites de comércio eletrônico, armazenamento de longo prazo e relatórios de métricas de faturamento, além de ingestão e consulta de telemetria da infraestrutura da Cloudflare para medir e melhorar a utilização e a eficiência.

Migramos todo o pipeline de dados de nossa empresa para o Basin Pipelines, Catalog e SQL, substituindo uma configuração complexa de AWS S3 e Athena por uma arquitetura sem servidor mais limpa que processa de forma confiável todos os nossos dados de eventos. - Dax Raad, cofundador da Anomaly

Nossos primeiros adotantes nos ensinaram muito sobre o que significa executar uma plataforma de análise na borda. Passamos o último ano aprimorando o Basin em torno de três áreas específicas que identificam com precisão o que torna a análise na plataforma para desenvolvedores única: velocidade, abertura e eficiência de custos.

O Basin foi criado para ser rápido, seja para começar a usar ou para executar consultas de grande porte. Você pode criar um Basin Catalog, configurar um Pipeline para ingerir dados e consultá-los com o Basin SQL em segundos. Isso importa à medida que vemos mais aplicativos de dados sendo criados de prompts a agentes de codificação, que de outra forma teriam que aguardar e fazer pool por recursos ou dados. À medida que os conjuntos de dados aumentam, o Basin Catalog realiza compactação de metadados e arquivos de dados para reduzir E/S e gera estatísticas para planejamento de consultas. O Basin SQL usa essas estatísticas para dividir consultas em tarefas menores e distribuí-las pelos Workers, mantendo as consultas rápidas e consistentes conforme os conjuntos de dados escalam.

Um dos principais impulsionadores do desenvolvimento e da adoção do Basin é o crescimento contínuo do ecossistema aberto do Apache Iceberg. Os desenvolvedores têm aderido à ideia inovadora de que você deve ser proprietário e ter controle dos seus próprios dados, separando a camada de armazenamento da camada de computação e permitindo que você use o mecanismo de consultas certo para o trabalho. Com o Basin, você pode ler e gravar seus dados usando qualquer mecanismo compatível com o Iceberg, incluindo PyIceberg, DuckDB, Snowflake e Apache Spark. Esse tipo de portabilidade de dados só é possível com taxas de saída gratuitas, o que permite que os desenvolvedores acessem seus dados na Cloudflare a partir da ampla variedade de ferramentas do ecossistema, independentemente de região ou nuvem.

"A Bobsled é uma plataforma de produtos de dados que as equipes de dados mais avançadas do mundo usam para criar e distribuir dados prontos para IA a parceiros, fornecedores e clientes", disse Julien Grobbelaar, Head of Platform da Bobsled. "O Basin nos permite criar produtos de dados que podem ser disponibilizados em qualquer região de todas as principais plataformas de dados e IA, tudo com confiabilidade em nível de produção e uma fração do custo graças às taxas de saída zero."

Além da saída gratuita, nossa arquitetura sem servidor nos permite oferecer ainda mais eficiência de custos aos nossos clientes com preços baseados em uso. Você só é cobrado quando o Basin ingere, processa ou consulta seus dados. Os desenvolvedores podem criar análises para projetos de hobby com pouco ou nenhum custo, enquanto nossos preços escalam economicamente para casos de uso empresariais maiores. Não há cobranças por hora nem custos de infraestrutura separados com os quais se preocupar.

Se você está pronto para começar, consulte o tutorial do Basin para um guia passo a passo sobre como usar o Basin Pipelines para entregar eventos a uma tabela Apache Iceberg gerenciada pelo Basin Catalog e consultá-los com o Basin SQL. Continue lendo para saber mais sobre o Basin e para onde vamos em seguida.

Por que usar o Basin?

Lançamos esses produtos no ano passado como Cloudflare Data Platform, nome que nos atendeu bem no primeiro ano de disponibilidade. Para o nosso lançamento em disponibilidade geral, decidimos que precisávamos de um novo nome que englobasse nossas ambições para a plataforma, unisse todos os produtos e fosse um pouco mais marcante.

Uma bacia é o local onde rios provenientes de diversas fontes convergem para um único ponto. Sentimos que Basin captura perfeitamente como a plataforma é usada: o Pipelines traz dados para o Basin Catalog, enquanto o Basin SQL os torna imediatamente consultáveis. Curiosidade: aproximadamente 20% da superfície terrestre da Terra drena para bacias endorreicas, assim como mais de 20% da web fica por trás da rede da Cloudflare.

Hoje, o Basin é composto por três produtos: Pipelines, Catalog e SQL, cobrindo ingestão, armazenamento e consulta, e se expandirá ao longo do tempo com mais produtos gerenciando o restante do ciclo de vida dos dados analíticos.

Basin Pipelines

Antes de poder consultar seus dados, seus eventos precisam ser ingeridos, estruturados em um esquema e gravados no armazenamento de objetos. Esse é o papel do Basin Pipelines. Ele aceita eventos por meio de endpoints HTTP ou vinculações do Workers, processa-os de acordo com uma consulta SQL e os entrega ao Basin Catalog como tabelas Apache Iceberg ou ao R2 como arquivos JSON ou Parquet.

Desde o lançamento do beta, os usuários criaram dezenas de milhares de Pipelines para uma grande variedade de casos de uso. Por exemplo, um padrão comum que vemos é o uso do Pipelines para transformar logs HTTP da Cloudflare antes de armazená-los:

INSERT INTO http_logs_sink
SELECT
  EdgeResponseStatus,
  to_timestamp_micros(EdgeStartTimestamp) AS event_time,
  upper(ClientRequestMethod) AS method,
  sha256(ClientIP) AS hashed_ip
FROM http_logs_stream
WHERE EdgeResponseStatus >= 400;

Fazer esse trabalho durante a ingestão pode reduzir significativamente o espaço de armazenamento, reduzir o ruído de fontes de dados dinâmicas e ajudar a evitar que valores sensíveis ou desnecessários sejam gravados.

Desde o beta, expandimos bastante a escalabilidade do Pipelines: agora oferecemos suporte à ingestão de até 3 GB/s por stream. Também ampliamos o conjunto de recursos e a integração com outros sistemas da Cloudflare:

• Integração com o Cloudflare Logpush: você pode transformar logs da Cloudflare com SQL e armazená-los como arquivos Parquet comprimidos ou tabelas Iceberg, prontos para consulta com o Basin SQL ou outro mecanismo.
• As vinculações do Workers são cientes do esquema. Executar wrangler types gera tipos TypeScript a partir do esquema de um stream, detectando campos ausentes e incompatibilidades de tipo antes da implantação.
• Os erros de qualidade de dados ficam visíveis. O painel e a API GraphQL exibem eventos descartados e distinguem campos ausentes, incompatibilidades de tipo, falhas de análise e valores nulos.
• Todo o fluxo de ingestão pode ser implementado como infraestrutura como código. Os recursos do Terraform abrangem o catálogo, o stream, o sink e o SQL que os conecta.

Em seguida, planejamos expandir ainda mais os recursos do Pipelines, incluindo:

• Particionamento personalizado ao gravar no Basin Catalog
• Migrações de esquema e configuração e Pipelines SQL atualizáveis
• Suporte ao Iceberg V3, incluindo o tipo Variant para consulta eficiente de dados semiestruturados
• Processamento com estado para apoiar cargas de trabalho como agregações de streaming, junções e visualizações materializadas atualizadas de forma incremental

Basin Catalog

O Basin Catalog foi o primeiro produto que lançamos na família no ano passado. Desde então, vimos milhares de desenvolvedores usar o Basin Catalog para casos de uso simples, como dar ao DuckDB uma forma estruturada de acessar dados analíticos no R2, até desenvolvedores criando plataformas completas de compartilhamento de dados empresariais, aproveitando ao máximo as taxas de saída zero e as APIs fáceis de usar.

O Basin Catalog é a forma mais fácil de começar com o Apache Iceberg. Basta executar:

npx wrangler basin catalog create CATALOG_NAME

Você obtém instantaneamente um catálogo REST do Apache Iceberg totalmente gerenciado que realiza automaticamente a manutenção de rotina necessária para manter o desempenho e a integridade das tabelas.

Quando anunciamos a Data Platform, o Basin Catalog tinha acabado de adicionar compactação automática. Desde então, evoluiu para manter a integridade das tabelas  conforme seus dados escalam:

• Políticas de compactação por tabela permitem que você escolha tamanhos de arquivo alvo com base no padrão de acesso de cada tabela.
• A expiração automática de snapshots remove snapshots antigos do Iceberg de acordo com uma política de retenção, preservando um número mínimo de snapshots recentes.
• A limpeza de arquivos de dados não referenciados recupera armazenamento quando os snapshots expiram, sem exigir um job de manutenção separado do Spark.
• A otimização de manifesto consolida e agrupa manifestos fragmentados por partição antes da compactação, reduzindo a E/S de metadados durante o planejamento de consultas.

Temos alguns recursos interessantes em desenvolvimento para o Basin Catalog, incluindo:

• Uma nova forma de compactação para classificar e agrupar dados de forma eficiente visando melhor desempenho de consultas
• Controles de autenticação mais granulares para namespaces e tabelas
• Compatibilidade com jurisdições para aderir a requisitos de soberania de dados e conformidade de dados

Basin SQL

O Basin SQL é o nosso mecanismo de consultas distribuído e sem servidor para tabelas Apache Iceberg armazenadas no Basin Catalog. Ele foi projetado para leitura de grandes conjuntos de dados e escala automaticamente pela rede global da Cloudflare. Não há clusters ou recursos para provisionar, apenas uma API prontamente disponível para você e seus agentes começarem a consultar seus dados imediatamente.

No lançamento do beta, o Basin SQL era excelente para filtrar e explorar grandes tabelas de eventos e séries temporais. Ao longo do último ano, o Basin SQL evoluiu para oferecer suporte a centenas de funções, incluindo:

• Agregações padrão e aproximadas, GROUP BY, HAVING e comandos de descoberta de esquema
• Mais de 190 funções escalares e de agregação para strings, timestamps, expressões regulares, criptografia, estatísticas, arrays, maps e structs
• Expressões CASE, expressões de tabela comuns, casting, aritmética e EXPLAIN
• Joins do tipo inner, outer, semi e anti; subconsultas; self-joins; e consultas com múltiplas tabelas
• DISTINCT, UNION, INTERSECT e EXCEPT
• Funções de janela, QUALIFY, conjuntos de agrupamento, rollups e cubes
• Um conjunto de funções JSON

Suponha que seu Pipeline entregue eventos de aplicativos em uma tabela e dados de conta em outra. Agora você pode unir essas tabelas, agregar a atividade por cliente, classificar os resultados com uma função de janela e filtrar a classificação em uma única consulta:

WITH account_activity AS (
  SELECT
    a.plan,
    e.account_id,
    count(*) AS events,
    approx_distinct(e.user_id) AS active_users
  FROM analytics.events e
  JOIN analytics.accounts a
    ON e.account_id = a.account_id
  WHERE e.event_time >= '2026-09-01T00:00:00Z'
  GROUP BY a.plan, e.account_id
)
SELECT
  *,
  rank() OVER (PARTITION BY plan ORDER BY events DESC) AS activity_rank
FROM account_activity
QUALIFY rank() OVER (PARTITION BY plan ORDER BY events DESC) <= 10;

Você pode executar o Basin SQL pelo Wrangler, pela API ou abrir o editor integrado no painel da Cloudflare. O editor oferece destaque de sintaxe e preenchimento automático , um navegador de namespaces e tabelas, estatísticas e planos de consulta e resultados exportáveis. Isso transforma o processo, de uma nova tabela até uma resposta útil, em uma tarefa de poucos segundos.

A equipe não para por aqui e atualmente está trabalhando em:

• Estatísticas avançadas e agendamento adaptativo para melhorar o desempenho e a eficiência das consultas
• Suporte completo a linguagem de definição de dados (DDL) diretamente do Basin SQL
• Suporte ao Iceberg V3, incluindo suporte para os tipos VARIANT e geoespacial

O que vem a seguir

Nossa visão futura é que a infraestrutura de dados seja completamente abstraída. Formatos de armazenamento, produtos e recursos são apenas detalhes de implementação, detalhes importantes que ajudam a viabilizar os resultados importantes, mas tendem a atrapalhar. Estamos criando uma plataforma onde os desenvolvedores começam com perguntas em vez de instruções CREATE ou comandos CLI. Estabelecemos a base para essa visão e agora estamos desenvolvendo essa visão, incluindo:

• Suporte para as especificações mais recentes do Apache Iceberg em toda a plataforma, desbloqueando formas mais flexíveis de usar seus dados
• Fontes e destinos de ingestão com um clique, com conexões sem configuração em todos os produtos de desenvolvimento e observabilidade da Cloudflare
• Estratégias avançadas de manutenção adaptativa de tabelas no Basin Catalog que organizam automaticamente os dados em torno de padrões de consulta reais
• Expansão contínua de compatibilidade, desempenho e observabilidade de SQL para cargas de trabalho analíticas cada vez mais complexas
• Mais formas de processar dados continuamente em tempo real e acionar ações com base nos sinais contidos nos dados
• Ferramentas para aderir a regras de conformidade e soberania de dados em toda a plataforma

Continuaremos a desenvolver com padrões abertos: usando formatos e protocolos abertos, contribuindo com melhorias para os projetos dos quais dependemos e garantindo que seus dados permaneçam disponíveis para o ecossistema mais amplo.

Comece agora

O Basin Pipelines, o Basin Catalog e o Basin SQL estão em disponibilidade geral hoje. Você pode usá-los juntos como uma plataforma completa ou adotar as partes que se encaixam em sua arquitetura existente.

Siga o tutorial de introdução para ingerir eventos, criar uma tabela Apache Iceberg no Basin Catalog e consultá-la com o Basin SQL. Visite a documentação do Basin para guias de produtos, preços, limites e integrações.

As configurações existentes do Cloudflare Pipelines, R2 Data Catalog e R2 SQL continuarão funcionando.

Estamos animados para ver o que você vai criar. Compartilhe seu feedback conosco no Cloudflare Developer Discord.