Cloudflare Basin, una plataforma de datos abierta y sin servidores, ya disponible para todos

Durante la Semana aniversario 2025, anunciamos Cloudflare Data Platform, un conjunto de productos que recopilan, almacenan y permiten consultar tus datos analíticos. Hoy anunciamos que la plataforma ya está disponible para todos y le damos un nuevo nombre: Cloudflare Basin.

Basin es una plataforma de análisis de datos sin servidor basada en Apache Iceberg, el estándar abierto para lagos de datos, y en R2 Object Storage. La familia Basin incluye:

• Basin Pipelines, antes conocido como Cloudflare Pipelines, recibe eventos de Workers, HTTP o Cloudflare Logpush, los transforma con SQL y los guarda como tablas de Apache Iceberg o archivos en R2.
• Basin Catalog, antes conocido como R2 Data Catalog, gestiona los metadatos de Iceberg y mantiene automáticamente las tablas para que sigan siendo rápidas y rentables.
• Basin SQL, antes R2 SQL, es nuestro motor SQL distribuido y sin servidor para consultar tablas de Apache Iceberg directamente en Cloudflare.

Basin aporta una plataforma de análisis integral a la plataforma para desarrolladores, lo que te permite recopilar datos de diversas fuentes, como aplicaciones, infraestructura, dispositivos y otros servicios de Cloudflare, para luego consultarlos y responder a preguntas analíticas.

El año pasado nos propusimos crear una plataforma de datos cuando observamos dos avances fundamentales que cambiaron la forma en que se desarrollaban las aplicaciones de datos modernas. En primer lugar, Apache Iceberg se impuso como el formato de tabla abierto estándar, lo que permitió que los datos fueran portátiles en casi todos los principales motores de consulta. En segundo lugar, empezamos a ver cómo los desarrolladores trasladaban sus datos analíticos a R2, donde la ausencia de tarifas de salida hacía que resultara práctico y rentable acceder realmente a sus datos desde diferentes herramientas, equipos, regiones y proveedores de nube.

Así que, cuando lanzamos Basin en fase beta abierta, los desarrolladores —incluidos nuestros equipos de facturación e infraestructura en Cloudflare— comenzaron de inmediato a adoptar estos servicios para una gran variedad de casos de uso: utilizar datos en tiempo real para optimizar sitios de comercio electrónico, almacenamiento a largo plazo e informes de métricas de facturación, e ingesta y consulta de telemetría de la infraestructura de Cloudflare para medir y mejorar la utilización y la eficiencia.

“Trasladamos todo el flujo de datos de nuestra empresa a Basin Pipelines, Catalog y SQL, sustituyendo una compleja configuración de AWS S3 y Athena por una arquitectura más sencilla y sin servidores que gestiona de forma fiable todos nuestros datos de eventos”. - Dax Raad,cofundador, Anomaly

Nuestros primeros usuarios nos enseñaron mucho sobre lo que significa ejecutar una plataforma de análisis en el perímetro. Pasamos el último año mejorando Basin en tres áreas específicas que identifican con precisión lo que hace única la analítica en la plataforma para desarrolladores: velocidad, apertura y eficiencia de costes.

Basin está diseñado para la velocidad, tanto a la hora de empezar como de ejecutar consultas de gran tamaño. Puedes crear un Basin Catalog, configurar un Pipeline para importar datos y consultarlos con Basin SQL en cuestión de segundos. Esto es importante porque vemos cómo se crean cada vez más aplicaciones de datos, desde comandos de voz hasta agentes de programación, que de otro modo tendrían que esperar y solicitar recursos o datos. A medida que crecen los conjuntos de datos, Basin Catalog compacta los metadatos y los archivos de datos para reducir la E/S y genera estadísticas para la planificación de consultas. Basin SQL utiliza esas estadísticas para dividir las consultas en tareas más pequeñas y distribuirlas entre los trabajadores, lo que mantiene la rapidez y la coherencia de las consultas a medida que los conjuntos de datos escalan.

Un gran motor del desarrollo y la adopción de Basin es el crecimiento continuo que estamos viendo en el ecosistema abierto de Apache Iceberg. Los desarrolladores se han unido en torno a la idea radical de que tú debes ser el dueño y tener el control de tus propios datos, separando la capa de almacenamiento de la capa de cálculo y permitiéndote usar el motor de consultas adecuado para cada tarea. Con Basin, puedes leer y escribir tus datos usando cualquier motor compatible con Iceberg, como PyIceberg, DuckDB, Snowflake y Apache Spark. Ese tipo de portabilidad de datos solo es posible con salida gratuita, lo que permite a los desarrolladores acceder a sus datos en Cloudflare desde la amplia variedad de herramientas del ecosistema, independientemente de la región o la nube.

“Bobsled es una plataforma de productos de datos que utilizan los equipos de datos más avanzados del mundo para crear y distribuir datos preparados para la IA a socios, proveedores y clientes”, afirma Julien Grobbelaar, responsable de la plataforma en Bobsled. “Basin nos permite crear productos de datos a los que se puede acceder en cualquier región de todas las principales plataformas de datos e IA, todo ello con una fiabilidad de nivel de producción y a un menor coste gracias a la ausencia de tarifas de salida”.

Además de la salida gratuita, nuestra arquitectura sin servidor nos permite ofrecer una mayor eficiencia de costes a nuestros clientes con una tarificación basada en el uso. Solo se te factura cuando Basin importa, procesa o consulta tus datos. Los desarrolladores pueden crear herramientas de análisis para proyectos personales a un coste mínimo o nulo, mientras que nuestra tarificación se adapta de forma económica a los casos de uso de grandes empresas. No hay que preocuparse por cargos por horas ni por costes de infraestructura adicionales.

Si estás listo para empezar, echa un vistazo al tutorial de Basin para ver una guía paso a paso sobre cómo usar Basin Pipelines para enviar eventos a una tabla de Apache Iceberg gestionada por Basin Catalog, y consultarlos con Basin SQL. Sigue leyendo para saber más sobre Basin y cuáles son nuestros próximos pasos.

¿Por qué Basin?

Lanzamos estos productos el año pasado como Cloudflare Data Platform, nombre que nos ha funcionado bien durante este primer año de disponibilidad. Para nuestro lanzamiento general, decidimos que necesitábamos un nuevo nombre que englobara nuestras ambiciones para la plataforma, uniera todos los productos y fuera un poco más impactante.

Una cuenca es el lugar donde los ríos de muchos orígenes confluyen en un único punto. Nos pareció que “Basin” refleja a la perfección cómo se usa la plataforma: Pipelines lleva los datos a Basin Catalog, mientras que Basin SQL permite consultarlos al instante. Un dato curioso: aproximadamente el 20 % de la superficie terrestre drena hacia cuencas endorreicas, igual que más del 20 % de la web se encuentra detrás de la red de Cloudflare. 

Hoy en día, Basin se compone de tres productos: Pipelines, Catalog y SQL, que cubren la ingesta, el almacenamiento y las consultas, y se irá ampliando con el tiempo con más productos que gestionen el resto del ciclo de vida de los datos analíticos.

Basin Pipelines

Antes de poder consultar tus datos, tus eventos deben ser ingestados, estructurados según un esquema y guardados en almacenamiento de objetos. Esta es la función de Basin Pipelines. Acepta eventos a través de puntos finales HTTP o enlaces de Workers, los procesa según una consulta SQL y los envía a Basin Catalog como tablas de Apache Iceberg o a R2 como archivos JSON o Parquet.

Desde nuestro lanzamiento en beta, los usuarios han creado decenas de miles de Pipelines para una amplia variedad de casos de uso. Por ejemplo, un patrón habitual que vemos es el uso de Pipelines para transformar los registros HTTP de Cloudflare antes de almacenarlos:

INSERT INTO http_logs_sink
SELECT
  EdgeResponseStatus,
  to_timestamp_micros(EdgeStartTimestamp) AS event_time,
  upper(ClientRequestMethod) AS method,
  sha256(ClientIP) AS hashed_ip
FROM http_logs_stream
WHERE EdgeResponseStatus >= 400;

Hacer este trabajo durante la ingesta puede reducir significativamente el espacio de almacenamiento, minimizar el ruido procedente de fuentes de datos dinámicas y ayudar a evitar que se escriban valores confidenciales o innecesarios.

Desde la versión beta, hemos ampliado mucho la escalabilidad de Pipelines: ahora admitimos una ingesta de hasta 3 GB/s por flujo. También hemos ampliado el conjunto de funciones y la integración con otros sistemas de Cloudflare. A continuación, tenemos previsto ampliar aún más las capacidades de Pipelines, incluyendo:

• Integración con Cloudflare Logpush: puedes transformar los registros de Cloudflare con SQL y almacenarlos como archivos Parquet comprimidos o tablas de Iceberg, listos para consultarlos con Basin SQL u otro motor.
• Los enlaces de Worker reconocen el esquema. Al ejecutar wrangler types se generan tipos de TypeScript a partir del esquema de un flujo, detectando campos que faltan y discrepancias de tipos antes de la implementación.
• Los errores de calidad de datos son visibles. El panel de control y la API GraphQL muestran los eventos descartados y distinguen entre campos ausentes, incompatibilidades de tipo, errores de análisis y valores nulos.
• Toda la ruta de ingesta puede ser infraestructura como código. Los recursos de Terraform abarcan el catálogo, el flujo, el sumidero y el SQL que los conecta.

Planeamos ampliar aún más las capacidades de Pipelines, para incluir:

• Partición personalizada al escribir en Basin Catalog
• Migraciones de esquemas, configuración actualizable y SQL de Pipelines
• Compatibilidad con Iceberg V3, incluido el tipo “Variant” para consultar de forma eficiente datos semiestructurados
• Procesamiento con estado para gestionar cargas de trabajo como agregaciones en streaming, uniones y vistas materializadas actualizadas de forma incremental

Basin Catalog

Basin Catalog fue el primer producto que lanzamos de la familia el año pasado. Desde entonces, hemos visto cómo miles de desarrolladores utilizan Basin Catalog para casos de uso sencillos, como proporcionar a DuckDB una forma estructurada de acceder a datos analíticos en R2, hasta desarrolladores que crean plataformas completas de intercambio de datos empresariales, aprovechando al máximo la ausencia de tarifas de salida y las API fáciles de usar.

Basin Catalog es la forma más sencilla de comenzar con Apache Iceberg. Solo tienes que ejecutar:

npx wrangler basin catalog create CATALOG_NAME

Al instante dispones de un catálogo REST de Apache Iceberg totalmente gestionado que realiza automáticamente el mantenimiento rutinario necesario para mantener esas tablas en buen estado y con un buen rendimiento.

Cuando anunciamos Data Platform, Basin Catalog acababa de incorporar la compactación automática. Desde entonces, ha evolucionado para mantener las tablas en buen estado a medida que tus datos crecen:

• Las políticas de compactación por tabla te permiten elegir los tamaños de archivo deseados en función del patrón de acceso de cada tabla.
• La caducidad automática de instantáneas elimina las instantáneas antiguas de Iceberg según una política de retención, al tiempo que conserva un número mínimo de instantáneas recientes.
• La limpieza de archivos de datos sin referencias recupera espacio de almacenamiento cuando caducan las instantáneas, sin necesidad de un trabajo de mantenimiento independiente de Spark.
• La optimización de manifiestos consolida y agrupa los manifiestos fragmentados por partición antes de la compactación, lo que reduce la E/S de metadatos durante la planificación de consultas.

Tenemos algunas funcionalidades muy interesantes en desarrollo para Basin Catalog, entre las que se incluyen:

• Una nueva forma de compactación para clasificar y agrupar datos de forma eficiente y mejorar así el rendimiento de las consultas
• Controles de autenticación más detallados para espacios de nombres y tablas
• Compatibilidad con jurisdicciones para cumplir con los requisitos de soberanía de datos y cumplimiento normativo

Basin SQL

Basin SQL es nuestro motor de consultas distribuido y sin servidor para las tablas de Apache Iceberg almacenadas en Basin Catalog. Está diseñado para leer grandes conjuntos de datos y escala automáticamente a través de la red global de Cloudflare. No hay que aprovisionar clústeres ni recursos, solo una API lista para usar con la que tú y tus agentes podéis empezar a consultar vuestros datos al instante.

En su lanzamiento en fase beta, Basin SQL ya era excelente para filtrar y explorar grandes tablas de eventos y series temporales. Durante el último año, Basin SQL ha evolucionado para admitir cientos de funciones, entre las que se incluyen:

• Agregaciones estándar y aproximadas, GROUP BY, HAVING y comandos de descubrimiento de esquemas
• Más de 190 funciones escalares y agregadas para cadenas, marcas de tiempo, expresiones regulares, criptografía, estadísticas, matrices, mapas y estructuras
• Expresiones CASE, expresiones de tabla común, conversión de tipos, aritmética y EXPLAIN
• Uniones internas, externas, semi y anti; subconsultas; autouniones; y consultas con varias tablas
• DISTINCT, UNION, INTERSECT y EXCEPT
• Funciones de ventana, QUALIFY, conjuntos de agrupación, rollups y cubos
• Un conjunto de funciones JSON

Imagina que tu Pipeline envía eventos de la aplicación a una tabla y datos de cuentas a otra. Ahora puedes unir esas tablas, agregar la actividad por cliente, clasificar los resultados con una función de ventana y filtrar la clasificación en una sola consulta:

WITH account_activity AS (
  SELECT
    a.plan,
    e.account_id,
    count(*) AS events,
    approx_distinct(e.user_id) AS active_users
  FROM analytics.events e
  JOIN analytics.accounts a
    ON e.account_id = a.account_id
  WHERE e.event_time >= '2026-09-01T00:00:00Z'
  GROUP BY a.plan, e.account_id
)
SELECT
  *,
  rank() OVER (PARTITION BY plan ORDER BY events DESC) AS activity_rank
FROM account_activity
QUALIFY rank() OVER (PARTITION BY plan ORDER BY events DESC) <= 10;

Puedes ejecutar Basin SQL desde Wrangler o la API, o abrir el editor integrado en el panel de control de Cloudflare. El editor ofrece resaltado de sintaxis y autocompletado, un explorador de espacios de nombres y tablas, estadísticas y planes de consultas, y resultados exportables. Hace que el camino desde una nueva tabla hasta una respuesta útil sea cuestión de segundos.

El equipo no se detiene aquí y actualmente está trabajando en:

• Estadísticas avanzadas y programación adaptativa para mejorar el rendimiento y la eficiencia de las consultas
• Compatibilidad completa con el lenguaje de definición de datos (DDL) directamente desde Basin SQL
• Compatibilidad con Iceberg V3, incluyendo soporte para los tipos VARIANT y geoespaciales

¿Y ahora qué?

Nuestra visión de futuro es que la infraestructura de datos quede totalmente oculta. Los formatos de almacenamiento, los productos y los recursos no son más que detalles de implementación —detalles importantes que ayudan a conseguir resultados clave—, pero que suelen ser un obstáculo. Estamos trabajando para crear una plataforma en la que los desarrolladores empiecen con preguntas en lugar de con sentencias CREATE o comandos de la CLI. Ya hemos sentado las bases para esa visión y ahora seguimos avanzando hacia ella con:

• Compatibilidad con la última especificación de Apache Iceberg en toda la plataforma, lo que abre la puerta a formas más flexibles de usar tus datos
• Fuentes y destinos de ingesta con solo pulsar un botón, con conexiones sin necesidad de configuración entre los productos para desarrolladores y de observabilidad de Cloudflare.
• Estrategias avanzadas y adaptativas de mantenimiento de tablas en Basin Catalog que organizan automáticamente los datos en función de patrones de consulta reales.
• Ampliación continua de la compatibilidad con SQL, el rendimiento y la observabilidad para cargas de trabajo analíticas cada vez más compleja.s
• Más formas de procesar datos de forma continua en tiempo real y activar acciones basadas en las señales que contienen los datos.
• Herramientas para cumplir con las normas de cumplimiento normativo y soberanía de datos en toda la plataforma.

Seguiremos trabajando con estándares abiertos, usando formatos y protocolos abiertos, aportando mejoras a los proyectos de los que dependemos y asegurándonos de que tus datos sigan estando disponibles para todo el ecosistema.

Primeros pasos

Basin Pipelines, Basin Catalog y Basin SQL ya están disponibles de forma general. Puedes usarlos juntos como una plataforma integral o adoptar las partes que mejor se adapten a tu arquitectura actual.

Sigue el tutorial de introducción para importar eventos, crear una tabla de Apache Iceberg en Basin Catalog y consultarla con Basin SQL. Visita la documentación de Basin para ver guías de productos, precios, límites e integraciones.

Las configuraciones existentes de Cloudflare Pipelines, R2 Data Catalog y R2 SQL seguirán funcionando.

Estamos deseando ver lo que creas. Comparte tus comentarios con nosotros en Cloudflare Developers Discord.