Crea aplicaciones realmente interactivas con Cloudflare Realtime y RealtimeKit

En los últimos años, hemos visto cómo los desarrolladores están traspasando los límites de lo posible con la comunicación en tiempo real, y la popularidad de las herramientas para el trabajo colaborativo, las sesiones de visualización grupal (watch parties) en línea y las aulas interactivas en directo sigue en aumento.

La utilización de la IA en nuestra vida diaria es cada vez mayor. Las interacciones de texto están evolucionando hacia algo más natural: la voz y el vídeo. Cuando los usuarios interactúan con las aplicaciones y las herramientas que crean los desarrolladores de IA, tenemos grandes expectativas en cuanto al tiempo de respuesta y la calidad de la conexión. Las aplicaciones complejas de IA no se basan en una única herramienta, sino en una combinación de herramientas, a menudo de distintos proveedores. Esto requiere una nube bien conectada y ubicada en el centro para la coordinación de las distintas herramientas de IA.

Los desarrolladores ya utilizan Workers, Workers AI y nuestros servicios WebRTC SFU y TURN para desarrollar aplicaciones eficaces sin tener que pensar en cómo coordinar los servicios informáticos o multimedia para que estén lo más cerca posible de su usuario. Lo lógico es que haya una única "Región: Tierra" para las aplicaciones en tiempo real.

Nos complace presentar Cloudflare Realtime, un conjunto de productos para ayudarte a que tus aplicaciones sean realmente interactivas con experiencias de audio y vídeo en tiempo real. Cloudflare Realtime integra ahora nuestros servicios SFU, STUN y TURN, junto con nuestro nuevo producto, RealtimeKit.

RealtimeKit es un conjunto de SDK móviles (iOS, Android, React Native, Flutter), de SDK para la web (React, Angular, Vanilla JS, WebComponents) y de servicios del lado del servidor (grabación, coordinación, transcripción) con los que el desarrollo de aplicaciones de voz, vídeo e IA en tiempo real es más fácil que nunca. RealtimeKit también incluye componentes de interfaz de usuario para crear interfaces rápidamente. 

El increíble equipo de Dyte, una empresa líder en el ecosistema en tiempo real, se ha unido a Cloudflare para acelerar el desarrollo de RealtimeKit. Durante años, el objetivo del equipo de Dyte ha sido lograr que las experiencias en tiempo real fueran accesibles para todos los desarrolladores, fuera cual fuera su nivel de conocimientos, y entienden perfectamente la experiencia de los desarrolladores, por lo que crearon abstracciones que ocultaban la complejidad de WebRTC sin eliminar su eficacia.

Ya como usuario de los productos de Cloudflare, Dyte ha sido un complemento perfecto para la infraestructura en tiempo real existente de Cloudflare que abarca más de 300 ciudades en todo el mundo. Han creado una capa para la experiencia de los desarrolladores que permite acceder a complejas funciones multimedia. Nos complace enormemente que su equipo se haya unido a Cloudflare para que juntos, como un solo equipo, podamos ayudar a los desarrolladores a definir el futuro de la interacción de los usuarios para las aplicaciones en tiempo real.

Para muchos desarrolladores, lo que empieza como "agreguemos el chat de vídeo" puede suponer rápidamente semanas de análisis técnicos de WebSockets y WebRTC. Aunque creemos firmemente en el potencial de WebRTC, también sabemos que conlleva verdaderos desafíos cuando se carece de la experiencia previa en este desarrollo. La depuración de las sesiones de WebRTC puede requerir que los desarrolladores aprendan nuevos conceptos difíciles de comprender, como resolver los errores de los candidatos para el establecimiento de conectividad interactiva (ICE), las configuraciones del servidor TURN y los problemas relacionados con la negociación de los SDP.

Y no acaban aquí los desafíos que representa desarrollar por primera vez una aplicación WebRTC. La gestión de dispositivos agrava aún más la complejidad. La falta de coherencia entre las distintas API de cámara y micrófono de los navegadores y plataformas móviles supone comportamientos inesperados en un entorno de producción. Chrome gestiona el cambio de resolución de una manera, Safari de otra, y WebViews de Android se interrumpe de formas especialmente frustrantes. Con frecuencia, las aplicaciones que funcionan a la perfección en los entornos de prueba fallan misteriosamente cuando se implementan en determinados dispositivos o navegadores.

Los sistemas que funcionan perfectamente con 5 usuarios de prueba caen con una carga de 50 participantes en el mundo real. La adaptación del ancho de banda falla, la gestión de la conexión es difícil de manejar y garantizar una calidad constante en las diversas condiciones de la red resulta casi imposible sin tener los conocimientos especializados. 

Lo que empieza como una función sencilla se convierte en un proyecto de varios meses que requiere recursos de ingeniería de bajo nivel para resolver problemas que no son esenciales para tu negocio.

Nos dimos cuenta de que, a fin de resolver estos problemas, debíamos ampliar nuestros productos a los dispositivos de los clientes.

RealtimeKit es nuestro conjunto de herramientas para el desarrollo de aplicaciones en tiempo real sin los problemas habituales de WebRTC. RealtimeKit se basa en un conjunto de SDK multiplataforma que se encargan de todas las complejidades de bajo nivel, desde el establecimiento de sesiones y los permisos multimedia hasta el NAT traversal y la gestión de conexiones. En lugar de pasar semanas implementando y depurando estos elementos básicos, puedes centrarte en crear experiencias exclusivas para tus usuarios.

Las funciones de grabación están integradas, lo que elimina la necesidad de incorporar una de las funciones más solicitadas pero difíciles de implementar en las aplicaciones en tiempo real. Tanto si necesitas grabar reuniones para garantizar la conformidad, como guardar sesiones de aula virtual para los estudiantes que no pudieron asistir en directo, o permitir a los creadores de contenido archivar sus transmisiones, RealtimeKit se encarga de todo el proceso multimedia. Ya no tendrás que lidiar con las API de MediaRecorder ni crear una infraestructura de grabación personalizada. Simplemente funciona, y se escala al mismo ritmo que tu base de usuarios.

También hemos integrado directamente en la plataforma funciones de IA de voz de proveedores como ElevenLabs. Es tan sencillo añadir participantes de IA a las conversaciones como invocar una función, lo que abre la puerta a modelos de interacción completamente nuevos. Estas voces de IA operan con la misma baja latencia que los participantes humanos (decenas de milisegundos en nuestra red global), creando experiencias verdaderamente síncronas en las que la IA y los humanos conversan con naturalidad. Esto, combinado con la capacidad de RealtimeKit de escalar a millones de participantes simultáneos, permite categorías completamente nuevas de aplicaciones que antes no eran viables.

RealtimeKit se centra en los objetivos de los desarrolladores, no en el funcionamiento de los protocolos subyacentes. Puedes añadir participantes o activar la grabación con solo una llamada API. Los SDK gestionan la enumeración de dispositivos, las solicitudes de permisos y la representación de la interfaz de usuario en todas las plataformas. En segundo plano, nosotros resolvemos los espinosos problemas de orquestación multimedia y la gestión de estados que pueden ser difíciles de depurar.

Llevamos años trabajando discretamente para lanzar Cloudflare RealtimeKit. Desde el principio, hemos optimizado nuestra red global para minimizar la latencia entre nuestra red y los usuarios finales, que es donde se producen la mayoría de las interrupciones de la red.

Hemos desarrollado una unidad de reenvío selectivo (SFU) que enruta de forma inteligente los flujos multimedia entre los participantes, ajustando dinámicamente la calidad en función de las condiciones de la red. Nuestra infraestructura TURN resuelve el complejo problema del NAT transversal, permitiendo el establecimiento fiable de las conexiones detrás de los firewalls. Con Workers AI, llevamos las funciones de inferencia al perímetro, minimizando la latencia para las interacciones basadas en IA. Workers y Durable Objects han proporcionado la capa de coordinación de WebSockets necesaria para garantizar un estado coherente entre los participantes.

También anunciamos la disponibilidad general de nuestros servicios SFU y TURN para los desarrolladores de WebRTC que necesiten un mayor control y una integración de bajo nivel con la red de Cloudflare.

SFU ahora admite la transmisión simultánea, una función solicitada habitualmente. La transmisión simultánea permite a los desarrolladores seleccionar transmisiones multimedia entre varias opciones, de la misma forma que seleccionan el nivel de calidad de un vídeo en línea, pero para WebRTC. Los usuarios con distintas calidades de red ahora pueden recibir distintos niveles de calidad, ya sea definidos automáticamente por la SFU o seleccionados manualmente.

Nuestro servicio TURN ofrece ahora análisis avanzados con información sobre métricas de uso a nivel regional, nacional y de ciudad. Junto con los identificadores personalizados y los tokens revocables, el servicio TURN de Cloudflare ofrece una visión detallada del uso y te ayuda a evitar los abusos.

Nuestros productos SFU y TURN siguen siendo una de las formas más asequibles de desarrollar aplicaciones WebRTC a escala, a 5 céntimos por GB una vez superados los 1000 GB de uso gratuito al mes.

FastRTC es una biblioteca ligera de Python de Hugging Face que facilita la transmisión de audio y vídeo en tiempo real dentro y fuera de los modelos de IA mediante WebRTC. Los servidores TURN son un componente fundamental de la infraestructura de WebRTC y garantizan que los flujos multimedia puedan conectarse de forma fiable a través de firewalls y NAT. Para los usuarios de FastRTC, la configuración de un servidor TURN distribuido globalmente puede ser compleja y costosa.  

Gracias a nuestra nueva asociación con Hugging Face, los usuarios de FastRTC ahora tienen acceso gratuito al producto TURN Server de Cloudflare, que les proporciona una conectividad fiable desde el primer momento. Los desarrolladores obtienen 10 GB de ancho de banda de TURN al mes con solo un token de acceso de Hugging Face, sin necesidad de configuración, ni tarjeta de crédito, ni servidores que gestionar. A medida que crecen los proyectos, pueden cambiar fácilmente a una cuenta de Cloudflare para obtener más capacidad y un nivel gratuito más amplio.

Esta integración permite a los desarrolladores de IA centrarse en crear interfaces de voz, procesos de vídeo y aplicaciones multimodales sin tener que preocuparse por el NAT transversal o la fiabilidad de la red. FastRTC simplifica el código, y Cloudflare garantiza su funcionamiento en todas partes. Consulta estas demostraciones para empezar.

Con RealtimeKit, los desarrolladores pueden implementar experiencias complejas en tiempo real en cuestión de horas. Los SDK eliminan los aspectos del desarrollo de WebRTC que requieren más tiempo, al mismo tiempo que proporcionan API adaptadas a los patrones de implementación comunes. Estas son algunas de las posibilidades: 

• Videoconferencias: añade a tu aplicación videollamadas con varios participantes mediante tan solo unas líneas de código. RealtimeKit se encarga de las tareas de gestión de la conexión, de la adaptación del ancho de banda y de los permisos de los dispositivos, que suelen llevar semanas a los desarrolladores.

• Transmisión en directo: crea retransmisiones interactivas en las que los anfitriones puedan retransmitir a miles de espectadores y mostrar de forma selectiva a los participantes en la pantalla. La SFU optimiza automáticamente el enrutamiento multimedia en función de los roles de los participantes y las condiciones de la red.

• Sincronización en tiempo real: implementa sesiones de visualización grupal o experiencias de visualización colaborativas que garanticen la sincronización de la reproducción de contenido entre todos los participantes. La API de sincronización se encarga de los complejos cálculos del retardo y de los ajustes tradicionalmente necesarios.

• Integraciones de IA de voz: añade participantes de transcripción y voz de IA sin crear canales multimedia personalizados. Las API de procesamiento multimedia de RealtimeKit se integran con tus sistemas de autenticación y de almacenamiento existentes, sin necesidad de una infraestructura independiente.

La utilización de RealtimeKit por parte de nuestros primeros evaluadores nos ha mostrado que no solo acelera sus proyectos existentes, sino que cambia completamente qué proyectos se vuelven viables. 

A partir de hoy, encontrarás una nueva sección Realtime en tu panel de control de Cloudflare. Esta sección incluye nuestros productos TURN y SFU junto con nuestro último producto, RealtimeKit. 

RealtimeKit se encuentra actualmente en una versión beta cerrada, listo para que una selección de clientes empiecen a probarlo. Actualmente, puedes probarlo de forma gratuita durante la versión beta. Solicita acceso anticipado aquí o a través del enlace en tu panel de control de Cloudflare. Estamos impacientes por ver lo que desarrollas.