过去几年间,我们看到开发人员不断突破实时通信的技术边界 —— 协作工具、大规模在线观影派对以及交互式直播课堂等应用迅速普及。
我们在日常生活中越来越多地使用 AI 技术。基于文本的交互正在演进,向着更自然的形态发展:语音和视频。当用户与 AI 开发人员创建的应用和工具交互时,我们对响应时间和连接质量有着极高的期望。复杂的 AI 应用不仅仅依赖单一工具,而是由多种工具组合而成,这些工具通常来自不同的提供商。因此,需要一个高效连接的云平台作为中间协调层,实现不同 AI 工具的无缝集成。
开发人员已经使用 Workers、Workers AI 以及我们的 WebRTC SFU 和 TURN 服务来构建强大的应用,无需考虑协调计算或媒体服务,以便在最接近用户的地方运行。对于实时应用而言,拥有单一的区域:全球是理所当然的。
我们很高兴能推出 Cloudflare Realtime 产品套件,旨在帮助您通过实时音频和视频体验,使应用真正实现交互性。Cloudflare Realtime 现已整合我们的 SFU、STUN 和 TURN 服务,并推出全新的 RealtimeKit。
隆重推出 RealtimeKit
RealtimeKit 是一套全面的开发工具集,包括移动端 SDK(支持 iOS、Android、React Native、Flutter)、Web SDK(覆盖 React、Angular、原生 JavaScript 和 WebComponents)以及服务端服务(包括录制、协调和转录),旨在极大地简化实时语音、视频和 AI 应用的开发。RealtimeKit 还提供用户界面组件,以便快速构建界面。
实时生态系统领先公司 Dyte 背后的优秀团队加入 Cloudflare,以加速 RealtimeKit 的开发进程。Dyte 团队多年来专注于让所有技能水平的开发人员都能交付实时体验,并对开发过程有深刻的理解。他们构建了抽象层,在不损失 WebRTC 核心能力的同时,有效屏蔽了其复杂性。
作为 Cloudflare 产品的用户,Dyte 完美补充了 Cloudflare 现有覆盖全球 300+ 城市的实时基础设施。他们构建了一个开发人员体验层,让复杂的媒体功能易于访问。我们热烈欢迎 Dyte 团队加入 Cloudflare,作为一个团队,我们将共同帮助开发人员定义实时应用用户交互的未来。
交互式应用不应要求 WebRTC 专业知识
对于许多开发人员来说,最初“让我们添加视频聊天功能”的简单想法,很快就会升级为耗费数周时间钻研 WebSocket 和 WebRTC 技术。尽管我们坚信 WebRTC 的潜力,但我们也深知在首次构建时会面临诸多实际挑战。调试 WebRTC 会话可能要求开发人员学习诸多深奥的技术概念,如处理 ICE 候选者失败、TURN 服务器配置以及 SDP 协商问题。
首次构建 WebRTC 应用的挑战还不止于此。设备管理增添了另一层技术复杂性。跨浏览器和移动平台不一致的摄像头和麦克风 API 会在生产环境中引入意料之外的行为。Chrome 以一种方式处理分辨率切换,Safari 则采用另一种方式,而 Android WebView 则以独特且令人沮丧的方式出现故障。我们经常看到应用在测试环境中完美运行,但部署到特定设备或浏览器时却诡异地失效。
在 5 名测试用户环境下完美工作的系统,在 50 个现实世界参与者的负载下就会崩溃。带宽适应不稳定,连接管理变得笨拙,没有专业知识几乎不可能在不同网络条件下保持一致的质量。
一个看似直接的功能特性,最终演变成一个耗时数月的项目,需要进行底层工程开发以解决非核心业务的技术问题。
我们意识到需要将产品能力扩展至客户端设备,以帮助解决这些技术问题。
适用于 Kotlin、React Native、Swift、JavaScript 和 Flutter 的 RealtimeKit SDK

RealtimeKit 我们旨在帮助避免 WebRTC 开发常见技术难点的实时应用工具包。RealtimeKit 的核心是一套跨平台 SDK,负责处理从会话建立、媒体权限到 NAT 穿透和连接管理等所有底层技术复杂性。不必耗费数周时间实施和调试这些基础技术,您可以全身心专注于为用户创造独特的交互体验。
录制功能已内置其中,消除了实时应用中最常需求却最难实现的技术特性之一。无论是需要录制会议以满足合规要求,为无法参加直播的学生保存虚拟课堂,还是让内容创作者能够存档其直播内容,RealtimeKit 都可以处理整个媒体管道。无需费心调试 MediaRecorder API 或自建录制基础设施 ——它即插即用,并随着您的用户规模无缝扩展。
我们还将 ElevenLabs 等提供商的语音 AI 能力直接集成到平台中。将 AI 参与者添加到对话变得就像函数调用一样简单,开辟了全新的交互模型。这些 AI 语音以与人类参与者相同的低延迟运行——在我们的全球网络中仅需几十毫秒——从而创造出 AI 和人类能自然对话的真正同步体验。结合 RealtimeKit 扩展至数百万并发参与者的能力,之前不可行的全新应用类别成为可能。
开发人员体验

RealtimeKit 专注于开发人员想要完成的工作,而不是底层协议如何工作。调用一个API 即可添加参与者或打开录制功能。SDK 负责处理跨平台的设备枚举、权限请求和用户界面渲染。在幕后,我们正在解决媒体编排和状态管理中那些可能令人头疼且难以调试的复杂问题。
多年来,我们一直默默致力开发 Cloudflare RealtimeKit。我们的全球网络从一开始就进行了优化,旨在最大限度地减少我们的网络与最终用户之间的延迟,大部分网络中断正是在这一环节产生。
我们开发了选择性转发单元(SFU),可在参与者之间智能路由媒体流,并根据网络状况动态调整质量。我们的 TURN 基础设施解决了NAT 遍历的复杂问题,允许在防火墙后面可靠地建立连接。借助 Workers AI,我们将推理能力带到了边缘,最大限度地减少 AI 驱动交互的延迟。Workers 和 Durable Objects 提供了维持跨参与者状态一致性所必需的 WebSocket 协调层。
SFU 和 TURN 服务现已正式发布
我们已同时发布选择性转发单元(SFU)和 TURN 服务的正式版本,为需要更精细控制并希望与 Cloudflare 网络进行底层集成的 WebRTC 开发人员提供支持。
SFU 现已支持 simulcast,一项十分常见的功能特征。simulcast 允许开发人员从多个选项中选择媒体流,类似于选择在线视频的质量级别,但这里针对 WebRTC。不同网络质量的用户现在能够获得不同级别的质量,由 SFU 自动定义或手动选择。
Cloudflare TURN 服务现提供高级分析,以便深入了解区域、国家和城市级别的使用指标。结合自定义标识符和可撤销令牌,Cloudflare 的 TURN 服务提供对使用情况的深入了解,并帮助避免滥用。
我们的 SFU 和 TURN 产品仍然是大规模构建 WebRTC 应用最经济的方式之一,达到每月 1000 GB 免费使用量后,费用为 5 美分/GB。
与 Hugging Face 合作实现无缝的实时 AI 通信
FastRTC 是 Hugging Face 的一个轻量级 Python 库,使用 WebRTC 可以轻松地将实时音频和视频传入传出 AI 模型。TURN 服务器是 WebRTC 基础设施的关键部分,确保媒体流可以跨越防火墙和 NAT 进行可靠连接。对于 FastRTC 的用户来说,设置全球分布式 TURN 服务器可能既复杂又昂贵。
通过与 Hugging Face 的最新合作,FastRTC 用户现可免费使用 Cloudflare 的 TURN 服务器产品,从而获得开箱即用的可靠连接。开发人员每月使用 Hugging Face 访问令牌即可获得 10 GB 的 TURN 带宽——无需设置,无需信用卡,也无需管理服务器。随着项目的发展,开发人员可以轻松切换至 Cloudflare 账户,获得更大的容量和更高额度的免费资源。
这种集成使 AI 开发人员能够专注于构建语音接口、视频管道和多模式应用,而无需担心 NAT 遍历或网络可靠性。FastRTC 简化代码, Cloudflare 确保其在任何地方都能工作。查看这些演示以开始使用。
交付 AI 驱动的实时应用只需数日,而非数周

通过 RealtimeKit,开发人员现在可以在数小时内实现复杂的实时交互体验。SDK 抽离了 WebRTC 开发最耗时的方面,提供针对常见实现模式量身定制的 API。如下是几种可能性:
视频会议:只需几行代码,即可将多人视频通话添加到您的应用。RealtimeKit 处理连接管理、带宽适应和设备权限,这些工作通常需要数周的开发时间。
实时直播 :构建交互式广播,主持人可以向成千上万的观众进行直播,并可灵活地邀请参与者上屏。SFU 根据参与者角色和网络状况自动优化媒体路由。
实时同步:实现观影派对或协作观看体验,确保内容播放在所有参与者间保持同步。计时 API 可以处理传统要求的复杂延迟计算和调整。
AI 语音集成:添加转录和 AI 语音参与者,无需构建自定义媒体管道。RealtimeKit 的媒体处理 API 与您现有的身份验证和存储系统集成,无需独立的基础设施。
在 RealtimeKit 的早期测试中,我们发现它不仅能加速测试者现有项目的开发,更能从根本上改变项目的可行性边界。
开始使用 RealtimeKit
从今天开始,您会在 Cloudflare 仪表板中看到一个新的 Realtime 专区。其中包括我们的 TURN 和 SFU 产品,以及我们的最新产品 RealtimeKit。
RealtimeKit 目前处于封闭测试阶段,供部分客户试用。该产品目前在测试期间可免费使用。在此处或 Cloudflare 仪表板中的链接申请提前体验。我们迫不及待想看到您构建的成果。
