在過去幾年裡,我們看到開發人員憑藉即時通訊突破了可能性極限 — 協作工具、大規模線上觀摩聚會和互動式直播教室均呈爆炸式增長。
我們在日常生活中越來越多地運用 AI。以文字為基礎的互動正朝著更自然的方式演變:語音和影片。當使用者與 AI 開發人員建立的應用程式和工具互動時,我們對回應時間和連線品質寄予厚望。AI 的複雜應用程式不只在一個工具,而是工具組合中構建,這些工具通常來自不同的提供者,需要中間有連網良好的雲端來協調不同的 AI 工具。
開發人員已經使用 Workers、Workers AI 以及我們的 WebRTC SFU 和 TURN 服務來構建強大的應用程式,而無需考慮如何協調運算或媒體服務,使其更靠近使用者。即時應用程式自然而然地可用於全球各區域。
推出 Cloudflare Realtime 讓我們欣喜不已,這是一套產品,可協助您讓應用程式與即時音訊和影片體驗真正實現互動。Cloudflare Realtime 現在將我們的 SFU、STUN 和 TURN 服務以及全新的 RealtimeKit 整合在一起。
認識 RealtimeKit
RealtimeKit 集合了行動裝置 SDK(iOS、Android、React Native、Flutter)、Web 版 SDK(React、Angular、vanilla JS、Webcomponents)和伺服器端服務(錄製、協調、轉錄),使其比以往更容易構建即時語音、影片和 AI 應用程式。RealtimeKit 還包括使用者介面元件,可快速構建介面。
Dyte 是即時生態系統領域的領先公司,其背後的優秀團隊攜手 Cloudflare,共同加速 RealtimeKit 的開發。Dyte 團隊花費了數年時間,專注於讓所有技能層級的開發人員都能獲得即時體驗,並對開發人員旅程有著深刻的瞭解。他們建構抽象概念,以隱藏 WebRTC 的複雜性,而不會削弱其功能。
Dyte 已經在使用 Cloudflare 產品,對於 Cloudflare 遍佈全球 300 多座城市的現有即時基礎架構而言,這是一個完美的補充。他們構建了開發人員體驗層,讓複雜的媒體功能變得可便捷存取。我們非常高興他們的團隊加入Cloudflare,我們將團結一心,協助開發人員定義即時應用程式使用者互動的未來。
互動式應用程式不應需要 WebRTC 專業知識
對於許多開發人員來說,一開始的「我們來增加視訊聊天」,可能會迅速升級為數週對 WebSockets 和 WebRTC 的技術深入研究。雖然我們堅信 WebRTC 的潛力,但我們也知道,首次構建時就伴隨者真正的挑戰。WebRTC 工作階段偵錯可能需要開發人員瞭解深奧的新概念,例如導覽 ICE 候選地址失敗、TURN 伺服器設定和 SDP 協商問題。
首次構建 WebRTC 應用程式面臨的挑戰不止於此。裝置管理增加了另一層複雜性。瀏覽器和行動裝置平台中的攝像頭和麥克風 API 不一致,會導致生產中出現非預期行為。Chrome 以一種方式處理解析度切換,Safari 會以另一種方式處理,而 Android WebViews 則以獨特的令人沮喪的方式中斷。我們經常看到,在測試環境中完美運作的應用程式,在部署至特定裝置或瀏覽器後,卻莫名其妙地失敗了。
在 5 名測試使用者運作完美的系統,在 50 名真實世界參與者負載下會崩潰。頻寬適應不足,連線管理變得笨拙,如果沒有專業知識,幾乎不可能在各種網路條件下保持一致的品質。
最初的簡單功能變成了需要數月時間的專案,並且需要低層級工程設計來解決非業務核心的問題。
我們意識到,我們需要將產品延伸至用戶端裝置,以協助解決這些問題。
適用於 Kotlin、React Native、swift、JavaScript、Flutter 的 RealtimeKit SDK

RealtimeKit 是我們用於構建即時應用程式的工具組,消除了常見的 WebRTC 問題。RealtimeKit 的核心是一組跨平台 SDK,從工作階段建立和媒體權限,再到 NAT 周遊和連線管理,可處理所有低層級複雜性。您不必花費數週時間來實作和偵錯這些基礎,而是完全專注於為使用者打造獨特的體驗。
內建的記錄功能,消除了即時應用程式中最常要求但最難以實作的功能之一。無論您需要記錄會議以確保合規,為無法參加直播的學生儲存虛擬教室課程,還是讓內容創作者能夠封存其串流,RealtimeKit 對整個媒體管道的處理都遊刃有餘。無需再與費勁使用 MediaRecorder API,也不必構建自訂錄製基礎架構,這一切都能正常運作,並與您的使用者群一起擴展。
此外,我們還將 ElevenLabs 等提供者的語音 AI 功能直接整合至平台中。只需呼叫一個函數,即可將 AI 參與者新增至對話,從而開啟全新的互動模型。這些 AI 語音運作具有與人類參與者相同的延遲(在我們的全球網路中為數十毫秒),從而打造真正同步的體驗,讓 AI 和人類能夠自然地交談。再加上 RealtimeKit 能夠擴展至數百萬同時參與者,這樣就能支援過去不可行的全新應用程式類別。
開發人員體驗

RealtimeKit 專注於開發人員想要實現的目標,而不是基礎通訊協定的運作方式。只需一個 API 呼叫,即可新增參與者或開啟錄製功能。SDK 可處理跨平台的裝置列舉、權限要求和 UI 轉譯。在幕後,我們正在解決媒體協調和狀態管理中可能難以偵錯的棘手問題。
多年來,我們一直在默默地改善 Cloudflare RealtimeKit。從一開始,我們的全球網路就已經最佳化,從而最大限度地減少我們的網路與終端使用者之間的延遲,大多數網路中斷都由此引起。
我們開發了一種選擇性轉送單元 (SFU),可在參與者之間智慧地路由媒體串流,並根據網路狀況來動態調整品質。我們的 TURN 基礎架構解決了 NAT 周遊的複雜問題,允許在防火牆之後可靠地建立連線。藉助 Workers AI,我們將推斷功能帶到邊緣,從而最大限度地減少 AI 支援的互動產生的延遲。Workers 和 Durable Objects 提供了參與者之間保持一致狀態所需的 WebSocket 協調層。
SFU 和 TURN 服務現已正式推出
我們還宣佈,我們的 SFU 和 TURN 服務正式推出,適用於需要更多控制,以及與 Cloudflare 網路進行低層級整合的 WebRTC 開發人員。
SFU 現在支援聯播,這是一種非常常見的功能要求。聯播允許開發人員從多個選項中選擇媒體串流,類似於選擇線上影片的品質等級,但適用於 WebRTC。擁有不同網路品質的使用者,現在能夠獲得不同的品質等級,由 SFU 自動定義或手動選擇。
現在,我們的 TURN 服務提供進階分析,包括有關區域、國家/地區和城市層級用量指標的深入解析。Cloudflare 的 TURN 服務結合自訂識別碼和可撤銷權杖,可提供用量的深入檢視,有助於避免濫用。
我們的 SFU 和 TURN 產品仍是大規模構建 WebRTC 應用程式最經濟實惠的方式之一,每月免費使用 1,000 GB,之後每 GB 為 5 美分。
與 Hugging Face 合作,實現無縫的即時 AI 通訊
FastRTC 是 Hugging Face 的一個輕量級 Python 程式庫,可使用 WebRTC 在 AI 模型中輕鬆地往返串流即時音訊和影片。TURN 伺服器是 WebRTC 基礎架構的關鍵部分,確保媒體串流能夠跨防火牆和 NAT 可靠地連線。對於 FastRTC 使用者來說,設定全球分散式 TURN 伺服器可能既複雜又昂貴。
透過我們與 Hugging Face 的全新合作,FastRTC 使用者現在可免費存取 Cloudflare 的 TURN 伺服器產品,從而為其提供現成可用的可靠連線。開發人員每月只需使用 Hugging Face 存取權杖,即可獲得 10 GB 的 TURN 頻寬,無需設定、無需信用卡,也無需管理伺服器。隨著專案的發展,他們可輕鬆切換至 Cloudflare 帳戶,以獲得更多容量和更大型的免費方案。
這一整合讓 AI 開發人員能夠專注於構建語音介面、影片管道和多模態應用程式,而無需擔憂 NAT 周遊或網路可靠性。FastRTC 可簡化程式碼,Cloudflare 則可確保其隨時隨地運作。查看這些示範以開始使用。
在幾天而非數週內交付 AI 支援的即時應用程式

藉助 RealtimeKit,開發人員現在只需幾小時,即可實作複雜的即時體驗。SDK 將 WebRTC 開發中最耗時的方面抽離,同時提供針對常見實作模式量身打造的 API。以下是一些可能性:
視訊會議:只需編寫幾行程式碼,即可將多參與者視訊通話新增至您的應用程式。RealtimeKit 可處理連線管理、頻寬調整和裝置權限,這些通常需要花費數週的開發時間。
即時串流:構建互動式廣播,主持人可在其中向數千名觀眾串流,同時有選擇地讓參與者出現在螢幕上。SFU 根據參與者角色和網路狀況,自動最佳化媒體路由。
即時同步:實作觀摩聚會或協作式觀看體驗,使所有參與者的內容播放保持同步。計時 API 可處理傳統營運所需的複雜延遲計算和調整。
語音 AI 整合:新增轉錄和 AI 語音參與者,而無需構建自訂媒體管道。RealtimeKit 的媒體處理 API 可與您現有的驗證和儲存系統整合,而無需部署單獨的基礎架構。
我們看到早期測試人員使用 RealtimeKit,不僅可加速其現有專案,還從根本上使那些專案變得切實可行。
開始使用 RealtimeKit
即日起,您在 Cloudflare 儀表板中會看到全新的 Realtime 區段。此區段包括我們的 TURN 和 SFU 產品,以及我們的最新產品 RealtimeKit。
RealtimeKit 目前處於封閉測試階段,指定客戶可開始試用。目前測試版推出期間可免費進行測試。在這裡或透過 Cloudflare 儀表板中的連結,申請提前存取。我們迫不及待地想看看您構建的內容。
