Machen Sie Ihre Apps mit Cloudflare Realtime und RealtimeKit wirklich interaktiv

In den vergangenen Jahren haben Entwicklerinnen und Entwickler die Grenzen des Machbaren im Bereich der Echtzeitkommunikation verschoben – Tools für kollaboratives Arbeiten, große Online-Watch-Partys und interaktive Live-Klassenräume gewinnen rasant an Beliebtheit.

Wir nutzen KI immer mehr in unserem Alltag. Textbasierte Interaktionen entwickeln sich zu etwas Natürlicherem: Sprache und Video. Wenn Nutzenden mit den Anwendungen und Tools interagieren, die von KI-Entwicklerinnen und -Entwicklern geschaffen wurden, erwarten wir eine schnelle Reaktionszeit und eine stabile Verbindung. Komplexe KI-Anwendungen basieren nicht nur auf einem Tool, sondern auf einer Kombination mehrerer Werkzeuge – oft von verschiedenen Anbietern. Dafür braucht es eine gut vernetzte Cloud-Infrastruktur, die als zentrale Koordinationsplattform verschiedener KI-Tools fungiert.

Entwicklerinnen und Entwickler nutzen bereits Workers, Workers AI und unsere WebRTC SFU- und TURN-Services, um leistungsstarke Apps zu erstellen, ohne sich Gedanken über die Koordinierung von Rechen- oder Mediendiensten machen zu müssen, um ihrem Nutzenden am nächsten zu sein. Für Echtzeitanwendungen ist es nur logisch, dass es eine einzige „Region: Erde“ geben sollte.

Wir freuen uns, Ihnen Cloudflare Realtime vorzustellen – eine Produktreihe, mit der Sie Ihre Anwendungen durch Echtzeit-Audio- und Videoerlebnisse wirklich interaktiv gestalten können. Cloudflare Realtime vereint jetzt unsere SFU-, STUN- und TURN-Dienste zusammen mit dem neuen RealtimeKit.

RealtimeKit ist eine Sammlung von SDKs für Mobilgeräte (iOS, Android, React Native, Flutter), SDKs für das Web (React, Angular, Vanilla JS, WebComponents) und serverseitigen Diensten (Aufzeichnung, Koordination, Transkription), die es einfacher denn je macht, Sprach-, Video- und KI-Anwendungen in Echtzeit zu erstellen. RealtimeKit enthält auch Komponenten für die Benutzeroberfläche, um Schnittstellen schnell zu erstellen. 

Das großartige Team hinter Dyte, einem führenden Unternehmen im Bereich Echtzeit-Ökosystem, hat sich Cloudflare angeschlossen, um die Entwicklung von RealtimeKit zu beschleunigen. Das Dyte-Team arbeitet seit Jahren daran, Echtzeit-Erlebnisse für Entwicklerinnen und Entwicklern aller Erfahrungsstufen zugänglich zu machen. Mit einem tiefen Verständnis für die Entwicklerperspektive schufen sie Abstraktionen, die die Komplexität von WebRTC verbergen, ohne dessen Leistungsfähigkeit einzuschränken.

Dyte war bereits Nutzer von Cloudflare-Produkten und deshalb eine perfekte Ergänzung zu der bestehenden Echtzeit-Infrastruktur von Cloudflare, die sich über mehr als 300 Städte weltweit erstreckt. Sie schufen eine Entwicklererfahrungsebene, die komplexe Medienfunktionen einfach zugänglich macht. Wir freuen uns sehr, dass sich ihr Team Cloudflare anschließen wird, um Entwicklerinnen und Entwickler dabei zu helfen, die Zukunft der Benutzerinteraktion für Echtzeitanwendungen als ein Team zu definieren.

Was für viele Entwicklerinnen und Entwickler als einfaches Vorhaben beginnt – etwa einen Video-Chat zu integrieren – entwickelt sich oft zu einem aufwendigen, mehrwöchigen Eintauchen in komplexe Technologien wie WebSockets und WebRTC. Wir sind zwar vom Potenzial von WebRTC überzeugt, wissen aber auch, dass es gerade bei der erstmaligen Entwicklung echte Herausforderungen mit sich bringt. Beim Debuggen von WebRTC-Sitzungen müssen sich Entwicklerinnen und Entwickler oft mit komplexen Themen wie Ausfällen von ICE-Kandidaten, TURN-Serverkonfigurationen und Problemen bei der SDP-Aushandlung auseinandersetzen.

Das sind jedoch noch nicht alle Herausforderungen, die bei der erstmaligen Entwicklung einer WebRTC-App entstehen können. Durch die Geräteverwaltung nimmt die Komplexität noch einmal zu. Uneinheitliche Kamera- und Mikrofon-APIs in verschiedenen Browsern und mobilen Plattformen führen zu unerwartetem Verhalten in der Produktionsumgebung. Chrome geht mit dem Wechsel der Auflösung auf eine bestimmte Weise um, Safari auf eine andere – und Android WebViews sorgen auf ihre ganz eigene, frustrierende Art für Probleme. Wir erleben regelmäßig, dass Anwendungen, die in Testumgebungen perfekt funktionieren, auf unerklärliche Weise scheitern, wenn sie auf bestimmten Geräten oder Browsern bereitgestellt werden.

Systeme, die mit fünf Testnutzern reibungslos funktionieren, brechen unter der Last von 50 echten Teilnehmern zusammen. Die Anpassung der Bandbreite gerät ins Stocken, das Verbindungsmanagement wird unübersichtlich, und eine gleichbleibend hohe Qualität unter verschiedenen Netzwerkbedingungen ist ohne spezielles Fachwissen kaum zu gewährleisten. 

Was als einfaches Feature beginnt, wird zu einem mehrmonatigen Projekt, das einfache technische Maßnahmen erfordert, um Probleme zu lösen, die nicht zum Kern Ihres Unternehmens gehören.

Uns wurde klar, dass wir unsere Produkte auf Client-Geräte ausweiten mussten, um diese Probleme zu lösen.

RealtimeKit ist unser Toolkit zur Entwicklung von Echtzeitanwendungen ohne die üblichen WebRTC-Probleme. Der Kern von RealtimeKit ist eine Reihe von plattformübergreifenden SDKs, die alle technischen Details im Hintergrund übernehmen – vom Sitzungsaufbau und Medienberechtigungen bis hin zu NAT-Traversal und Verbindungsverwaltung. Anstatt Wochen damit zu verbringen, diese Grundlagen zu implementieren und zu debuggen, können Sie sich ganz darauf konzentrieren, einzigartige Erfahrungen für Ihre Nutzenden zu schaffen.

Die Aufzeichnungsfunktion ist integriert, wodurch eine der am häufigsten nachgefragten, aber am schwersten zu implementierenden Funktionen in Echtzeit-Anwendungen entfällt. Ob Sie Meetings aus Compliance-Gründen aufzeichnen, virtuelle Unterrichtseinheiten für abwesende Schüler speichern oder Content Creators das Archivieren ihrer Streams ermöglichen möchten – RealtimeKit übernimmt die gesamte Medienverarbeitung. Kein Kampf mit MediaRecorder-APIs oder Aufbau einer benutzerdefinierten Aufnahmeinfrastruktur mehr – es funktioniert einfach und skaliert mit Ihrer Nutzerbasis.

Wir haben auch Sprach-KI-Funktionen („Voice AI“) von Anbietern wie ElevenLabs direkt in die Plattform integriert. Das Hinzufügen von KI-Teilnehmern zu Gesprächen bedarf nur mehr eines Funktionsaufrufs und eröffnet völlig neue Interaktionsmodelle. Diese KI-Stimmen arbeiten mit der gleichen niedrigen Latenz wie menschliche Teilnehmer – mehrere zehn Millisekunden in unserem globalen Netzwerk – und schaffen so wirklich synchrone Erfahrungen, in denen KI und Mensch sich auf natürliche Weise unterhalten. In Kombination mit der Fähigkeit von RealtimeKit, auf Millionen von gleichzeitigen Teilnehmern zu skalieren, ermöglicht dies völlig neue Kategorien von Anwendungen, die vorher nicht möglich waren.

RealtimeKit konzentriert sich darauf, was Entwicklerinnen und Entwickler erreichen wollen, und nicht darauf, wie die zugrunde liegenden Protokolle funktionieren. Das Hinzufügen von Teilnehmern oder das Aktivieren der Aufzeichnung sind nur einen API-Aufruf entfernt. SDKs übernehmen die Geräteaufzählung, Berechtigungsanfragen und das plattformübergreifende Rendern von Benutzeroberflächen. Hinter den Kulissen lösen wir die heiklen Probleme der Medien-Orchestrierung und des Zustandsmanagements, deren Debugging eine Herausforderung sein kann.

Wir haben seit Jahren im Stillen auf die Einführung des Cloudflare RealtimeKit hingearbeitet. Unser globales Netzwerk wurde von Anfang an optimiert, um die Latenzzeit zwischen unserem Netzwerk und den Endnutzern zu minimieren, denn dadurch entstehen die meisten Netzwerkstörungen.

Wir haben eine Selective Forwarding Unit (SFU) entwickelt, die Medienstreams auf intelligente Weise zwischen den Teilnehmern routet und die Qualität dynamisch an die Netzwerkbedingungen anpasst. Unsere TURN-Infrastruktur löst das komplexe Problem des NAT-Traversal, sodass Verbindungen zuverlässig hinter Firewalls hergestellt werden können. Mit Workers AI haben wir Inferenzfunktionen an die Edge gebracht und damit die Latenz für KI-gestützte Interaktionen minimiert. Workers und Durable Objects stellten die WebSockets-Koordinationsebene bereit, die zur Aufrechterhaltung eines einheitlichen Status aller Beteiligten erforderlich ist.

Außerdem kündigen wir die allgemeine Verfügbarkeit unserer SFU- und TURN-Dienste für WebRTC-Entwicklerinnen und -Entwickler an, die mehr Kontrolle und eine Low-Level-Integration mit dem Cloudflare-Netzwerk benötigen.

SFU unterstützt jetzt Simulcast – ein häufig geäußerter Feature-Wunsch. Mit Simulcast können Entwicklerinnen und Entwickler Medienstreams aus mehreren Optionen auswählen, ähnlich wie bei der Auswahl der Qualitätsstufe eines Online-Videos, aber für WebRTC. Benutzer mit unterschiedlichen Netzwerkqualitäten können nun verschiedene Qualitätsstufen erhalten, die entweder automatisch von der SFU definiert oder manuell ausgewählt werden.

Unser TURN-Dienst bietet jetzt erweiterte Analytics mit Einblicken in Nutzungsmetriken auf regionaler, Länder- und Städte-Ebene. Zusammen mit Custom Identifiers und widerrufbaren Token bietet der TURN-Service von Cloudflare einen detaillierten Einblick in die Nutzung und hilft, Missbrauch zu vermeiden.

Unsere SFU- und TURN-Produkte zählen nach wie vor zu den erschwinglichsten Möglichkeiten, WebRTC-Anwendungen in großem Maßstab zu entwickeln, und zwar für 5 Cent pro GB nach 1.000 GB kostenloser Nutzung pro Monat.

FastRTC ist eine leichtgewichtige Python-Bibliothek von Hugging Face, die es einfach macht, Audio und Video in Echtzeit in und aus KI-Modellen mit WebRTC zu streamen. TURN-Server sind ein wichtiger Bestandteil der WebRTC-Infrastruktur und stellen sicher, dass Medien-Streams zuverlässig über Firewalls und NATs hinweg eine Verbindung herstellen können. Für Nutzende von FastRTC kann sich die Einrichtung eines weltweit verteilten TURN-Servers als kompliziert und kostspielig erweisen.  

Dank unserer neuen Partnerschaft mit Hugging Face haben FastRTC-Nutzende ab sofort kostenlosen Zugang zu dem TURN-Server-Produkt von Cloudflare, das ihnen eine zuverlässige, sofort einsatzbereite Verbindung ermöglicht. Entwicklerinnen und Entwickler erhalten mit nur einem Hugging Face-Token jeden Monat 10 GB TURN-Bandbreite – keine Einrichtung, keine Kreditkarte, keine zu verwaltenden Server. Wenn Projekte wachsen, können sie einfach zu einem Cloudflare-Konto wechseln, um mehr Kapazität und eine höhere kostenlose Tarifstufe zu erhalten.

Dank dieser Integration können sich KI-Entwicklerinnen und -Entwickler auf die Erstellung von Sprachschnittstellen, Video-Pipelines und multimodalen Apps konzentrieren, ohne sich Gedanken über NAT-Traversal oder Netzwerkzuverlässigkeit machen zu müssen. FastRTC vereinfacht den Code und Cloudflare sorgt dafür, dass er überall funktioniert. Sehen Sie sich diese Demos an, um loszulegen.

Mit RealtimeKit können Entwicklerinnen und -Entwickler jetzt komplexe Echtzeiterlebnisse innerhalb weniger Stunden implementieren. Die SDKs abstrahieren die zeitaufwändigsten Aspekte der WebRTC-Entwicklung und stellen gleichzeitig APIs bereit, die auf gängige Implementierungsmuster zugeschnitten sind. Hier sind einige der Möglichkeiten: 

• Videokonferenzen: Fügen Sie mit nur wenigen Codezeilen Videoanrufe mit mehreren Teilnehmern zu Ihrer Anwendung hinzu. RealtimeKit kümmert sich um das Verbindungsmanagement, die Bandbreite und die Geräteberechtigungen, die in der Regel Wochen an Entwicklungszeit in Anspruch nehmen.

• Live-Streaming: Entwickeln Sie interaktive Formate, in denen Moderatoren an ein großes Publikum streamen und ausgewählte Teilnehmende auf den Bildschirm holen können. Die SFU optimiert das Medien-Routing automatisch auf der Grundlage der Rollen der Teilnehmer und der Netzwerkbedingungen.

• Echtzeit-Synchronisation: Implementieren Sie Watch-Partys oder gemeinsame Zuschauererlebnisse, bei denen die Wiedergabe von Inhalten mit allen Teilnehmern synchronisiert wird. Die Timing-API übernimmt die komplexen Verzögerungsberechnungen und Anpassungen, die traditionell erforderlich sind.

• Voice AI-Integrationen: Fügen Sie Transkriptions- und KI-Voice-Teilnehmer hinzu, ohne benutzerdefinierte Media-Pipelines zu erstellen. Die Medienverarbeitungs-APIs von RealtimeKit integrieren sich nahtlos in Ihre bestehenden Authentifizierungs- und Speichersysteme – ganz ohne zusätzliche Infrastruktur.

Unsere frühen Tester berichten, dass RealtimeKit nicht nur bestehende Vorhaben beschleunigt, sondern auch neue Projektideen ermöglicht, die zuvor nicht umsetzbar gewesen wären. 

Ab heute werden Sie einen neuen Echtzeit-Bereich in Ihrem Cloudflare Dashboard bemerken. In diesem Bereich werden unsere TURN- und SFU-Produkte sowie unser neuestes Produkt, RealtimeKit, vorgestellt. 

RealtimeKit befindet sich derzeit in einer geschlossenen Beta-Phase und steht ausgewählten Kunden zum ersten Testen bereit. Die Nutzung während der Beta-Phase ist derzeit kostenlos. Jetzt Early Access sichern – hier klicken oder direkt über Ihr Cloudflare-Dashboard. Wir sind schon äußerst gespannt, was Sie entwickeln werden.