Jetzt allgemein verfügbar: Nachverfolgung von Netzwerk-Datenflüssen für lückenlosen Überblick über den Traffic

Netzwerkingenieure stellen oft fest, dass ihnen zur Analyse von DDoS-Angriffen oder zur Behebung anderer Anomalien beim Traffic der nötige Überblick über den Datenverkehr und die betrieblichen Aktivitäten im Netzwerk fehlt. Normalerweise stehen ihnen übergeordnete Kennzahlen zum Netzwerk-Traffic zur Verfügung. Sie haben aber oft Mühe, grundlegende Daten zu den konkreten Flows zu erhalten, die ihnen bei der Klärung eines speziellen Problems helfen würden. Daher hat Cloudflare eine Lösung namens Magic Network Monitoring entwickelt, die Kunden eine Nachverfolgung der Datenflüsse erlaubt und ihnen auf diese Weise einen lückenlosen Überblick über den gesamten Traffic innerhalb ihres Netzwerks verschafft.

Cloudflare freut sich, heute bekannt geben zu können, dass Magic Network Monitoring (früher Flow Based Monitoring) jetzt für Enterprise-Kunden allgemein verfügbar ist. Im vergangenen Jahr hat unser Engineering-Team das Produkt erheblich verbessert. Deshalb können wir jetzt einen Netzwerkdienst anbieten, der unseren Kunden dabei helfen wird, Gefahren schneller zu erkennen, die Zahl ihrer Sicherheitslücken zu reduzieren und ihr Netzwerk sicherer zu machen.

Magic Network Monitoring wird für alle Enterprise-Kunden, die Magic Transit und Magic WAN nutzen, automatisch aktiviert. Das Produkt ist auf Konto-Ebene des Cloudflare-Dashboards angesiedelt. Sie finden es unter „Analytics Logs > Magic Monitoring“. Die Einführung von Magic Network Monitoring erfolgt in Eigenregie und alle Enterprise-Kunden, die über einen Zugang verfügen, können sofort mit der Konfiguration der Lösung beginnen.

Enterprise-Kunden, die weder Magic Transit noch Magic WAN nutzen und Magic Network Monitoring gern ausprobieren würden, können den Zugang zur kostenlosen Version (die hinsichtlich des Traffic-Volumens beschränkt ist) bei ihrem Ansprechpartner / ihrer Ansprechpartnerin bei Cloudflare stellen oder das folgende Formular ausfüllen, um sich fachkundig beraten zu lassen.

Magic Network Monitoring ist Werkzeug zur Nachverfolgung der Datenströme in einem Cloud-Netzwerk. Mit Netzwerk-Datenflüssen sind die Wege gemeint, die Datenpakete zwischen einer Quelle und einem Ziel nehmen, die dasselbe Internetprotokoll und dieselben Ports nutzen. Kunden können Berichte zu diesen Netzwerk-Datenflüssen von ihren Routern (oder anderen Orten, an denen solche Datenflüsse generiert werden) an einen öffentlich verfügbaren Endpunkt im Anycast-Netzwerk von Cloudflare senden, auch wenn der Traffic ursprünglich nicht unser Netzwerk durchlaufen hat. Cloudflare analysiert die Netzwerk-Datenflüsse und ermöglicht Kunden anhand der Ergebnisse einen Überblick über wichtige Kennzahlen dazu in einem Analyse-Dashboard. Zu den bereitgestellten Daten gehören Traffic-Menge (angegeben in Bits oder Paketen) für einen bestimmten Zeitraum, Quellen- und Ziel-IP-Adressen, Ports, Traffic-Protokolle und Router-IP-Adressen. Kunden können außerdem außerdem festlegen, dass sie bei DDoS-Angriffen und allen anderen Aktivitäten mit außergewöhnlich hohem Datenverkehrsvolumen eine Warnmeldung erhalten.

Flow-Daten können vom Netzwerk zur Analyse an Cloudflare übermittelt werden

Kunden, die Magic Transit auf Abruf (Magic Transit On Demand – MTOD) nutzen, werden beim Einsatz von Magic Network Monitoring durch den besseren Überblick über ihren Traffic erhebliche Vorteile verzeichnen. Magic Transit ist eine Lösung für Netzwerksicherheit, die Schutz vor DDoS-Attacken und eine Beschleunigung des Traffics von jedem Cloudflare-Rechenzentrum für lokale, in der Cloud gehostete und hybride Netzwerke bietet. MTOD-Kunden können Magic Transit aktivieren, um sich zu schützen, sobald ein DDoS-Angriff festgestellt wird.

Generell ist uns aufgefallen, dass einigen MTOD-Kunden Werkzeuge fehlten, um sich den zur schnellen Erkennung von DDoS-Attacken und zur Ergreifung der entsprechenden Gegenmaßnahmen erforderlichen Überblick zu verschaffen. Jetzt können diese Kunden Magic Network Monitoring nutzen, um ihre Netzwerkdaten zu analysieren und gewarnt zu werden, wenn ein DDoS-Angriff registriert wird.

Cloudflare erkennt eine DDoS-Attacke anhand der Flow-Daten aus dem Netzwerk des Kunden.

Magic Network Monitoring-Kunden können entscheiden, ob Magic Transit automatisch aktiviert wird oder sie dies selbst tun, sobald ein DDoS-Angriff erkannt wird.

Zum Schutz vor DDoS-Angriffen sollte Magic Transit aktiviert werden

Cloudflare-Kunden, die Magic WAN und Cloudflare One nutzen, können ebenfalls vom Einsatz von Magic Network Monitoring profitieren. Sie haben zwar schon einen ausgezeichneten Überblick über die Daten, die sie über das Cloudflare-Netzwerk übermitteln, aber möglicherweise galt das bislang noch nicht in gleichem Maß für Traffic, der nicht mittels Cloudflare versandt wird. Dazu kann der Datenverkehr gehören, der im lokalen Netzwerk verbleibt, oder der zwischen Cloud-Umgebungen ausgetauscht wird. Magic WAN- und Cloudflare One-Kunden können ihre Produktlösungen um Magic Network Monitoring ergänzen, um sich einen lückenlosen Überblick über den gesamten Datenverkehr innerhalb ihres Netzwerks zu verschaffen.

Magic Network Monitoring (MNM) verschafft Kunden einen besseren Überblick über den Traffic in ihrem Netzwerk, indem das Tool die zugehörigen Informationen erfasst und analysiert.

Das Verfahren beginnt, wenn ein Router (oder ein anderes Gerät, das innerhalb des Netzwerks Datenflüsse generiert) für die Statistik Datenproben zu ein- und ausgehenden Paketen erhebt. Diese Proben werden erhoben, indem 1 von X Paketen geprüft wird, wobei X die auf dem Router konfigurierte Stichprobenquote ist. Normalerweise liegen die Stichprobequoten zwischen 1 von 1.000 und 1 von 4.000 Paketen. Die ideale Stichprobenquote hängt von der Menge und der Vielfalt des Traffics sowie der Rechen- und Speicherleistung der Routerhardware ab. Weitere Einzelheiten zu den empfohlenen Stichprobenquoten für den Netzwerkdatenfluss finden Sie in der Cloudflare-Entwicklerdokumentation zu MNM.

Die erhobenen Daten werden in einem der beiden branchenüblichen Standardformate für Netzwerk-Datenfluss-Informationen gebündelt: NetFlow oder sFlow. Bei NetFlow werden die stichprobenartig erhobenen Paket-Daten nach verschiedenen Paket-Eigenschaften wie IP-Adresse der Quelle / des Ziels, Port und Protokoll gruppiert. Jede dieser Gruppen umfasst auch eine Schätzung des Traffic-Volumens. Bei sFlow wird als repräsentative Probe die gesamte Kopfzeile des Pakets erfasst, eine weitere Datenzusammenfassung findet nicht statt. Insofern ist sFlow ein reichhaltigeres Datenformat, das mehr Angaben zum Netzwerk-Traffic enthält als NetFlow. Wenn die Datenproben in NetFlow oder sFlow erhoben wurden, werden sie zur Analyse und Erstellung von Warnmeldungen an Magic Network Monitoring geschickt.

Magic Network Monitoring hat sich Beginn der Early Access-Phase vor einem Jahr stark weiterentwickelt. Das Engineering-Team von Cloudflare hat insbesondere viel Zeit darin investiert, die Genauigkeit bei der Schätzung der Datenverkehrsmenge zu erhöhen. Bei der Early Access-Version hatten Kunden überraschend berichtet, dass die ihnen genannten Schätzwerte zu hoch waren oder nicht den Erwartungen entsprachen.

Magic Network Monitoring führt bei den der Lösung übermittelten NetFlow- oder sFlow-Daten eigene Stichproben durch. So können die im gesamten weltumspannenden Cloudflare-Netzwerk eingehenden Daten skaliert und verwaltet werden. Es war schwieriger als erwartet, die Genauigkeit der Schätzungen des Datenverkehrsvolumens zu verbessern, da die durch MNM aufgegliederten Daten bereits auf Stichproben von Paketdaten beruhen. Somit beruht die von der Lösung durchgeführte Analyse auf mehreren Ebenen von Stichproben.

Bei der ersten Version von Magic Network Monitoring wurde die Stichprobenerhebung nach dem Zufallsprinzip durchgeführt. Es wurde zufällig eine Reihe von Netzwerk-Flow-Daten mit demselben Zeitstempel ausgewählt, um die Traffic-Menge zu diesem bestimmten Zeitpunkt abzubilden. Ein Merkmal solcher Netzwerk-Flow-Daten ist, dass manche Proben bedeutsamer als andere sind und eine größere Menge des Datenverkehrs im Netzwerk darstellen. Um die Bedeutung der jeweiligen Probe abzubilden, kann jeder Einzelprobe eine Gewichtung auf Grundlage der von ihr dargestellten Traffic-Menge zugewiesen werden. Bei dieser Gewichtung handelt es sich immer um positive Werte, die eine Long Tail-Verteilung aufweisen. Diese Dateneigenschaften hatten zur Folge, dass bei der zufälligen Stichprobenerhebung von MNM die Menge des Datenverkehrs im Netzwerk eines Kunden falsch geschätzt wurde. Bei den Analysen ihres Traffic-Aufkommens wurden den Kunden falsche Spitzen angezeigt, wenn eine abweichende Datenprobe aus dem Long Tail zufällig als repräsentativ für den gesamten Traffic zu diesem Zeitpunkt ausgewählt wurde.

Um dieses Problem zu lösen, hat das Engineering-Team von Cloudflare ein alternatives Verfahren zur Reservoir-Stichprobennahme namens VarOpt implementiert. Bei dieser Methode werden Stichproben aus dem Datenfluss entnommen, wenn dessen Länge nicht bekannt ist (diese Anwendung ist perfekt dafür geeignet, eingehende Netzwerk-Flow-Daten zu analysieren). Bei der MNM-Implementierung von VarOpt beginnen wir zunächst mit einem leeren Reservoir festgelegter Größe, das mit Stichproben von Netzwerk-Flow-Daten befüllt wird. Wenn das Reservoir voll ist und noch weitere Netzwerk-Flow-Daten eingehen, wird eine ältere Stichprobe aus dem Reservoir nach dem Zufallsprinzip ausgewählt, entfernt und durch eine neue ersetzt.

Nach Erfassung einer bestimmten Anzahl von Stichproben errechnen wir die Datenverkehrsmenge anhand aller gewichteten Stichproben im Reservoir. Daraus ergibt sich unser Schätzwert des Traffic-Volumens eines Netzwerk-Flows zu diesem bestimmten Zeitpunkt. Anschließend wird das Reservoir geleert und die VarOpt-Schleife beginnt erneut mit der Befüllung des Reservoirs mit neuen Stichproben aus den neuesten Netzwerk-Flow-Daten.

Diese neue VarOpt-Methode zur Stichprobenerhebung erlaubt erheblich genauere Schätzungen des Datenverkehrsvolumens mit Magic Network Monitoring und hat das Problem unserer Kunden gelöst. Diese Verbesserung hat den Weg zur allgemeinen Verfügbarkeit geebnet und wir freuen uns, jetzt präzise Netzwerk-Flow-Analysen bereitstellen zu können.

In der Entwicklerdokumentation für Magic Network Monitoring werden die Funktionen des Produkts eingehend erläutert. Außerdem findet sich dort eine ausführliche Konfigurationsanleitung für Neukunden. Wenn Sie bei der Verwendung der Entwicklerdokumentation zu Magic Network Monitoring Anmerkungen haben, lassen Sie uns das gern über die Schaltfläche „Give Feedback“ oben rechts in der Entwicklerdokumentation wissen.

Wir haben auch einen Kanal für die Discord-Community von Cloudflare geschaffen, in dem Sie sich mit anderen über das Debugging bei Konfigurationsproblemen und das Testen neuer Funktionen austauschen und uns Feedback zu dem Produkt geben können. Folgen Sie einfach dem folgenden Link, um sich beim Cloudflare Discord-Server anzumelden.

Eine kostenlose Version von Magic Network Monitoring steht allen Enterprise-Kunden auf Anfrage bei ihren Cloudflare-Ansprechpartern zur Verfügung. Damit können Enterprise-Kunden die Lösung schnell ausprobieren und begutachten, bevor sie sich für den Erwerb von Magic Transit, Magic WAN oder Cloudflare One entscheiden. Sie können Magic Network Monitoring vollständig selbst konfigurieren. Dafür müssen Sie nur der ausführlichen Anleitung in der Produktdokumentation folgen. Bei der kostenlosen Version bestehen einige Beschränkungen hinsichtlich der Menge des Traffics, die bearbeitet werden kann. Näheres dazu ist der Begleitdokumentation der Lösung zu entnehmen.

Magic Network Monitoring steht auch allen Kunden, die den Free-, Pro- und Business-Tarif von Cloudflare nutzen, in der kostenlosen Closed Beta-Version zur Verfügung. Der Zugang dafür kann nach Lektüre der Dokumentation zur Gratisversion durch das Ausfüllen dieses Formulars beantragt werden. Vorzugszugang erhält jeder, der sich beim https://discord.com/invite/cloudflaredevDiscord-Server von Cloudflare anmeldet und eine entsprechende Nachricht im Discord-Kanal von Magic Network Monitoring postet.

Magic Network Monitoring ist jetzt allgemein verfügbar und für sämtliche Kunden, die Magic Transit und Magic WAN nutzen, wurde heute der Zugang zu dem Produkt automatisch freigeschaltet. Sie können auf die Lösung zugreifen, indem Sie auf Konten-Ebene im Cloudflare-Dashboard „Analytics & Logs > Magic Monitoring“ aufrufen.

Sollten Sie zu den Enterprise-Kunden gehören, die Magic Transit und/oder Magic WAN nicht nutzen, und sich mit Magic Network Monitoring einen besseren Überblick über Ihren Datenverkehr verschaffen möchten, können Sie sich fachkundig zu MNM beraten lassen.

Falls Sie Magic Transit und Magic Network Monitoring zur DDoS-Abwehr nutzen möchten, können Sie eine Demo von Magic Transit beantragen. Sollten Sie Interesse daran haben, Magic WAN und Magic Network Monitoring zusammen einzusetzen, um sich einen lückenlosen Überblick über den Traffic in Ihrem Netzwerk zu verschaffen, sprechen Sie einfach mit einem/einer Fachmann/Fachfrau für Magic WAN.