Les ingénieurs réseau constatent souvent qu'ils ont besoin d'une meilleure visibilité du trafic et des opérations de leur réseau lors de l'analyse d'attaques DDoS ou de la résolution d'autres incidents liés au trafic. Ces ingénieurs disposent généralement d'un certain nombre d'indicateurs de haut niveau concernant le trafic sur leur réseau ; cependant, ils parviennent difficilement à collecter des informations essentielles, permettant de clarifier l'incident, sur les flux de trafic spécifiques. Pour résoudre ce problème, Cloudflare a piloté un produit de surveillance des flux réseau cloud appelé Magic Network Monitoring, qui offre aux clients une visibilité exhaustive de l'ensemble du trafic de leur réseau.
Aujourd'hui, Cloudflare est heureuse d'annoncer que le service Magic Network Monitoring (précédemment appelé Flow Based Monitoring) est désormais disponible pour tous les clients Enterprise. Au cours de l'année passée, l'équipe d'ingénieurs de Cloudflare a apporté un nombre considérable d'améliorations à Magic Network Monitoring, et nous sommes aujourd'hui heureux de proposer un produit de services réseau qui aidera nos clients à identifier plus rapidement les menaces, à réduire les vulnérabilités et à rendre leur réseau plus sûr.
Magic Network Monitoring est activé automatiquement pour tous les clients Enterprise utilisant Magic Transit et Magic WAN. Le produit est accessible au niveau du compte depuis le tableau de bord de Cloudflare, et peut être démarré en sélectionnant Analytics & Logs (Analyses de données et journaux), puis Magic Monitoring. Le processus d'intégration de Magic Network Monitoring se déroule en libre-service, et tous les clients Enterprise disposant d'un accès à celui-ci peuvent commencer à configurer le produit dès aujourd'hui.
Les clients Enterprise qui n'ont pas accès à Magic Transit ou Magic WAN et souhaitent tester Magic Network Monitoring peuvent obtenir un accès à la version gratuite (qui comporte des limitations sur le volume de trafic) en transmettant une demande à l'équipe de Cloudflare chargée de leur compte ou en renseignant ce formulaire pour parler avec un expert.
Qu'est-ce que Magic Network Monitoring ?
Magic Network Monitoring est un service de surveillance des flux réseau cloud. Le terme « flux de trafic réseau » désigne tout flux de paquets circulant entre une source et une destination avec le même protocole Internet et le même ensemble de ports. Les clients peuvent transmettre des rapports concernant les flux réseau acheminés depuis leurs routeurs (ou tout autre appareil générant des flux réseau) vers un point de terminaison accessible au public sur le réseau anycast de Cloudflare, même si le trafic n'a pas initialement transité sur le réseau de Cloudflare. Cloudflare analyse les données des flux réseau, puis fournit aux clients une visibilité des indicateurs essentiels du trafic du réseau par le biais d'un tableau de bord d'analyse de données. Ces mesures incluent notamment le volume de trafic (en bits ou en paquets) au fil du temps, les adresses IP source, les adresses IP de destination, les ports, les protocoles de trafic et les adresses IP des routeurs. Les clients peuvent également configurer des alertes afin d'identifier les attaques DDoS et toute autre activité entraînant des volumes de trafic anormaux.
Détection des types d'attaques DDoS de l'offre Enterprise
Les clients utilisateurs de Magic Transit On Demand (MTOD) constateront des avantages considérables, en termes de visibilité du trafic, lors de l'utilisation de Magic Network Monitoring. Magic Transit est une solution de sécurité réseau qui offre une protection contre les attaques DDoS et une accélération du trafic depuis chaque datacenter Cloudflare pour les réseaux sur site, hébergés dans le cloud et hybrides. Les clients de Magic Transit On Demand peuvent activer Magic Transit pour se protéger en cas de détection d'une attaque DDoS.
En règle générale, nous avons constaté que certains clients utilisateurs de MTOD ne disposaient pas des outils de visibilité du réseau indispensables pour identifier rapidement les attaques DDoS et prendre les mesures d'atténuation appropriées. Désormais, les clients utilisateurs de MTOD peuvent utiliser Magic Network Monitoring pour analyser les données de leur réseau et recevoir une alerte en cas de détection d'une attaque DDoS.
Lorsqu'une attaque DDoS est détectée, les clients utilisant Magic Network Monitoring peuvent choisir d'activer Magic Transit manuellement ou automatiquement, afin d'atténuer l'attaque DDoS.
Surveillance des réseaux d'entreprise
Les clients utilisateurs des solutions Magic WAN et Cloudflare One de Cloudflare peuvent également bénéficier de Magic Network Monitoring. Ces clients disposent aujourd'hui d'une excellente visibilité du trafic qu'ils transmettent sur le réseau de Cloudflare, mais ils manquent parfois de visibilité sur le trafic qui n'est pas acheminé sur le réseau de Cloudflare. Il peut s'agir du trafic transitant exclusivement sur un réseau local ou du trafic réseau acheminé entre des environnements cloud. Les clients utilisant Magic WAN et Cloudflare One peuvent ajouter Magic Network Monitoring à leur portefeuille de solutions afin de bénéficier d'une visibilité exhaustive de l'ensemble du trafic de leur réseau.
Un examen approfondi de l'échantillonnage des flux et du trafic sur le réseau
Magic Network Monitoring fournit aux clients une meilleure visibilité sur leur trafic réseau en ingérant et en analysant les données du flux réseau.
Le processus démarre lorsqu'un routeur (ou un autre appareil générant des flux réseau) collecte des échantillons statistiques de données de paquets entrants et/ou sortants. Ces échantillons sont collectés en examinant 1 paquet sur X, où X est le taux d'échantillonnage configuré sur le routeur. Les taux d'échantillonnage sont habituellement compris entre 1 pour 1 000 et 1 pour 4 000 paquets. Le taux d'échantillonnage idéal dépend du volume et de la diversité du trafic, ainsi que de la puissance de calcul et de la mémoire du matériel du routeur. Pour plus d'informations sur le taux d'échantillonnage recommandé des flux réseau, veuillez consulter la documentation pour développeurs MNM de Cloudflare.
Les données échantillonnées sont présentées dans l'un des deux formats standard de l'industrie pour les données de flux réseau, à savoir NetFlow ou sFlow. Au format NetFlow, les données des paquets échantillonnés sont regroupées en fonction de différentes caractéristiques des paquets, telles que l'adresse IP source/de destination, le port et le protocole. Chaque groupe de données de paquets échantillonnés inclut également une estimation du volume de trafic. Au format sFlow, l'intégralité de l'en-tête du paquet est sélectionnée en tant qu'échantillon représentatif, et aucune compression des données n'est effectuée. Par conséquent, sFlow est un format de données plus riche, qui propose des informations plus détaillées sur le trafic réseau que les données NetFlow. Une fois collectés, les échantillons de données NetFlow ou sFlow collectés sont transmis à Magic Network Monitoring aux fins de l'analyse et de la gestion des alertes.
Pourquoi l'échantillonnage aléatoire simple n'était pas viable pour Magic Network Monitoring
Magic Network Monitoring a parcouru un long chemin depuis son lancement en accès anticipé, il y a un an de cela. L'équipe d'ingénieurs de Cloudflare a, en particulier, consacré beaucoup d'efforts à l'amélioration de la précision des estimations du volume de trafic dans MNM. Dans la version de Magic Network Monitoring proposée en accès anticipé, les clients signalaient, de manière inattendue, que les estimations de leurs volumes de trafic réseau étaient trop élevées et ne correspondaient pas aux valeurs attendues.
Magic Network Monitoring effectue son propre échantillonnage des données NetFlow ou sFlow reçues par le service, lui permettant d'étendre et de gérer efficacement les données ingérées sur l'ensemble du réseau mondial de Cloudflare. Il a été plus difficile que prévu d'améliorer la précision des estimations du volume de trafic, car les données NetFlow ou sFlow analysées par MNM reposent déjà sur des données de paquets échantillonnées. Cela introduit plusieurs couches distinctes d'échantillonnage de données dans les analyses de données du produit.
La première version de Magic Network Monitoring utilisait un échantillonnage aléatoire, dans lequel un sous-ensemble aléatoire de données de flux réseau avec les mêmes informations d'horodatage était sélectionné pour représenter le volume de trafic à un instant précis. Une caractéristique des données de flux réseau est que certains échantillons sont plus significatifs que d'autres et représentent un volume de trafic réseau plus important. Afin de tenir compte de cette importance, nous pouvons associer une pondération à chaque échantillon, en fonction du volume de trafic qu'il représente. Les pondérations des données de flux réseau sont toujours des nombres positifs, et suivent le modèle d'une distribution à longue traîne. En raison de ces caractéristiques des données, l'échantillonnage aléatoire de MNM évaluait incorrectement le volume de trafic du réseau des clients. Par conséquent, les clients observaient de faux pics dans leurs analyses de données du volume de trafic lorsqu'un échantillon de données aberrant issu de la longue traîne était aléatoirement sélectionné pour être représentatif de l'ensemble du trafic à cet instant.
Améliorer la précision avec l'échantillonnage par réservoir VarOpt
Pour résoudre ce problème, l'équipe de développement de Cloudflare a eu recours à une technique alternative d'échantillonnage par réservoir, appelée VarOpt. VarOpt est conçue pour collecter des échantillons à partir d'un flux de données dont la longueur est inconnue (une application parfaite pour l'analyse des données de flux réseau entrants). Dans l'implémentation MNM de VarOpt, nous commençons avec un réservoir vide, de taille fixe, rempli d'échantillons de données de flux réseau. Lorsque le réservoir est plein et que de nouvelles données de flux de réseau continuent d'être reçues, un ancien échantillon est supprimé aléatoirement du réservoir, puis remplacé par un nouvel échantillon.
Après avoir observé un certain nombre d'échantillons, nous calculons le volume de trafic pour l'ensemble des échantillons pondérés du réservoir ; la valeur obtenue correspond au volume de trafic estimé du flux de réseau d'un client à cet instant. Enfin, le réservoir est vidé et la boucle VarOpt redémarre, le réservoir étant rempli avec la prochaine série d'échantillons de flux de réseau les plus récents.
La nouvelle méthode d'échantillonnage VarOpt a considérablement amélioré la précision des estimations du volume de trafic dans Magic Network Monitoring et a permis de résoudre les problèmes de nos clients. Ces améliorations de l'échantillonnage ont ouvert la voie à la disponibilité générale du service, et nous sommes ravis de mettre à la disposition de tous des analyses de données précises des flux réseau.
Documentation pour développeurs et communauté Discord
Il existe des documentations pour développeurs détaillées consacrées à Magic Network Monitoring, qui expliquent les fonctionnalités du produit et proposent un guide de configuration étape par étape destiné aux nouveaux clients. Pendant que vous consultez la documentation de Magic Network Monitoring, n'hésitez pas à nous faire part de vos commentaires en cliquant sur le bouton « Give Feedback » (Envoyer un commentaire) dans le coin supérieur droit de la documentation pour développeurs.
Nous avons également créé, dans la communauté Discord de Cloudflare, un canal consacré au débogage des problèmes de configuration, aux tests de nouvelles fonctionnalités et à la publication de commentaires sur les produits. Vous pouvez suivre ce lien pour rejoindre le serveur Discord de Cloudflare.
Version gratuite
Une version gratuite de Magic Network Monitoring est disponible pour tous les clients Enterprise sur simple demande auprès de l'équipe Cloudflare chargée de leur compte. La version gratuite est conçue pour permettre aux clients Enterprise de tester et d'évaluer rapidement Magic Network Monitoring avant d'acheter Magic Transit, Magic WAN ou Cloudflare One. Les clients Enterprise peuvent configurer entièrement Magic Network Monitoring eux-mêmes en suivant le guide d'intégration étape par étape inclus dans la documentation du produit. La version gratuite comporte certaines limitations concernant la quantité de trafic pouvant être traitée ; ces limitations sont décrites plus en détail dans la documentation du produit.
La version gratuite de Magic Network Monitoring est également disponible pour tous les clients de Cloudflare souscripteurs d'une offre gratuite, Pro et Business, par l'intermédiaire d'une version beta fermée. Tous les utilisateurs peuvent demander à accéder à la version gratuite ; pour cela, consultez la documentation de la version gratuite, puis renseignez ce formulaire. Un accès prioritaire est accordé à tout utilisateur rejoignant le serveur Discord de Cloudflare et publiant un message sur le canal Discord de Magic Network Monitoring.
Les prochaines étapes que vous pouvez effectuer aujourd'hui
Magic Network Monitoring est proposé en disponibilité générale, et tous les clients utilisateurs de Magic Transit et Magic WAN ont dès aujourd'hui automatiquement reçu un accès au produit. Pour trouver le produit, accédez à votre compte depuis le tableau de bord de Cloudflare, puis sélectionnez Analytics & Logs (Analyses de données et journaux) > Magic Monitoring.
Si vous êtes client Enterprise, mais n'êtes pas utilisateur de Magic Transit ou Magic WAN, et vous souhaitez utiliser Magic Network Monitoring pour améliorer votre visibilité de votre trafic, vous pouvez échanger dès aujourd'hui avec un expert de MNM.
Si vous souhaitez utiliser Magic Transit et Magic Network Monitoring pour vous protéger contre les attaques DDoS, vous pouvez demander une démo de Magic Transit. Si vous souhaitez utiliser Magic WAN et Magic Network Monitoring ensemble pour bénéficier d'une visibilité exhaustive du trafic réseau, vous pouvez parler avec un expert de Magic WAN.