Aujourd'hui, nous sommes heureux d'annoncer la disponibilité en version bêta de la solution Log Explorer, qui vous permet d'examiner vos journaux HTTP et d'événements de sécurité directement à partir du tableau de bord Cloudflare. Log Explorer est une extension de Security Analytics, un service conçu pour vous permettre d'examiner les journaux bruts associés. Grâce à la possibilité d'analyser, d'enquêter et de surveiller les attaques nativement dans le tableau de bord Cloudflare, vous pouvez réduire le temps de résolution et le coût total de possession en éliminant la nécessité de transmettre les journaux à des outils d'analyse tiers.
Contexte
La solution Security Analytics vous permet d'analyser l'ensemble de votre trafic HTTP à un seul endroit, afin de vous donner la visibilité sur la sécurité dont vous avez besoin pour identifier et agir sur ce qui compte le plus : le trafic potentiellement malveillant qui n'a pas été atténué. Security Analytics offre des vues intégrées (par exemple, les statistiques principales) et des filtres rapides adaptés au contexte, le tout proposé au sein d'une mise en page intuitive permettant une exploration et une validation rapides.
Afin d'alimenter nos riches tableaux de bord analytiques tout en vous faisant profiter d'une grande rapidité d'interrogation, nous avons mis en œuvre un échantillonnage des données utilisant des outils d'analyse à débit binaire adaptatif (Adaptive Bit Rate, ABR). Cette méthode convient parfaitement à la proposition de vues agrégées de haut niveau pour les données. De nombreux utilisateurs de Security Analytics nous ont toutefois fait savoir qu'ils avaient parfois besoin d'accéder à une vue plus granulaire des données, c'est-à-dire de journaux.
Les journaux assurent une visibilité essentielle sur les opérations des systèmes informatiques d'aujourd'hui. Les techniciens et les analystes des SOC (Security Operations Centers, centres d'opérations de sécurité) font chaque jour appel aux journaux pour dépanner les problèmes, identifier et enquêter sur les incidents de sécurité, mais aussi pour affiner les performances, la fiabilité et la sécurité de leurs applications et de leur infrastructure. Les indicateurs traditionnels et les solutions de surveillance fournissent des données agrégées ou statistiques qui peuvent être utilisées pour identifier les tendances. Les indicateurs se révèlent excellents pour identifier LE FAIT qu'un problème s'est produit, mais ils ne proposent pas la liste détaillée des événements qui permettrait d'aider les techniciens à découvrir POURQUOI il s'est produit. Les techniciens et les analystes des SOC s'appuient sur les données des journaux bruts pour répondre à différentes questions :
- Quelle est la cause de cette augmentation du nombre d'erreurs 403 ?
- Quelles données ont été consultées par cette adresse IP ?
- Quelle a été l'expérience de cet utilisateur particulier lors de sa session ?
Traditionnellement, les techniciens et analystes mettaient en place une collection de divers outils de surveillance pour capturer les journaux et obtenir cette visibilité. Un nombre croissant d'entreprises utilisent plusieurs clouds ou un environnement hybride avec des outils et une architecture à la fois sur cloud et sur site. Il est donc crucial de disposer d'une plateforme unifiée pour retrouver de la visibilité au sein de cet environnement de plus en plus complexe. Alors que davantage d'entreprises s'orientent vers une architecture cloud-native, nous considérons la connectivité cloud de Cloudflare comme une partie intégrante de leur stratégie d'amélioration des performances et de la sécurité.
La solution Log Explorer propose une option moins coûteuse pour le stockage et l'exploration des données de vos journaux au sein de l'écosystème Cloudflare. Jusqu'à aujourd'hui, nous vous offrions la possibilité d'exporter vos journaux vers des outils tiers coûteux. Désormais, grâce à Log Explorer, vous pouvez rapidement et facilement explorer les données de vos journaux sans quitter le tableau de bord Cloudflare.
Fonctionnalités de Log Explorer
Que vous soyez un technicien SOC enquêtant sur des incidents potentiels ou un responsable de la conformité ayant des exigences spécifiques en matière de rétention des journaux, Log Explorer s'occupe de tout. Il stocke vos journaux Cloudflare pendant une période de temps illimitée et personnalisable, tout en les rendant accessibles nativement dans le tableau de bord Cloudflare. Les fonctionnalités prises en charge sont les suivantes :
- Recherche dans vos journaux de requêtes HTTP ou d'événements de sécurité
- Filtrage sur la base de n'importe quel champ et d'un certain nombre d'opérateurs standard
- Passage du mode filtrage de base à l'interface de requête SQL
- Sélection des champs à afficher
- Visualisation des événements du journal sous forme de tableau
- Recherche des enregistrements de requêtes HTTP associés à un ID de rayon
Concentration sur le trafic non atténué
En tant qu'analyste SOC, votre travail consiste à surveiller les menaces et les incidents au sein du réseau de votre entreprise, puis à répondre à ces derniers. Grâce à Security Analytics (et maintenant à Log Explorer), vous pouvez identifier les anomalies et mener une enquête post-incident depuis un endroit unique.
Prenons un exemple pour découvrir comment le service fonctionne :
Sur le tableau de bord de la solution Security Analytics, vous pouvez voir que le panneau Insights (Informations) présente du trafic marqué comme appartenant probablement à une attaque, mais qui n'a pas été atténué.
Un clic sur le bouton de filtrage vous permet de réduire le nombre de requêtes à examiner afin d'affiner vos investigations.
Dans la vue des journaux échantillonnés, vous pouvez constater que la plupart de ces requêtes sont issues d'une adresse IP client commune.
Vous pouvez également remarquer que Cloudflare a signalé toutes ces requêtes comme du trafic lié aux bots. Grâce à ces informations, vous pouvez élaborer une règle WAF afin de bloquer l'ensemble du trafic provenant de cette adresse IP ou bloquer l'ensemble du trafic dont le score de bot est inférieur à 10.
Supposons que l'équipe chargée de la conformité souhaite rassembler de la documentation sur la portée et l'impact de cette attaque. Nous pouvons creuser davantage les journaux couvrant cette période pour découvrir ce à quoi l'acteur malveillant a tenté d'accéder.
En premier lieu, nous pouvons utiliser la solution Log Explorer pour examiner les requêtes HTTP issues de l'adresse IP suspecte sur la période correspondant au pic observé dans Security Analytics.
Nous pouvons également vérifier si le pirate a réussi à exfiltrer des données en ajoutant le champ OriginResponseBytes et en actualisant la commande afin d'afficher les requêtes comportant OriginResponseBytes > 0. Les résultats révèlent qu'aucune donnée n'a été exfiltrée.
Détecter et enquêter sur les faux positifs
Grâce à l'accès aux journaux complets via Log Explorer, vous pouvez désormais effectuer une recherche afin de trouver des requêtes spécifiques.
Une erreur 403 se produit en cas de blocage de la requête d'un utilisateur vers un site particulier. Les produits de sécurité de Cloudflare utilisent des éléments tels que la réputation de l'adresse IP et le WAF Attack Score, basés sur des technologies d'apprentissage automatique (Machine Learning, ML), pour déterminer si une requête HTTP donnée est malveillante. Cette méthode est extrêmement efficace, mais il arrive que des requêtes soient signalées par erreur comme malveillantes et se retrouvent donc bloquées.
Dans ce type de situation, nous pouvons désormais utiliser Log Explorer pour identifier ces requêtes et la raison pour laquelle elles ont été bloquées, puis ajuster les règles WAF pertinentes en conséquence.
Si vous souhaitez suivre une requête spécifique par ID de rayon (RayID, un identifiant attribué à chaque requête transitant par le réseau Cloudflare), vous pouvez le faire via Log Explorer à l'aide d'une seule commande.
Veuillez noter que la clause LIMIT est incluse par défaut dans la commande, mais qu'elle n'a pas d'impact sur les requêtes RayID, car le RayID est unique et qu'un seul enregistrement serait renvoyé lors de l'utilisation du champ de filtre RayID.
Comment nous avons développé la solution Log Explorer
Avec Log Explorer, nous avons développé une plateforme de stockage de journaux à long terme append-only (ajout uniquement), basée sur Cloudflare R2. La solution Log Explorer s'appuie sur le protocole Delta Lake, un cadre de stockage open-source permettant de créer des bases de données hautement performantes et conformes aux propriétés ACID au dessus d'un magasin d'objets cloud. En d'autres termes, Log Explorer allie un système de stockage de grande taille et efficace sur le plan des coûts (Cloudflare R2) aux avantages apportés par une forte cohérence et des performances élevées. La solution Log Explorer propose en outre une interface SQL pour vos journaux Cloudflare.
Chaque ensemble de données Log Explorer est stocké au niveau de chaque client, exactement comme avec le service Cloudflare D1, de sorte que vos données ne côtoient pas celles d'autres clients. À l'avenir, ce modèle de stockage à entité unique (single-tenant) vous permettra de créer vos propres politiques de rétention et de décider dans quelles régions vous souhaitez stocker vos données.
Dans les faits, les ensembles de données de chaque client sont stockés sous forme de tables Delta dans des compartiments R2. Une table Delta est un format de stockage qui organise les objets Apache Parquet dans des répertoires en utilisant la convention d'attribution de noms de partitionnement de Hive. Fondamentalement, les tables Delta associent ces objets de stockage à un journal de transactions muni de points de contrôle et append-only. Cette conception permet à la solution Log Explorer de prendre en charge plusieurs rédacteurs avec une concurrence optimiste.
De nombreux produits développés par Cloudflare sont le résultat direct des défis que notre propre équipe cherche à relever. Log Explorer est un parfait exemple de cette culture du dogfooding. Les écritures concurrentes optimistes nécessitent des mises à jour atomiques dans le magasin d'objets sous-jacent et, compte tenu de nos besoins, la solution R2 a ajouté une opération PutIfAbsent dotée d'une forte cohérence. Merci, R2 ! L'opération atomique différencie Log Explorer des solutions Delta Lake basées sur le service S3 d'Amazon Web Services, qui ont la charge opérationnelle d'utiliser un magasin externe pour synchroniser les écritures.
La solution Log Explorer est rédigée dans le langage de programmation Rust et utilise des bibliothèques libres telles que delta-rs, une implémentation Rust native du protocole Delta Lake, et Apache Arrow DataFusion, un moteur de requête très rapide et extensible. Le langage Rust est devenu un choix populaire chez Cloudflare pour le développement de nouveaux produits en raison de ses avantages en termes de sécurité et de performances.
Et maintenant ?
Nous savons que les journaux de sécurité des applications ne constituent qu'une partie du puzzle permettant de comprendre ce qui se passe au sein de votre environnement. Restez à l'écoute de nos développements futurs, qui incluront notamment une intégration plus étroite et plus fluide entre Analytics et Log Explorer, l'ajout de nouveaux ensembles de données, dont les journaux Zero Trust, la possibilité de définir des périodes de rétention personnalisées et des alertes personnalisées intégrées.
N'hésitez pas à utiliser le lien des commentaires pour nous informer de la manière dont la solution Log Explorer fonctionne pour vous et des éléments qui pourraient faciliter votre travail.
Comment l'obtenir
Nous adorons avoir de vos nouvelles ! N'hésitez pas à nous indiquer que vous souhaitez rejoindre notre programme bêta en renseignant ce formulaire et un membre de notre équipe vous recontactera.
La tarification définitive sera déterminée avant le lancement en disponibilité générale.
Restez à l'écoute pour plus d'actualités, d'annonces et de discussions stimulantes ! N'hésitez pas à vous rendre sur la page d'accueil de la Security Week.