Abonnez-vous pour recevoir des notifications sur les nouveaux articles :

Stockez vos logs Cloudflare sur R2

2021-12-07

Lecture: 3 min.
Cet article est également disponible en English, en Deutsch, en 日本語, en 한국어, en Indonesia, en ไทย et en 简体中文.

Nous sommes ravis d'annoncer que nos clients pourront bientôt stocker leurs logs Cloudflare sur notre solution de stockage Cloudflare R2. Le stockage de vos logs sur Cloudflare permettra aux CIO et aux équipes de sécurité de consolider leur infrastructure, de promouvoir la simplicité et de profiter d'un degré de sécurité supplémentaire, tout en réalisant des économies.

Cloudflare protège vos applications contre le trafic nuisible, accélère vos connexions et maintient les acteurs malveillants à l'écart de votre réseau. Les logs issus de nos produits permettent aux clients de répondre à diverses questions, telles que les suivantes :

  • Pourquoi certaines requêtes sont-elles bloquées par les règles de pare-feu que j'ai configurées ?

  • Pourquoi mes utilisateurs voient-ils les déconnexions de mes applications reposant sur Spectrum ?

  • Pourquoi suis-je en train de constater un pic des requêtes de Cloudflare Gateway vers une application spécifique ?

Le stockage sur R2 s'inscrit dans notre ensemble de produits de journalisation existants. Le stockage de logs sur R2 vient combler les lacunes relevées par nos clients, qui nous demandent depuis longtemps une solution efficace et abordable permettant de stocker les logs issus de n'importe lequel de nos produits pendant une certaine période de temps.

Dites au revoir à la journalisation à l'ancienne

Revenons au début des années 2000. La plupart des entreprises exécutaient leur propre infrastructure autogérée, regroupant des appareils réseau, des pare-feu, des serveurs et l'ensemble des logiciels associés. Chaque entreprise devait gérer des logs provenant de centaines de sources au sein de la pile informatique. Face à la nécessité d'un stockage dédié permettant de conserver un volume infini de logs, les équipes spécialisées devaient mettre sur pied un pipeline ETL et rendre les données exploitables.

Avançons maintenant aux années 2010. Les entreprises adoptent l'utilisation de services gérés pour leurs fonctions informatiques. En conséquence, la manière dont les clients recueillent les logs pour l'ensemble de leurs services évolue elle aussi. Avec les services gérés, la plus grande partie de la charge liée à la journalisation est transférée vers le client.

Un nouveau défi émerge : la collecte de logs issus d'un ensemble de services gérés, chacun disposant de ses propres spécificités. Les logs peuvent être envoyés à diverses latences et sous différents formats. De même, certains se révèlent trop détaillés, tandis que d'autres ne le sont pas assez. Pour bénéficier d'une vue d'ensemble sur leur infrastructure informatique depuis un panneau unique, les entreprises doivent développer ou acquérir une solution SIEM.

La journalisation évolue au fil des ans

Logging changes over the years

Cloudflare remplace ces ensembles de services gérés. Lorsqu'un client intègre Cloudflare, nous lui permettons de bénéficier, en toute simplicité, d'une visibilité sur l'ensemble de son trafic arrivant sur notre réseau. Nous avons développé des outils d'analyse pour bon nombre de nos produits, comme notre réseau CDN, notre pare-feu ou nos solutions Magic Transit et Spectrum, afin de permettre à nos clients de consulter les tendances de haut niveau et d'examiner ces dernières plus en profondeur (en disséquant les données).

Les analyses constituent un moyen formidable d'observer les données sous forme agrégée, mais nous savons que les journaux bruts se révèlent tout aussi importants pour nos clients. Nous avons donc conçu une suite de produits de journalisation.

La journalisation d'aujourd'hui

Au cours de la Speed Week, nous avons annoncé Instant Logs, une solution permettant d’observer le trafic des clients lorsqu'il arrive sur leur domaine. Le service Instant Logs se révèle parfait pour le débogage en direct et le triage des scénarios d'utilisation. Vous pouvez ainsi surveiller votre trafic, procéder à une modification de votre configuration et observer instantanément les effets de cette dernière. En outre, si vous devez inspecter vos logs de manière rétroactive, nous disposons de Logpush.

Nous avons mis au point un impressionnant pipeline de journalisation permettant de recueillir les données issues des villes dans lesquelles nous avons implanté nos datacenters (plus de 250) et de les retransmettre à nos clients en moins d'une minute à l'aide de Logpush. Si votre entreprise dispose déjà de pratiques existantes concernant le transfert des données vers un endroit donné au sein de votre pile, nous prenons en charge le Logpush vers toute une gamme de destinations (stockage cloud ou SIEM). Nous disposons également de partenariats en place avec plusieurs plates-formes SIEM de premier plan, afin de faire remonter les données de Cloudflare de manière significative pour nos clients.

Dernier élément et non des moindres : le service Logpull. Grâce à Logpull, les clients peuvent accéder aux logs des requêtes HTTP à l'aide de notre API REST. Nos clients apprécient Logpull, car il s'agit d'un service facile à configurer, leur permettant de ne plus se soucier du stockage des logs chez un tiers et de récupérer leurs données de manière ponctuelle pendant jusqu'à sept jours.

Pourquoi une solution de stockage Cloudflare ?

Les quatre premières demandes que nous ayons entendues de la part de nos clients à l'égard des logs sont les suivantes :

  • J'ai un budget serré et j'ai besoin d'une solution de stockage des logs économique.

  • Ce type de solution devrait être facile à configurer et à entretenir.

  • Je devrais pouvoir stocker les logs aussi longtemps que j'en ai besoin.

  • Je souhaite pouvoir accéder à mes logs sur Cloudflare, et ce pour n'importe quel produit.

La plate-forme Cloudflare constitue l'une des plus importantes sources de données pour bon nombre de nos clients. Elle génère également plus de données que les autres applications de leur pile informatique. Le service R2 se révèle plus économique que les autres fournisseurs de cloud. Nos clients n'ont donc pas besoin de faire des compromis en prélevant des échantillons ou en abandonnant purement et simplement les logs de certains produits afin de réduire les coûts.

Tout comme avec Logpull, le stockage des logs sur R2 s'effectuera de manière simple et rapide. Après une configuration en un seul clic, nous stockerons vos logs et vous n'aurez plus à vous soucier des détails de cette dernière. La rétention restera intégralement aux mains de nos clients, afin de leur permettre de faire correspondre les besoins de leur entreprise en matière de sécurité et de conformité. Grâce au service R2, vous pouvez également stocker les logs de n'importe quel produit pour lequel nous disposons d'une fonction de journalisation à l'heure actuelle (nous ajouterons d'autres produits à la liste à mesure que notre ligne s'élargira).

Stockage des logs : nous n'en sommes encore qu'au début !

Avec le stockage des logs sur Cloudflare, nous proposons à nos clients les briques de construction qui leur permettront d'effectuer une analyse de leurs logs et de bénéficier d'outils d'investigation directement sur notre réseau. Que vous conduisiez une enquête, répondiez à une demande de support ou réagissiez à un incident, l'utilisation conjointe d'outils d'analyse (pour obtenir une vue d'ensemble) et d'inspection des logs (afin de déterminer les causes premières) constituera une combinaison puissante.

Si vous souhaitez être informés du moment auquel vous pourrez commencer à stocker vos logs sur Cloudflare, inscrivez-vous en remplissant ce formulaire.

Nous sommes toujours à la recherche d'ingénieurs talentueux prêts à relever les défis liés au fait de travailler avec des données à une échelle phénoménale. Si cette idée vous intéresse, n'hésitez pas à déposer votre candidature ici.

Nous protégeons des réseaux d'entreprise entiers, aidons nos clients à développer efficacement des applications à l'échelle d'Internet, accélérons tous les sites web ou applications Internet, repoussons les attaques DDoS, tenons les pirates informatiques à distance et pouvons vous accompagner dans votre parcours d'adoption de l'architecture Zero Trust.

Accédez à 1.1.1.1 depuis n'importe quel appareil pour commencer à utiliser notre application gratuite, qui rend votre navigation Internet plus rapide et plus sûre.

Pour en apprendre davantage sur notre mission, à savoir contribuer à bâtir un Internet meilleur, cliquez ici. Si vous cherchez de nouvelles perspectives professionnelles, consultez nos postes vacants.
CIO Week (FR)Logs (FR)SécuritéNouveautés produitsStorageR2 Storage (FR)

Suivre sur X

Tanushree Sharma|@_tanushreeeee
Cloudflare|@cloudflare

Publications associées

26 novembre 2024 à 16:00

Cloudflare incident on November 14, 2024, resulting in lost logs

On November 14, 2024, Cloudflare experienced a Cloudflare Logs outage, impacting the majority of customers using these products. During the ~3.5 hours that these services were impacted, about 55% of the logs we normally send to customers were not sent and were lost. The details of what went wrong and why are interesting both for customers and practitioners....