Wir freuen uns, heute die Beta-Verfügbarkeit von Log Explorer ankündigen zu können, mit dem Sie Ihre HTTP- und Sicherheitsereignisprotokolle direkt über das Cloudflare-Dashboard untersuchen können. Log Explorer ist eine Erweiterung von Security Analytics, die Ihnen die Möglichkeit gibt, verwandte Rohdaten-Logdateien zu überprüfen. Sie können Sicherheitsangriffe nativ im Cloudflare-Dashboard analysieren, untersuchen und überwachen und so die Zeit bis zur Lösung des Problems und die Gesamtbetriebskosten reduzieren, da Sie die Protokolle nicht mehr an Sicherheitsanalysetools von Drittanbietern weiterleiten müssen.
Hintergrund
Mit Security Analytics können Sie Ihren gesamten HTTP-Traffic an einem Ort analysieren. So erhalten Sie die erforderliche Übersicht über Ihre Sicherheit, um das Wichtigste zu erkennen und darauf zu reagieren: potenziell bösartigen Traffic, der nicht abgewehrt wurde. Security Analytics verfügt über integrierte Ansichten wie Top-Statistiken und kontextbezogene Schnellfilter in einem intuitiven Seitenlayout, das eine schnelle Erkundung und Validierung ermöglicht.
Um die Performance unserer umfangreichen Analytics-Dashboards zu optimieren, haben wir Daten-Sampling mit Adaptive Bitrate (ABR)-Analytics implementiert. Dies eignet sich hervorragend für aggregierte Ansichten der Daten. Wir haben jedoch von vielen intensiven Nutzern von Security Analytics die Rückmeldung erhalten, dass sie manchmal eine detailliertere Ansicht der Daten benötigen – sie brauchen Protokolle.
Protokolle bieten einen wichtigen Einblick in die Abläufe der heutigen Computersysteme. Entwickler und SOC-Analysten verlassen sich täglich auf Protokolle, um Probleme zu beheben, Sicherheitsvorfälle zu identifizieren und zu untersuchen und die Performance, Zuverlässigkeit und Sicherheit ihrer Anwendungen und Infrastruktur zu optimieren. Herkömmliche Metriken oder Überwachungslösungen liefern aggregierte oder statistische Daten, mit denen sich Trends erkennen lassen. Metriken eignen sich hervorragend, um festzustellen, WAS ein Problem ist, aber es fehlen die detaillierten Ereignisse, die den Technikern helfen, herauszufinden, WARUM es passiert ist. Techniker und SOC-Analysten verlassen sich auf die Daten der Rohdaten-Logdatei, um Fragen wie diese zu beantworten:
- Was verursacht diesen Anstieg der 403-Fehler?
- Auf welche Daten wurde von dieser IP-Adresse aus zugegriffen?
- Welche Nutzererfahrung hat dieser Nutzer bei seiner Sitzung gehabt?
Traditionell haben diese Techniker und Analysten eine Vielzahl verschiedener Überwachungstools zusammengestellt, um Protokolle zu erfassen und den gewünschten Einblick zu erhalten. Immer mehr Unternehmen nutzen mehrere Clouds oder eine hybride Umgebung mit sowohl Cloud- als auch On-Premise-Tools und -Architekturen. Daher ist es wichtig, eine einheitliche Plattform zu haben, um wieder einen klaren Überblick über diese immer komplexere Umgebung zu erhalten. Da immer mehr Unternehmen zu einer Cloud-nativen Architektur übergehen, sehen wir die Connectivity Cloud von Cloudflare als einen integralen Bestandteil ihrer Performance- und Sicherheitsstrategie.
Log Explorer bietet eine kostengünstige Option für die Speicherung und Untersuchung von Protokolldaten innerhalb von Cloudflare. Bis heute haben wir die Möglichkeit angeboten, Logs in teure Tools von Drittanbietern zu exportieren. Mit dem Log Explorer können Sie nun schnell und einfach Ihre Protokolldaten untersuchen, ohne das Cloudflare-Dashboard zu verlassen.
Features von Log Explorer
Egal, ob Sie ein SOC-Engineer sind, der potenzielle Vorfälle untersucht, oder ein Compliance-Beauftragter mit spezifischen Anforderungen an die Aufbewahrung von Protokollen, Log Explorer wird allen Ihren Bedürfnissen gerecht. Es speichert Ihre Cloudflare-Protokolle für einen unbegrenzten und individuell anpassbaren Zeitraum und macht sie nativ im Cloudflare-Dashboard zugänglich. Wichtigste Features sind u. a.:
- Durchsuchen Ihrer HTTP-Anfrage oder Ihrer Security Event-Protokolle
- Filterung nach einem beliebigen Feld und einer Reihe von Standardoperatoren
- Wechsel zwischen einfachem Filtermodus und SQL-Abfrageschnittstelle
- Auswahl der anzuzeigenden Felder
- Anzeigen von Protokollereignissen in Tabellenform
- Suche nach den HTTP-Anfrage-Datensätzen, die mit einer Ray ID verbunden sind
Eingrenzung auf nicht-abgewehrten Traffic
Als SOC-Analyst ist es Ihre Aufgabe, Bedrohungen und Vorfälle im Netzwerk Ihres Unternehmens zu überwachen und darauf zu reagieren. Mit Security Analytics und jetzt auch mit Log Explorer können Sie Anomalien identifizieren und eine forensische Untersuchung durchführen – alles an einem Ort.
Lassen Sie uns ein Beispiel durchgehen, um zu illustrieren, wie dies funktioniert:
Auf dem Security Analytics-Dashboard können Sie im Bereich „Insights“ sehen, dass es Traffic gibt, der als wahrscheinlicher Angriff markiert, aber nicht abgewehrt wurde.
Durch Klicken auf die Filter-Schaltfläche werden diese Anfragen für weitere Untersuchungen eingegrenzt.
In der beispielhaften Protokollansicht können Sie sehen, dass die meisten dieser Anfragen von einer gemeinsamen Client-IP-Adresse kommen.
Sie können auch sehen, dass Cloudflare alle diese Anfragen als Bot-Traffic gekennzeichnet hat. Mit diesem Kenntnisstand können Sie eine WAF-Regel erstellen, die entweder den gesamten Traffic von dieser IP-Adresse blockiert oder den gesamten Traffic mit einem Bot-Score von weniger als 10 blockiert.
Nehmen wir an, das Compliance-Team möchte Unterlagen über den Umfang und die Auswirkungen dieses Angriffs sammeln. Wir können die Protokolle in diesem Zeitraum genauer untersuchen, um zu sehen, worauf der Angreifer versucht hat, zuzugreifen.
Zunächst können wir den Log Explorer verwenden, um HTTP-Anfragen von der verdächtigen IP-Adresse während des Zeitraums abzufragen, in dem der rasante Anstieg in Security Analytics auftrat.
Wir können auch überprüfen, ob der Angreifer in der Lage war, Daten zu exfiltrieren, indem wir das Feld „OriginResponseBytes“ hinzufügen und die Abfrage aktualisieren, um Anfragen mit „OriginResponseBytes > 0“ anzuzeigen. Die Ergebnisse zeigen, dass keine Daten exfiltriert wurden.
Auffinden und Untersuchen von Falschmeldungen
Mit dem Zugang zu den vollständigen Protokollen über den Log Explorer können Sie jetzt eine Suche durchführen, um bestimmte Anfragen zu finden.
Ein 403-Fehler tritt auf, wenn die Anfrage eines Benutzers an eine bestimmte Website blockiert wird. Die Sicherheitsprodukte von Cloudflare nutzen Faktoren wie IP-Reputation und WAF Attack Scores, die auf ML-Technologien basieren, um zu beurteilen, ob eine bestimmte HTTP-Anfrage bösartig ist. Dies ist äußerst effektiv, aber manchmal werden Anfragen fälschlicherweise als bösartig eingestuft und blockiert.
In diesen Situationen können wir nun den Log Explorer verwenden, um diese Anfragen und die Gründe für ihre Blockierung zu ermitteln und dann die entsprechenden WAF-Regeln entsprechend anzupassen.
Wenn Sie jedoch eine bestimmte Anfrage anhand der Ray ID aufspüren möchten, einer Kennung, die jeder über Cloudflare geleiteten Anfrage zugewiesen wird, können Sie dies über den Log Explorer mit einer einzigen Abfrage tun.
Beachten Sie, dass die LIMIT-Klausel standardmäßig in der Abfrage enthalten ist, aber keine Auswirkungen auf RayID-Abfragen hat, da RayID eindeutig ist und nur ein Datensatz ausgegeben würde, wenn Sie das RayID-Filterfeld verwenden.
Wie wir Log Explorer entwickelt haben
Mit Log Explorer haben wir eine langfristige, ausschließlich auf Anhängen basierende Plattform zur Speicherung von Protokollen auf Cloudflare R2 entwickelt. Log Explorer nutzt das Delta Lake-Protokoll, ein Open-Source-Storage-Framework für den Aufbau hochperformanter, ACID-kompatibler Datenbanken auf einem Cloud-Objektspeicher. Mit anderen Worten: Log Explorer kombiniert ein großes und kostengünstiges Speichersystem – Cloudflare R2 – mit den Vorteilen einer starken Einheitlichkeit und hoher Performance. Darüber hinaus bietet Ihnen Log Explorer eine SQL-Schnittstelle zu Ihren Cloudflare-Protokollen.
Jeder Log Explorer-Datensatz wird pro Kunde gespeichert, genau wie Cloudflare D1, sodass Ihre Daten nicht mit denen anderer Kunden kombiniert werden. In Zukunft wird Ihnen dieses von einem einzigen Mandanten ausgehende Speichermodell die Flexibilität geben, Ihre eigenen Aufbewahrungsrichtlinien zu erstellen und zu entscheiden, in welchen Regionen Sie Ihre Daten speichern möchten.
Technisch gesehen werden die Datensätze für jeden Kunden als Delta-Tabellen in R2-Buckets gespeichert. Eine Delta-Tabelle ist ein Speicherformat, das Apache Parquet-Objekte in Verzeichnissen unter Verwendung der Partitionierungskonvention von Hive organisiert. Wichtig ist, dass Delta-Tabellen diese Speicherobjekte mit einem ausschließlich auf Anhängen basierenden Transaktionsprotokoll mit Prüfpunkt verbinden. Dieses Design ermöglicht es Log Explorer, mehrere Schreibvorgänge mit optimistischer Parallelität zu unterstützen.
Viele der Produkte, die Cloudflare entwickelt, sind ein direktes Ergebnis der Herausforderungen, die unser eigenes Team angehen möchte. Log Explorer ist ein perfektes Beispiel für diese Kultur des Dogfooding. Optimistische paralelle Schreibvorgänge erfordern atomare Aktualisierungen im zugrundeliegenden Objektspeicher, und aufgrund unserer Bedürfnisse hat R2 einen PutIfAbsent-Vorgang mit starker Einheitlichkeit hinzugefügt. Danke, R2! Der atomare Vorgang unterscheidet Log Explorer von Delta Lake-Lösungen, die auf S3 von Amazon Web Services basieren und bei denen ein externer Speicher für die Synchronisierung von Schreibvorgängen verwendet werden muss.
Log Explorer ist in der Programmiersprache Rust geschrieben und verwendet Open-Source-Bibliotheken wie z. B. delta-rs, eine native Rust-Implementierung des Delta Lake Protokolls, und Apache Arrow DataFusion, eine sehr schnelle, erweiterbare Abfrage-Engine. Bei Cloudflare hat sich Rust aufgrund seiner Sicherheits- und Performance-Vorteile als beliebte Wahl für die Entwicklung neuer Produkte erwiesen.
Was kommt als Nächstes?
Wir wissen, dass die Protokolle der Anwendungssicherheit nur teilweise Aufschluss darüber geben, was in Ihrer Umgebung vor sich geht. In Kürze erfahren Sie mehr über unsere zukünftigen Entwicklungen, darunter eine engere, nahtlosere Integration zwischen Analytics und Log Explorer, zusätzliche Datensätze, einschließlich Zero Trust-Protokollen, die Möglichkeit, benutzerdefinierte Aufbewahrungszeiträume zu definieren, und integrierte benutzerdefinierte Warnmeldungen.
Bitte benutzen Sie den Feedback-Link, um uns über Ihre Nutzererfahrung mit Log Explorer zu berichten und darüber, was Ihnen die Arbeit erleichtern würde.
So bekommen Sie Zugang zum Log Explorer
Wir würden uns freuen, von Ihnen zu hören! Lassen Sie uns wissen, ob Sie an einer Teilnahme an unserem Beta-Programm interessiert sind, indem Sie dieses Formular ausfüllen. Einer unserer Mitarbeitenden wird sich mit Ihnen in Verbindung setzen.
Die Preisgestaltung wird vor der Einführung der allgemeinen Verfügbarkeit (GA) festgelegt.
Verpassen Sie keine weiteren Neuigkeiten, Ankündigungen und anregenden Diskussionen! Besuchen Sie auch die vollständige Security Week Hub-Seite.