今天，我们激动地宣布 Log Explorer的公测版本正式上线，其允许您直接从 Cloudflare 控制面板查看 HTTP 和安全事件日志。Log Explorer 是 Security Analytics的扩展，让您能够查看相关的原始日志。您可以在 Cloudflare 仪表板中分析、调查和监控安全攻击，而无需将日志转发给第三方安全分析工具，从而缩短解决时间并降低总体拥有成本。
背景
Security Analytics 使您能够在单一地点分析所有 HTTP 流量，为您提供所需的安全视角，以识别最重要的问题并采取相应行动：未被缓解的潜在恶意流量。 Security Analytic 包括内置视图，如顶部统计数据和上下文快速筛选器，结合直观的页面布局，可实现快速探索和验证。
我们采用了通过 自适应比特率 (ABR) 分析 进行的 数据采样 旨在使我们的丰富分析仪表盘具有快速查询性能。这非常适用于提供数据的高级汇总视图。但我们从许多 Security Analytic 高级用户处得到反馈，有时其需要访问更详细的数据视图——其需要日志。
日志为当今计算机系统的运行提供了关键的可见性。 工程师和 SOC 分析员每天依靠日志解决问题、识别和调查安全事件并优化应用程序和基础设施的性能、可靠性和安全性。传统的度量或监控解决方案提供汇总或统计数据，可用于识别趋势。 度量标准能很好地识别问题发生的原因，但缺乏帮助工程师揭示问题发生原因的详细事件。工程师和 SOC 分析师依靠原始日志数据来回答以下问题：
- 403 错误增加的原因是什么？
- 该 IP 地址访问了哪些数据？
- 该特定用户会话的用户体验如何？
一般来说，这些工程师和分析师通常需要搭建一系列各种监控工具，以捕获日志并获得这种可视性。随着越来越多的企业使用多种云，或同时使用云和本地工具和架构的混合环境，拥有一个统一的平台来重新获得对这种日益复杂的环境的可见性至关重要。随着越来越多的公司转向云原生架构，我们将 Cloudflare 的 全球连通云视为其性能和安全策略不可或缺的组成部分。
Log Explorer 提供了在 Cloudflare 内存储和探索日志数据的一种成本更低的选择。迄今为止，我们一直提供将日志导出到昂贵的第三方工具的选项，而现在借助 Log Explorer，您无需离开 Cloudflare 控制面板，即可方便快捷地查看日志数据。
Log Explorer 的功能
无论您是调查潜在事件的 SOC 工程师，还是有特定日志保留要求的合规官，Log Explorer 均可满足您的需求。其能够以无上限和可自定义的时间期限存储您的 Cloudflare 日志，使其能够在 Cloudflare 控制面板内直接访问。支持的功能包括
- 搜索 HTTP 请求或安全事件日志
- 根据任何字段和某些标准运算符进行筛选
- 在基本过滤模式或 SQL 查询界面之间进行切换
- 选择要显示的字段
- 以表格形式查看日志事件
- 查找与 Ray ID 相关联的 HTTP 请求记录
针对未被缓解的流量进行精准查找
作为 SOC 分析师，您的工作是监控并应对组织网络中的威胁和事件。使用Security Analytic，现在又有了Log Explorer ，您可以在一个地方识别异常并进行取证调查。
让我们通过一个示例来加深理解：
在 Security Analytics 仪表板上，您可以在“Insights”面板中看到某些被标记为潜在攻击，但尚未得到的缓解的流量。
单击过滤按钮可缩小范围，以对这些请求进行更深入的调查。
在日志采样视图中，您可以看到这些请求大多来自一个共同的客户端 IP 地址。
您还可以看到 Cloudflare 已将所有这些请求标记为机器人流量。利用这些信息，您就可以制定 WAF 规则，阻止来自该 IP 地址的所有流量，或阻止机器人评分低于 10 的所有流量。
比如，假设合规团队想要收集有关此攻击范围和影响的文档。我们可以进一步挖掘在此期间的日志，查看攻击者试图访问的所有内容。
首先，我们可以使用 Log Explorer 在 Security Analytic 中看到的峰值时间范围内来查询与可疑 IP 地址相关的 HTTP 请求。
我们通过添加 OriginResponseBytes 字段并更新查询，以显示 OriginResponseBytes> 0 的请求，来查看攻击者是否会外泄数据。
查找和调查误报
利用 Log Explorer 获得完整的日志访问权限后，您现在可以执行搜索以查找特定请求。
当用户对特定网站的请求被阻止时，就会出现 403 错误，Cloudflare 的安全产品使用 IP 声誉和基于 ML 技术的 WAF 攻击分数 等因素，来评估特定的 HTTP 请求是否为恶意。虽然这非常有效，但有时请求可能被错误地标记为恶意并受到阻止。
出现这种情况时，我们现在可以使用 Log Explorer 来识别这些请求以及其被阻止的原因，然后相应地调整相关的 WAF 规则。
或者，如果您希望利用 Ray ID 跟踪特定请求（Ray ID 是分配给通过 Cloudflare 的每个请求的标识符），您可以通过Log Explorer进行一次查询。
请注意，LIMIT 子句默认包含在查询中，但对 RayID 查询没有影响，因为 RayID 是唯一的，使用 RayID 过滤字段时只会返回一条记录。
我们如何构建 Log Explorer
利用·Log Explorer，我们在 Cloudflare R2 的基础上构建了一个长期的、仅支持追加的日志存储平台。Log Explorer 利用 Delta Lake 协议（开源存储框架，用于在云对象存储之上构建高性能、 ACID兼容的数据库。换言之，Log Explorer 融合了大型、经济高效的存储系统（Cloudflare R2）的特点，具备强大的一致性和高性能。此外，Log Explorer 还为您的 Cloudflare 日志提供了一个 SQL 接口。
每个 Log Explorer 数据集都是按客户级别存储的，就像 Cloudflare D1 一样，因此您的数据不会与其他客户的数据混在一起。未来，这种单租户存储模式将使您能够灵活地创建自身的保留策略，并决定要将数据存储在哪个区域。
在底层，每个客户的数据集都存储为 R2 桶中的 Delta 表。作为一种存储格式， Delta 表使用 Hive 的分区命名约定将 Apache Parquet 对象组织到目录中。重要的是，Delta 表将这些存储对象与仅追加、经过检查点的事务日志配对。这种设计允许 Log Explorer 支持乐观并发的多个写入器。
Cloudflare 开发的众多产品都是我们团队自身试图解决的挑战的直接结果。Log Explorer 就是这种 自家用文化的完美范例。乐观并发的写入需要在底层对象存储中进行原子更新，基于我们的需求，R2 新增了一个具有强大一致性的 PutIfAbsent 操作。R2 的这一特性堪称完美。该原子操作将 Log Explorer 与基于亚马逊 Web 服务 S3 的 Delta Lake 解决方案区分开来，后者需要使用 外部存储来同步写操作，从而带来操作负担。
Log Explorer 以 Rust 语言编程而成，使用的开源库包括 delta-rs（Delta Lake 协议的 Rust 原生实现），以及 Apache Arrow DataFusion（一个非常快速、可扩展的查询引擎）。在 Cloudflare，由于其安全性和性能优势，Rust已成为新产品开发的热门选择。
下一步
我们知道，应用程序安全日志只能了解部分您环境中发生的情况。未来的发展将更加令人振奋，包括 Analytics 和 Log Explorer 之间更紧密、更无缝的集成，增加包括 Zero Trust 日志在内的更多数据集，定义自定义保留期的功能，以及集成的自定义警报。
请使用 反馈链接，让我们了解 Log Explorer 如何为您的工作提供帮助，以及还有哪些功能可以进一步简化您的工作。
如何获取
我们很乐意听取您的意见！如果您有兴趣加入我们的 Beta 计划，请填写 此表格的，我们的团队成员将与您联系。
定价将在正式推出 (GA) 之前最终确定。
敬请关注更多新闻、公告和引发思考的对话！请勿错过 Security Week 中心页面的完整内容。