今天，我們滿懷欣喜之情，宣佈推出 Log Explorer 測試版，您可直接從 Cloudflare 儀表板調查 HTTP 和安全事件記錄。Log Explorer 是 Security Analytics 的延伸功能，可讓您檢閱相關的原始記錄。您無需將記錄轉傳至第三方安全分析工具，即可在 Cloudflare 儀表板內，以原生方式分析、調查和監控安全攻擊，藉此來縮短解決時間並降低整體擁有成本。
背景
Security Analytics 讓您能夠在一處分析所有 HTTP 流量，為您提供所需的安全分析來識別最重要的事項並採取行動：尚未緩解的潛在惡意流量。Security Analytics 包括內建檢視，例如直覺化版面配置上的主要統計資料和關聯內容快速篩選器，能實現快速探索和驗證。
為了支援具備快速查詢效能的大量分析儀表板，我們使用 自適應位元速率 (ABR) 分析，實作了 資料取樣。這非常適合提供高階資料彙總檢視。然而，我們收到許多 Security Analytics 高級使用者的意見回饋，有時他們需要存取更精細的資料檢視——他們需要記錄。
記錄提供了對當今電腦系統作業的關鍵可見度。工程師和 SOC 分析師每天依賴記錄來排解疑難問題，識別並調查安全事件，以及調整應用程式和基礎架構的效能、可靠性和安全性。傳統的指標或監控解決方案提供可用於識別趨勢的彙總或統計資料。指標非常適合用於識別發生的問題，但缺乏詳細的事件來幫助工程師發現問題發生的原因。工程師和 SOC 分析師依賴於原始記錄資料來回答以下問題：
- 導致這種 403 錯誤增加的因素有哪些？
- 這個 IP 位址存取了哪些資料？
- 此特定使用者工作階段的使用者體驗如何？
傳統上，這些工程師和分析師會使用各種監控工具，以便擷取記錄並獲得這種可見度。隨著更多組織使用多個雲端，或同時使用具有雲端和內部部署工具和架構的混合環境，擁有統一的平台來重新獲得對這種日益複雜的環境的可度性變得至關重要。隨著越來越多的公司轉向雲端原生架構，我們注意到 Cloudflare 的全球連通雲是其效能與安全策略中不可或缺的組成部分。
Log Explorer 提供了一個成本更低的選項，可在 Cloudflare 內部儲存和探索記錄資料。截至今日，我們已提供將記錄匯出至昂貴的第三方工具的功能，現在藉助 Log Explorer，您無需離開 Cloudflare 儀表板，即可快速、輕鬆地探索記錄資料。
Log Explorer 功能
無論您是調查潛在事件的 SOC 工程師，還是有特定記錄保留要求的合規官員，Log Explorer 都能滿足您的需求。它能夠以不受限制且可自訂的時段來儲存您的 Cloudflare 記錄，從而可在 Cloudflare 儀表板內原生存取這些記錄。支援的功能包括：
- 搜尋您的 HTTP 請求或安全事件記錄
- 基於任何欄位和一些標準運算子進行篩選
- 在基本篩選模式或 SQL查詢介面之間切換
- 選取可顯示的欄位
- 以表格格式檢視記錄事件
- 尋找與 Ray ID 關聯的 HTTP 請求記錄
縮小未緩解流量的範圍
身為 SOC 分析師，您的工作是監控並回應組織網路內的威脅和事件。使用 Security Analytics 時，您現在透過 Log Explorer 可在一處識別異常狀況並進行取證調查。
我們透過一個範例來看看其實際運作：
在 Security Analytics 儀表板上，您可在深入解析面板中看到一些流量已被標記為可能的攻擊，但並未緩解。
按一下篩選按鈕可縮小這些請求的範圍，以作進一步調查。
在取樣記錄檢視中，您可以看到大多數這些請求都來自公用的用戶端 IP 位址。
您還可看到 Cloudflare 已將所有這些請求標記為傀儡程式流量。憑藉此資訊，您可制定 WAF 規則來封鎖來自該 IP 位址的所有流量，或封鎖機器人分數低於 10 的所有流量。
假設合規團隊想要收集有關此攻擊範圍和影響的文件。我們可進一步深入探討這段時期內的記錄，以查看攻擊者嘗試存取的所有內容。
首先，我們可使用 Log Explorer，查詢在 Security Analytics 中看到的峰值時間範圍內來自可疑 IP 位址的 HTTP 請求。
我們還可新增 OriginResponseBytes 欄位及更新查詢，來顯示 OriginResponseBytes > 0 的請求，藉此檢閱攻擊者是否能夠洩漏資料。結果顯示沒有任何資料洩漏。
尋找並調查誤報
透過 Log Explorer 存取完整記錄後，您現在可執行搜尋來尋找特定請求。
當使用者對特定網站的請求遭到封鎖時，會發生 403 錯誤。Cloudflare 的安全產品使用 IP 聲譽和基於機器學習技術的 WAF Attack Score 等，來評估指定 HTTP 請求是否為惡意請求。這非常有效，但有時請求會被錯誤地標記為惡意請求並遭到封鎖。
在這些情況下，我們現在可使用 Log Explorer 來識別這些請求，及其遭到封鎖的原因，然後相應地調整相關的 WAF 規則。
或者，如果您有興趣依 Ray ID（為經過 Cloudflare 的每個請求提供的識別碼）來追蹤特定請求，您可透過 Log Explorer 使用一個查詢來完成此操作。
請注意，LIMIT 子句預設會包括在查詢中，但對 RayID 查詢沒有影響，因為 RayID 是唯一的，且使用 RayID 篩選欄位時只會傳回一則記錄。
我們如何構建 Log Explorer
使用 Log Explorer 時，我們在 Cloudflare R2 之上構建了一個長期、僅附加的記錄儲存平台。Log Explorer 可充分利用 Delta Lake 通訊協定，這是一個開放原始碼儲存架構，適用於在雲端物件儲存之上構建高效能、 ACID 相容的資料庫。換句話說，Log Explorer 將大型且經濟高效的儲存系統 Cloudflare R2 與強一致性、高效能的優勢結合在一起。此外，Log Explorer還為您提供 Cloudflare 記錄的 SQL 介面。
每個 Log Explorer 資料集都按客戶層級來儲存，就像 Cloudflare D1 一樣，因此，您的資料不會與其他客戶的資料放在一起。將來，這種單一租用戶儲存模型可讓您靈活地建立自己的保留原則，以及決定要在哪些區域儲存資料。
在後台，每位客戶的資料集作為 Delta 資料表儲存在 R2 儲存貯體中。Delta 資料表是一種儲存格式，使用 Hive 的分區命名慣例，將 Apache Parquet 物件整理到目錄中。至關重要的是，Delta 資料表將這些儲存物件與僅附加的檢查點交易記錄配對。這種設計讓 Log Explorer 能夠支援樂觀並行的多個寫入器。
Cloudflare 構建的許多產品，都是我們的團隊尋求應對挑戰的直接結果。Log Explorer 正是這種內部測試文化的完美範例。樂觀並行寫入需要底層物件儲存中的原子更新，並且由於我們的需求，R2 新增了具有強一致性的 PutIfAbsent 作業。多虧有了 R2！原子作業將 Log Explorer 與基於 Amazon Web Services S3 的 Delta Lake 解決方案區分開來，後者使用外部儲存來同步寫入而導致產生營運負擔。
Log Explorer 利用開放原始碼程式庫，以 Rust 程式設計語言編寫，例如 delta-rs ，這是 Delta Lake 通訊協定的原生 Rust 實作；以及 Apache Arrow DataFusion ，這是一個非常快速、可擴展的查詢引擎。在 Cloudflare，Rust 因其安全和效能優勢而成為新產品開發的熱門選擇。
下一步驟
我們知道，應用程式安全記錄只是瞭解您的環境發生情況的一部分。請繼續關注未來的發展，包括 Analytics 和 Log Explorer 之間更緊密、更無縫的整合、新增的更多資料集（包括 Zero Trust 記錄）、定義自訂保留期的功能，以及整合的自訂警報。
請使用 意見回饋連結，讓我們瞭解 Log Explorer 的運作情況，以及哪些改善可幫助您更輕鬆地工作。
如何取得
我們很樂意聽取您的意見！如果您有興趣加入我們的測試版計畫，請填寫 此表單，我們團隊的成員將與您連絡。
定價將於正式 (GA) 發佈之前確定。
請關注更多新聞、公告與發人深省的討論！別錯過完整的 Security Week 中心頁面。