本日、Cloudflare Dashboardから直接のHTTPログおよびセキュリティイベントログの調査が実現する、Log Explorerのベータ版をリリースしました。Log ExplorerはSecurity Analyticsの拡張機能で、未加工ログをレビューできるものです。Cloudflareダッシュボードでネイティブにセキュリティ攻撃を分析、調査、監視できるため、サードパーティのセキュリティ分析ツールにログを転送する必要がなく、解決までの時間と全体的なオーナーシップコストを削減できます。
背景
Security AnalyticsではHTTPトラフィックのすべてを1か所で分析できるため、最も重要となる問題、つまり悪意のある可能性のあるトラフィックで緩和されていないものを特定・対処するために必要なセキュリティの洞察が得られます。Security Analyticsには、スピーディな調査と検証を可能にする直感的ページレイアウトに加え、注目すべき統計やコンテキスト情報を踏まえたクイックフィルターなどのビューが組み込まれています。
リッチな分析ダッシュボードをスピーディなクエリ・パフォーマンスで提供するため、弊社では次のようなアダプティブ・ビットレート（ABR）アナリティクスを使用してデータサンプリングを実装しました。これは、データのハイレベルな集計ビューを提供するのに最適なものとなります。しかし、多くのSecurity Analyticsのヘビーユーザーから、データのより詳細なビューへのアクセスが必要な場合がある、つまりログが必要だというフィードバックを受け取ることとなりました。
ログにより、今日のコンピュータ・システムのオペレーションに決定的な重要性を持つ可視性が得られます。エンジニアやSOCのアナリストは、トラブルシューティング、セキュリティインシデントの特定と調査、そしてアプリケーションとインフラストラクチャのパフォーマンス、信頼性、セキュリティの微調整を行うため、日常的にログに頼っています。従来のメトリクスやモニタリングソリューションが提供できるのは、傾向を特定するために使用できる集計データや統計データとなっています。メトリクスは、問題が発生したことを特定するのには優れているものの、エンジニアが問題の発生原因明らかにするのに役立つ詳細な事象に関する情報が欠けています。エンジニアやSOCアナリストは、未加工ログデータから、次のような疑問を解決します
- 403エラーの増加の原因
- あるIPアドレスからアクセスされたデータ
- あるユーザーのセッションの内容
従来、こうしたエンジニアやアナリストは、ログをキャプチャしてこの可視性を得るため、さまざまな監視ツールのコレクションを立ち上げていました。複数のクラウドを利用する企業や、クラウドとオンプレミスの両方のツールやアーキテクチャを持つハイブリッド環境を利用する企業が増える中、この複雑化する環境を可視化するための統一されたプラットフォームを持つことは非常に重要になります。クラウドネイティブ・アーキテクチャーに移行する企業がますます増える中、Cloudflareのコネクティビティクラウドはパフォーマンスとセキュリティ戦略にとって不可欠な要素となると考えています。
Log Explorerは、Cloudflare内にログデータを保存し調査するための低コストなオプションとなります。これまでは高価なサードパーティツールにログをエクスポートする機能を提供してきたものの、Log ExplorerやCloudflare Dashboardを離れることなく、素早く簡単にログデータを探索できるようになりました。
Log Explorerの特徴
潜在的なインシデントを調査するSOCエンジニアであれ、特定のログ保持要件を持つコンプライアンス担当者であれ、Log Explorerがそのニーズをカバーします。Cloudflareのログを上限なく長期間に渡り保存し（期間は任意で設定可能）、Cloudflare Dashboard内でネイティブにアクセスできるようにします。対応する機能は以下の通りです。
- HTTPリクエストまたはセキュリティイベントログの検索
- 任意のフィールドと多数の標準演算子に基づくフィルタリング
- 基本フィルターモードとSQLクエリーインターフェースの切り替え
- 表示するフィールドの選択
- 表形式でのログイベントの表示
- Ray IDに関連するHTTPリクエストレコードの検索
トラフィックを絞り込む
SOCアナリストは、組織のネットワーク内の脅威やインシデントの監視および対応が仕事となります。Security Analytics、さらにLog Explorerを使用することで、異常を特定しフォレンジック調査を1か所で行えます。
例を挙げながらその実際を紹介します。
Security AnalyticsダッシュボードのInsightsパネルから、攻撃の可能性が高いとタグ付けされたものの、緩和されていないトラフィックがあることがわかります。
フィルターボタンをクリックすると、これらのリクエストを絞り込んでさらに詳しく調査できます。
サンプルログビューでは、これらのリクエストのほとんどが共通のクライアントIPアドレスから来ていることがわかります。
また、Cloudflareがこれらのリクエストすべてにボットトラフィックとしてのフラグを立てていることもわかります。この情報を使って、このIPアドレスからのトラフィックをすべてブロックする、もしくはボットスコアが10未満のトラフィックをすべてブロックするなどのWAFルールを作成できます。
コンプライアンス担当部署が、この攻撃の範囲と影響に関するドキュメンテーションを収集したいとします。この時間帯のログをさらに調べれば、この攻撃者がアクセスしようとしたすべてのものを見ることができます。
まず、Log Explorerを用い、Security Analyticsで急増が確認された時間帯の疑わしいIPアドレスからのHTTPリクエストを照会します。
OriginResponseBytesフィールドを追加し、OriginResponseBytes > 0のリクエストを表示するようにクエリを更新すると、攻撃者がデータを流出させることができたかどうかの確認もできます。結果は、データが流出しなかったことを示しています。
偽陽性の発見と調査
Log Explorer経由ではログ全体にアクセスできるため、特定のリクエストを検索できるようになりました。
403エラーは、特定のサイトへのユーザーのリクエストがブロックされた場合に発生します。Cloudflareのセキュリティ製品は、機械学習に基づいたレピュテーションやなどを用い、HTTPリクエストが悪意のあるものであるかどうかを評価しています。これは非常に効果的であるものの、リクエストに誤って悪意のあるフラグが付けられ、ブロックされることもあります。
このような状況では、Log Explorerを用い、これらのリクエストとブロックされた理由を特定し、それに応じて適切にWAFルールを調整できるようになりました。
また、Ray ID（Cloudflareを通過するすべてのリクエストに付与される識別子）によって特定のリクエストを追跡したい場合、Log Explorerで1つのクエリで実行できます。
LIMITクラウスはデフォルトでクエリに含まれていますが、RayIDは一意であり、RayIDフィルタフィールドを使用した場合は1つのレコードしか返されないため、RayIDクエリには影響しません。
Log Explorerの構築の様子
Log Explorerでは、Cloudflare R2上に長期的なアペンドのみのログストレージプラットフォームを構築しました。Log Explorer は、大規模でコスト効率に優れたストレージシステムであり、に準拠したデータベースを構築するためのオープンソースのストレージフレームワークであるDelta Lakeプロトコルを活用しています。言い換えれば、Cloudflare R2を強力な一貫性と高いパフォーマンスの利点と組み合わせたものがLog Explorerとなります。さらに、Log Explorerは、CloudflareログへのSQLインターフェースも提供しています。
各Log Explorerデータセットは、Cloudflare D1と同様に顧客ごとに保存されるため、お客様のデータが他の顧客のデータと一緒になることはありません。将来的には、このシングル・テナント・ストレージ・モデルにより独自の保持ポリシーを作成し、どの地域にデータを保存するかを柔軟に決定できるようになります。
内部では、各顧客のデータセットはR2バケットにデルタテーブルとして格納されます。デルタテーブルは、Apache ParquetオブジェクトをHiveのパーティショニング命名規則を使用してディレクトリに整理するストレージ形式です。デルタテーブルがこれらのストレージオブジェクトと、追記のみのチェックポイントされたトランザクションログをペアにしている点が要点となります。この設計により、Log Explorer、楽観的並行性で複数のライターに対応できます。
Cloudflareが構築する製品の多くは、弊社チームが対処しようとしている課題を直接的に反映したものです。Log Explorerは、このドッグフーディング文化の好例です。最適化された同時書き込みは、基礎となるオブジェクトストアのアトミックな更新を必要とし、弊社社員自身のニーズの結果として、R2には強力な一貫性を持つPutIfAbsentオペレーションが追加されました。R2の功績と言えます。このアトミック操作により、書き込みの同期に外部ストレージを用いる運用負担が発生するAmazon Web ServicesのS3をベースとしたDelta Lakeソリューションと比較し、Log Explorerは一線を画すことになります。
Log Explorerは、Delta Lake プロトコルのネイティブなRust実装であるdelta-rsdelta-rs、そして非常に高速で拡張性のあるクエリエンジンである Arrow DataFusionオープンソースライブラリを使用し、Rustプログラミング言語で書かれています。Cloudflareでは、Rustはその安全性とパフォーマンス上の利点から、新製品開発のための一般的な選択肢として重要性が高まっています。
今後の展開は？
アプリケーション・セキュリティ・ログは、お客様の環境で何が起こっているかを理解する上で、パズルの一部に過ぎないことを弊社は理解しています。AnalyticsとLog Explorerのよりタイトでシームレスな統合、Zero Trustのログを含むデータセットの追加、カスタム保存期間の定義、カスタムアラートの統合など、今後の展開にご期待ください。
フィードバックリンクより、Log Explorerの機能の様子、また貴社業務をより簡素化するのに必要なものは何か、ぜひお知らせください。
入手方法
ベータプログラムへの参加にご興味のある方は、以下のフォームにご記入ください。折り返しご連絡させていただきます。ご連絡をお待ちしています。
価格は、一般販売（GA）開始前に最終決定します。
今後もニュースやお知らせ、示唆に富んだディスカッションをお届けいたします！Security Weekのハブページもぜひご覧ください。