ネットワークエンジニアは、DDoS攻撃の分析やその他のトラフィックの異常をトラブルシューティングする際に、ネットワークのトラフィックや運用をより適切に可視化する必要性に気づくことがよくあります。このようなエンジニアは通常、ネットワークトラフィックに関する高度なメトリックを持っていますが、問題を明確にする特定のトラフィックフローに関する重要な情報を収集するのに苦労しています。この問題を解決するために、Cloudflareは、Magic Network Monitoringと呼ばれるクラウドネットワークフロー監視製品を試験的に実施しており、お客様はネットワーク全体のすべてのトラフィックをエンドツーエンドで可視化できます。
本日、CloudflareはMagic Network Monitoring（旧Flow Based Monitoring）をすべての企業のお客様に一般提供することを発表でき、嬉しく思います。過去1年間にわたって、CloudflareのエンジニアリングチームはMagic Network Monitoringを大幅に改善しました。当社は、お客様が脅威をより迅速に特定し、脆弱性を軽減し、ネットワークをより安全にするのに役立つネットワークサービス製品を提供できることを嬉しく思っています。
Magic Network Monitoringは、Magic TransitおよびMagic WANの企業のお客様に対し、自動的に有効になります。この製品はCloudflareダッシュボードのアカウントレベルにあり、「分析とログ> Magic Monitoring」に移動して開くことができます。Magic Network Monitoringのオンボーディングプロセスはセルフサービスで、アクセス権を持つすべての企業のお客様は本日より、製品の設定を開始できます。
Magic TransitまたはMagic WANをお持ちでない企業のお客様で、Magic Network Monitoringの試用に関心をお持ちのお客様は、Cloudflareのアカウントチームにリクエストを送信するか、こちらのフォームに記入して専門家に相談することで、無料版（トラフィック量に多少の制限があります）にアクセスできます。
Magic Network Monitoringとは？
Magic Network Monitoringはクラウドネットワークフロー監視です。ネットワークトラフィックフローとは、同じインターネットプロトコルとポートのセットを持つ、1つのソースと1つの宛先間のパケットストリームを指します。お客様は、トラフィックがもともとCloudflareのネットワークを通過していなくても、ルーター（またはその他のネットワークフロージェネレーター）からCloudflareのエニーキャストネットワーク上の一般に利用可能なエンドポイントにネットワークフローレポートを送信できます。Cloudflareはネットワークフローデータを分析し、分析ダッシュボードを介して主要なネットワークトラフィックメトリックをお客様に可視化します。これらのメトリクスには、経時的なトラフィック量（ビットまたはパケット単位）、送信元IP、宛先IP、ポート、トラフィックプロトコルおよびルーターIPが含まれます。また、お客様はDDoS攻撃やその他の異常なトラフィック量のアクティビティを識別するようにアラートを設定できます。
企業のDDoS攻撃タイプの検出
Magic Transit On Demand（MTOD）のお客様は、Magic Network Monitoringを使用することで、トラフィックの可視性が大幅に向上します。Magic Transitは、オンプレミス、クラウドホスト、ハイブリッドネットワーク向けに、すべてのCloudflareデータセンターからDDoS攻撃対策およびトラフィックの高速化を提供するネットワークセキュリティソリューションです。Magic Transit On Demandのお客様は、DDoS攻撃が検出されたときにMagic Transitを有効にして保護できます。
一般的に、一部のMTODのお客様は、DDoS攻撃を迅速に識別し、適切な軽減措置を講じるためのネットワーク可視化ツールが不足していることがわかりました。現在、MTODのお客様はMagic Network Monitoringを使用してネットワークデータを分析し、DDoS攻撃が検出された場合にアラートを受信できます。
一度DDoS攻撃が検出されると、Magic Network Monitoringのお客様は、DDoS攻撃を軽減するために手動または自動のいずれかを選択し、Magic Transitを有効にすることができます。
企業のネットワーク監視
CloudflareのMagic WANおよびCloudflare Oneのお客様もMagic Network Monitoringを使用することで利益が得られます。今日、これらのお客様はCloudflareのネットワークを介して送信されるトラフィックに対し、優れた可視性を有していますが、時には、Cloudflareを介して送信されないトラフィックは、可視性に欠けている場合があります。これにはローカルネットワーク上に残るトラフィックや、クラウド環境間で送信されるネットワークトラフィックが含まれます。Magic WANとCloudflare Oneのお客様は、Magic Network Monitoringを自社の一連の製品ソリューションに追加することで、ネットワーク上のすべてのトラフィックにわたり、エンドツーエンドのネットワークの可視性を確立できます。
ネットワークフローおよびネットワークトラフィックのサンプリングを深掘りします
Magic Network Monitoringは、ネットワークフローデータを取り込み分析することで、ネットワークトラフィックの可視性がより向上します。
このプロセスは、ルーター（またはその他のネットワークフロー生成デバイス）がインバウンドおよび/またはアウトバウンドのパケットデータの統計サンプルを収集するときに開始されます。これらのサンプルは、X個のパケットごとに1個を検査して収集され、Xはルーターで設定されたサンプリングレートです。一般的なサンプリングレートは、1,000パケットごとに1から4,000パケットごとに1の範囲です。理想的なサンプリングレートは、トラフィック量、トラフィックの多様性、ルーターのハードウェアの計算能力/メモリ能力よって異なります。推奨されるネットワークフローサンプリングレートの詳細については、CloudflareのMNM開発者ドキュメントを参照してください。
サンプリングされたデータは、ネットワークフローデータの2つの業界標準形式（NetFlowまたはsFlow）のいずれかにパッケージ化されます。NetFlowでは、サンプリングされたパケットデータは、送信元IPまたは宛先IP、ポート、プロトコルなどのさまざまなパケットの特性によってグループ化されます。サンプリングされたパケットデータの各グループには、トラフィック量の推定値も含まれます。sFlowでは、パケットヘッダ全体が代表サンプルとして選択され、データの要約は行われません。その結果、sFlowは、より豊富なデータ形式であり、NetFlowデータよりもネットワークトラフィックに関する詳細が含まれています。NetFlowまたはsFlowデータサンプルのいずれかが収集されると、分析とアラートのためにMagic Network Monitoringに送信されます。
単純な無作為サンプリングがMagic Network Monitoringで機能しなかった理由
Magic Network Monitoringは1年前の早期アクセスリリースから大きな進歩を遂げてきました。特に、Cloudflareのエンジニアリングチームは、MNMのトラフィック量の推定精度向上に多大な時間を投資しました。Magic Network Monitoringの早期アクセス版では、ネットワークトラフィック量の推定値が高すぎて、期待値と一致していないとお客様から予期していなかった報告がありました。
Magic Network Monitoringは、受信したNetFlowまたはsFlowデータを独自にサンプリングするため、Cloudflare のグローバルネットワーク全体で取り込まれたデータを効果的に拡張および管理できます。MNMによって解析されたNetFlowまたはsFlowデータはすでにサンプリングされたパケットデータに基づいて構築されているため、トラフィック量の推定精度を高めることは予想以上にはるかに困難でした。これにより、製品の分析では、データサンプリングに複数の異なるレイヤーが導入されます。
Magic Network Monitoringの最初のバージョンでは、同じタイムスタンプを持つネットワークフローデータのランダムなサブセットを選択して、その時点のトラフィック量を表すランダムサンプリングを使用していました。ネットワークフローデータの特徴として、いくつかのサンプルはその他のサンプルよりも重要であり、ネットワークトラフィックが大量であることです。この重要性を説明するために、重み付けを各サンプルに関連付けることができます。これは、サンプルが表すトラフィック量に基づいています。ネットワークフローデータの重み付けは常に正の数であり、ロングテール分布に従います。このようなデータ特性により、MNMのランダムサンプリングが顧客のネットワークのトラフィック量を誤って推定してしまいました。ロングテールからの外れたデータサンプルがその時点ですべてのトラフィックの代表としてランダムに選択された場合、お客様は、トラフィック量の分析で誤ったスパイクが表示されることがあります。
VarOptリザーバーサンプリングで精度を向上
この問題を解決するために、Cloudflareエンジニアリングチームは、VarOpと呼ばれる代替の貯留層サンプリング技術を実装しました。VarOptは、データストリームの長さが不明な場合にデータストリームからサンプルを収集するように設計されています（受信ネットワークフローデータを分析するのに最適なアプリケーション）。MNMのVarOptの実装では、ネットワークフローデータのサンプルで満たされた固定サイズの空のリザーバーから開始します。リザーバーがいっぱいで、新しい受信ネットワークフローデータがまだある場合、古いサンプルがリザーバーからランダムに破棄され、新しいサンプルと置き換えられます。一定数のサンプルが観察された後、リザーバー内のすべての加重サンプルにわたるトラフィック量を計算します。これが、その時点での顧客のネットワークフローの推定トラフィック量となります。最後に、リザーバーが空になり、最新のネットワークフローサンプルの次のセットでリザーバーを満たすことによって、VarOptループが再開されます。
新しいVarOptサンプリング手法により、Magic Network Monitoringのトラフィック量の推定精度が大幅に向上し、お客様の問題が解決されました。これらのサンプリングの改善により、一般提供への道が開かれ、正確なネットワークフロー分析を誰でも利用できるようになることを嬉しく思います。
開発者向けドキュメントおよびDiscordコミュニティ
Magic Network Monitoringの詳細な開発者ドキュメントでは、製品の機能を説明し、新規のお客様向けのステップバイステップの設定ガイドの概要を説明しています。Magic Network Monitoringドキュメントにお取り組みの上、開発者ドキュメントの右上隅にある[フィードバックする]ボタンをクリックして、お気軽にフィードバックをお寄せください。
また、CloudflareのDiscordコミュニティに、設定問題のデバッグ、新機能のテスト、製品フィードバックの提供を中心に構築されたチャネルを作成しました。このリンクからCloudflare Discordサーバーに参加できます。
無料版
Magic Network Monitoringの無料版は、Cloudflareアカウントチームへのリクエストに応じて、すべてのEnterpriseのお客様にご利用いただけます。無料版は、Enterpriseのお客様が、Magic Transit、Magic WAN、または Cloudflare Oneを購入する前に、Magic Network Monitoringを迅速にテストおよび評価できるように設計されています。Enterpriseのお客様は、製品ドキュメントのステップバイステップのオンボーディングガイドに従って、Magic Network Monitoringを自分ですべて設定できます。無料版には、処理できるトラフィック量に多少、制限があり、製品のドキュメントでさらに概説されています。
Magic Network Monitoringの無料版は、クローズドベータを介して、Free、Pro、およびBusinessプランのCloudflareのすべてのお客様にもご利用いただけます。無料版のドキュメントを読み、このフォームに記入することで、誰でも無料版へのアクセスをリクエストできます。CloudflareのDiscordサーバーに参加し、Magic Network Monitoring Discordチャネルでメッセージを送信する人はすべて、優先アクセスが許可されます。
今日から実行できる次のステップ
Magic Network Monitoringは一般提供されており、Magic Transitおよび Magic WANのすべてのお客様は、現在、自動的に製品へのアクセスが許可されています。Cloudflareダッシュボードのアカウントレベルに移動し、「分析とログ > Magic Monitoring」を選択すると、製品に移動できます。
Magic TransitやMagic WANをお持ちでない企業のお客様で、Magic Network Monitoringを使用してトラフィックの可視性を向上させたい場合は、今すぐMNMの専門家にご相談ください。
DDoS攻撃対策にMagic TransitおよびMagic Network Monitoringを使用することに関心がある場合は、Magic Transitのデモをリクエストできます。Magic WANおよびMagic Network Monitoringを併用して、エンドツーエンドのネットワークトラフィックの可視性を確立したい場合は、Magic WANの専門家に相談してください。