网络工程师在分析 DDoS 攻击或排查其他流量异常时，常常发现他们需要加强监测网络流量和运行情况。这些工程师通常会制定一些关于网络流量的高级别指标，但他们却难以收集到能够阐明问题的特定流量的基本信息。为了解决这个问题，Cloudflare 一直在试点应用一款名为 Magic Network Monitoring 的云网络流量监控产品 ，为客户提供整个网络所有流量的端到端监测。
今天，Cloudflare 很高兴地宣布，Magic Network Monitoring（以前称为 Flow Based Monitoring）现已正式发布，可供所有企业客户使用。在过去的一年里，Cloudflare 工程团队对 Magic Network Monitoring 进行了重大改进；我们很高兴能够推出一款网络服务产品，帮助客户更快速地识别威胁、减少安全漏洞，并提高网络安全性。
我们会对所有 Magic Transit 和 Magic WAN 的企业客户自动启用 Magic Network Monitoring。此产品位于 Cloudflare 仪表板的帐户级别，并且可以通过导航至“分析与日志 > Magic Monitoring”将其打开。Magic Network Monitoring 的载入流程属于自助式服务，拥有访问权限的所有企业客户都可以立即开始配置此产品。
如果尚未购买 Magic Transit 或 Magic WAN 的企业客户有兴趣参与 Magic Network Monitoring 测试，可以通过向 Cloudflare 客户团队提交申请或填写此表向专家咨询，来体验免费版（对流量数量有一些限制）。
什么是 Magic Network Monitoring？
Magic Network Monitoring 是一款云网络流量监控产品。网络流量是指使用相同互联网协议和端口集，在源与目标 IP 之间传输的数据包流。客户可以将网络流量报告从他们的路由器（或任何其他网络流量生成器）发送到 Cloudflare Anycast 网络上公开可用的端点，即使这些流量最初不是通过 Cloudflare 网络传输。Cloudflare 会分析网络流量数据，然后让客户可以通过分析仪表板监测各项关键网络流量指标。具体包括：一段时间内的流量数量（以比特或数据包为单位）、源 IP、目标 IP、端口、流量协议和路由器 IP。客户还可以配置警报，以识别 DDoS 攻击和其他异常流量活动。
企业 DDoS 攻击类型检测
Magic Transit 按需使用 (MTOD) 客户在使用 Magic Network Monitoring 时会体验到显著的流量监测优势。Magic Transit 是一套网络安全解决方案，为本地网络、云托管网络和混合网络中的每个 Cloudflare 数据中心提供 DDoS 防护和流量加速。如果检测到 DDoS 攻击，Magic Transit 按需使用客户可以激活 Magic Transit 来提供保护。
总的来说，我们注意到一些 MTOD 客户缺乏网络监测工具，无法快速识别 DDoS 攻击并采取适当的缓解措施。现在，MTOD 客户则可以使用 Magic Network Monitoring 来分析其网络数据，并在检测到 DDoS 攻击时收到警报。
一旦检测到 DDoS 攻击，Magic Network Monitoring 客户可以选择手动或自动启用 Magic Transit 来缓解 DDoS 攻击。
企业网络监测
Cloudflare Magic WAN 和 Cloudflare One 客户也可以从使用 Magic Network Monitoring 中受益。如今，这些客户可以很好地监测通过 Cloudflare 网络发送的流量，但是有时候却无法检测那些未通过 Cloudflare 发送的流量。这可能包括保留在本地网络上的流量，或者在云环境之间发送的网络流量。Magic WAN 和 Cloudflare One 客户可以将 Magic Network Monitoring 添加到他们的产品解决方案套件中，以实现对其网络上所有流量的端到端网络检测。
深入了解网络流量与网络流量采样
Magic Network Monitoring 通过采集和分析网络流量数据，让客户能够加强对其网络流量的监测。
这个流程的开端就是路由器（或其他网络流生成设备）收集入站和/或出站数据包数据的统计样本。这些样本是通过检查每 X 个数据包中的 1 个数据包收集而来，其中 X 是指路由器上配置的采样率。常见的采样率范围从每 1,000 个数据包中采样 1 个到每 4,000 个数据包中采样 1 个都有，不一而足。理想的采样率取决于流量数量、流量多样性以及路由器硬件的计算/内存能力。有关更多信息，请阅读 Cloudflare MNM 开发人员文档中推荐的网络流采样率。
然后，将采样的数据打包成两种行业标准格式之一（NetFlow 或 sFlow）的网络流量数据。如果是 NetFlow 格式，采样的数据包数据会按照不同的数据包特征（例如，源/目标 IP、端口和协议）分组。每组采样的数据包数据还包括流量数量的估算值。如果是 sFlow 格式，则整个数据包标头被选作代表性样本，且不包含任何数据汇总。因此，与 NetFlow 数据相比，sFlow 数据的格式更加丰富，包含的网络流量详细信息也更多。在收集到 NetFlow 或 sFlow 格式的数据样本之后，将其发送到 Magic Network Monitoring 进行分析和发送警报。
为什么 Magic Network Monitoring 不采用简单的随机取样
与一年前发布的提前体验版相比，如今的 Magic Network Monitoring 已经取得了显著的进步。特别是，Cloudflare 工程团队投入了大量时间来提高 MNM 中流量估算的准确性。在 Magic Network Monitoring 提前体验版中，客户出乎意料地报告称，他们的网络流量数量的估算值过高，与预期值不符。
Magic Network Monitoring 会对接收的 NetFlow 或 sFlow 格式的数据进行自主采样，以便有效地扩展和管理 Cloudflare 在全局网络中提取的数据。由于 MNM 解析的 NetFlow 或 sFlow 格式的数据均建立在采样的数据包数据基础之上，因此，提高流量估算值的准确性比预期的要更加困难。为了解决这个问题，我们在产品分析中引入了多个不同的数据采样层。
Magic Network Monitoring 第一版使用了随机取样 ，也就是从具有相同时间戳的网络流量数据中随机抽取一个子集，来代表特定时间点的流量。网络流量数据的一个特点是，有些样本比其他样本更重要，并且代表着更大数量的网络流量。考虑到这种重要性，我们可以根据每个样本所代表的流量数量为其设定一个权重。网络流量数据权重始终为正数，并且呈长尾分布。这些数据特征导致 MNM 的随机取样无法正确估算客户的网络流量数量。当从长尾分布中随机选择一个离群数据样本作为该时间点所有流量的代表时，客户就会在流量分析中看到不真实的峰值。
使用 VarOpt 蓄水池取样，提高准确性
为了解决这个问题，Cloudflare 工程团队采用了一种称之为 VarOpt 的蓄水池取样方法。VarOpt 设计用于在数据流长度未知的情况下，从数据流中收集样本（用于分析入站网络流量数据的理想应用）。在 MNM 中采用 VarOpt 方法，我们首先新建一个固定尺寸的空蓄水池，在其中注入网络流量数据样本。在蓄水池已满但仍有新的入站网络流量数据输入的情况下，我们会从蓄水池随机丢弃一个旧样本，并使用一个新样本取而代之。在观察一定数量的样本之后，我们会计算蓄水池中所有加权样本的流量，此时就是估算客户网络流量数量的时间点。最后，清空蓄水池，然后使用下一组最新网络流量样本填充蓄水池，并重新启动 VarOpt 循环。
新的 VarOpt 取样方法显著提高了 Magic Network Monitoring 估算流量数量的准确性，解决了客户的难题。改进这些取样方法为正式发布 Magic Network Monitoring 创造了条件且铺平了道路，我们很高兴能够向所有客户提供准确的网络流量分析。
开发人员文档与 Discord 社区
详细的 Magic Network Monitoring 开发人员文档阐述了产品功能，并为新客户概述了分步配置指南。在您阅读 Magic Network Monitoring 文档时，可以随时单击开发人员文档右上角的“提供反馈”按钮来提供反馈。
我们还在 Cloudflare Discord 社区创建了一个频道，主要用于讨论调试配置问题、测试新功能和提供产品反馈。您可以通过此链接，选择加入 Cloudflare Discord 服务器。
免费版
所有 Enterprise 客户均可向其 Cloudflare 客户团队提出请求，试用 Magic Network Monitoring 免费版。免费版有助于企业客户在购买 Magic Transit、Magic WAN 或 Cloudflare One 之前，快速测试和评估 Magic Network Monitoring。Enterprise 客户可以按照产品文档中的分步入门指南来自行完整配置 Magic Network Monitoring。免费版对可以处理的流量数量有一些限制，产品文档对此有进一步概述。
还可以通过封闭测试向所有 Cloudflare Free、Cloudflare Pro 和 Cloudflare Business 计划客户提供 Magic Network Monitoring 免费版。这些客户都可以通过阅读免费版文档并填写此表单来请求访问免费版。那些加入 Cloudflare Discord 服务器并发送消息至 Magic Network Monitoring Discord 频道的用户，都会获得优先访问权限。
立即可以采取的下一步措施
Magic Network Monitoring 现已正式发布，并且所有 Magic Transit 和 Magic WAN 客户均可立即自动体验此产品。您可以进入 Cloudflare 仪表板的帐户级别，然后选择“分析与日志 > Magic Monitoring”，来浏览此产品。
如果您是没有购买 Magic Transit 或 Magic WAN 的企业客户，但却希望使用 Magic Network Monitoring 来加强流量监测，则可以立即咨询 MNM 专家。
如果您有兴趣了解如何使用 Magic Transit 和 Magic Network Monitoring 来进行 DDoS 防护，则可以申请 Magic Transit 演示。如果您想搭配使用 Magic WAN 和 Magic Network Monitoring 来实现端到端网络流量监测，则可以咨询 Magic WAN 专家。