네트워크 엔지니어는 DDoS 공격을 분석하거나 기타 트래픽 이상 문제를 해결하는 과정에서 네트워크 트래픽과 운영에 대하여 더 나은 가시성이 필요하다는 것을 알게 되는 경우가 많습니다. 해당 엔지니어는 일반적으로 네트워크 트래픽에 대한 몇 가지 높은 수준의 메트릭을 가지고 있지만, 문제를 명확히 파악할 수 있는 특정 트래픽 흐름에 대한 필수 정보를 수집하는 데 어려움을 겪습니다. 이 문제를 해결하기 위해 Cloudflare에서는 고객에게 네트워크 전반의 모든 트래픽에 대한 엔드투엔드 가시성을 제공하는 Magic Network Monitoring이라는 클라우드 네트워크 흐름 모니터링 제품을 시범 운영해 왔습니다.
오늘, Cloudflare에서는 이제 모든 사용하기업 고객에게 Magic Network Monitoring(이전에는 Flow Based Monitoring이라고 불렸음)을 보편적으로 사용할 수 있게 되었음을 발표하게 되어 기쁩니다. 지난 1년 동안 Cloudflare 엔지니어링 팀에서는 Magic Network Monitoring을 크게 개선했습니다. 우리는 고객이 위협을 더 빠르게 식별하고 취약성을 줄이며 네트워크를 더 안전하게 만드는 데 도움이 되는 네트워크 서비스 제품을 제공하게 된 것을 기쁘게 생각합니다.
Magic Network Monitoring은 모든 Magic Transit 및 Magic WAN 사용하기업 고객에 대해 자동으로 활성화됩니다. 이 제품은 Cloudflare 대시보드의 계정 수준에서 찾을 수 있으며, "분석 & 로그 > Magic Monitoring"으로 이동하여 열 수 있습니다. Magic Network Monitoring의 온보딩 프로세스는 셀프 서비스이며, 액세스 권한이 있는 모든 사용하기업 고객은 지금 바로 제품 구성을 시작할 수 있습니다.
Magic Transit 또는 Magic WAN을 사용하지 않는 기업 고객 중 Magic Network Monitoring 테스트에 관심이 있는 고객은 Cloudflare 계정 팀에 요청을 제출하거나 이 양식을 작성하여 전문가와 상담하면 무료 버전(트래픽 양에 대한 일부 제한이 있음)에 액세스할 수 있습니다.
Magic Network Monitoring이란?
Magic Network Monitoring은 클라우드 네트워크 흐름 모니터입니다. 네트워크 트래픽 흐름이란 동일한 인터넷 프로토콜과 포트 세트를 사용하는 하나의 소스와 하나의 대상 간의 모든 패킷 스트림을 의미합니다. 고객은 트래픽이 원래 Cloudflare 네트워크를 통과하지 않았더라도 라우터(또는 다른 네트워크 흐름 생성기)가 Cloudflare의 Anycast 네트워크에서 공개적으로 사용 가능한 엔드포인트로 네트워크 흐름 보고서를 보낼 수 있습니다. Cloudflare에서는 네트워크 흐름 데이터를 분석한 다음 분석 대시보드를 통해 고객에게 주요 네트워크 트래픽 메트릭에 대한 가시성을 제공합니다. 이러한 메트릭에는 시간 경과에 따른 트래픽 볼륨(비트 또는 패킷 단위), 소스 IP, 대상 IP, 포트, 트래픽 프로토콜, 라우터 IP 등이 포함됩니다. 또한 고객은 DDoS 공격 및 기타 비정상적인 트래픽 볼륨 활동을 식별하도록 알림을 구성할 수 있습니다.
기업 DDoS 공격 유형 감지
Magic Transit On Demand(MTOD) 고객은 Magic Network Monitoring을 사용할 때 상당한 트래픽 가시성 이점을 경험하게 됩니다. Magic Transit은 온프레미스, 클라우드 호스팅, 하이브리드 네트워크를 위해 모든 Cloudflare 데이터 센터에서 DDoS 방어 및 트래픽 가속을 제공하는 네트워크 보안 솔루션입니다. Magic Transit On Demand 고객은 DDoS 공격이 감지되면 Magic Transit을 활성화하여 보호할 수 있습니다.
일반적으로, 우리가 확인한 바로는 일부 MTOD 고객에게는 DDoS 공격을 신속하게 식별하고 적절한 방어 조치를 취할 수 있는 네트워크 가시성 도구가 부족합니다. 이제 MTOD 고객은 Magic Network Monitoring을 사용하여 네트워크 데이터를 분석하고 DDoS 공격이 감지되면 알림을 받을 수 있습니다.
DDoS 공격이 감지되면 Magic Network Monitoring 고객은 수동 또는 자동으로 Magic Transit을 활성화하여 DDoS 공격을 완화하도록 선택할 수 있습니다.
기업 네트워크 모니터링
Cloudflare의 Magic WAN 및 Cloudflare One 고객도 Magic Network Monitoring을 사용하여 이점을 누릴 수 있습니다. 현재 이들 고객은 Cloudflare 네트워크를 통해 전송하는 트래픽에 대한 탁월한 가시성을 확보하고 있지만, 때로는 Cloudflare를 통해 전송되지 않는 트래픽에 대한 가시성이 부족할 수 있습니다. 여기에는 로컬 네트워크에 남아 있는 트래픽이나 클라우드 환경 간에 전송되는 네트워크 트래픽이 포함될 수 있습니다. Magic WAN 및 Cloudflare One 고객은 제품 솔루션에 Magic Network Monitoring을 추가하여 네트워크의 모든 트래픽에 대한 엔드투엔드 네트워크 가시성을 확보할 수 있습니다.
네트워크 흐름 및 네트워크 트래픽 샘플링에 대한 심층 분석
Magic Network Monitoring은 네트워크 흐름 데이터를 수집하고 분석하여 네트워크 트래픽에 대한 가시성을 향상합니다.
이 프로세스는 라우터(또는 기타 네트워크 흐름 생성 장치)에서 인바운드 및/또는 아웃바운드 패킷 데이터의 통계적 샘플을 수집할 때 시작됩니다. 이 샘플은 X 패킷당 1개를 검사하여 수집되며, 여기서 X는 라우터에 구성된 샘플링율입니다. 일반적인 샘플링율은 1,000 패킷당 1개에서 4,000 패킷당 1개까지 다양합니다. 이상적인 샘플링율은 트래픽 양, 트래픽 다양성, 라우터 하드웨어의 컴퓨팅/메모리 성능에 따라 달라집니다. 권장 네트워크 흐름 샘플링율에 대한 자세한 내용은 Cloudflare의 MNM 개발자 문서에서 확인할 수 있습니다.
샘플링된 데이터는 네트워크 흐름 데이터를 위한 NetFlow 또는 sFlow의 두 가지 산업 표준 형식 중 하나로 패키지화됩니다. NetFlow에서, 샘플링된 패킷 데이터는 소스/대상 IP, 포트, 프로토콜 등 다양한 패킷 특성에 따라 그룹화됩니다. 샘플링된 패킷 데이터의 각 그룹에는 트래픽 볼륨 추정치도 포함됩니다. sFlow에서는 전체 패킷 헤더가 대표 샘플로 선택되며 데이터 요약이 없습니다. 따라서 sFlow가 더 풍부한 데이터 형식이며, NetFlow 데이터보다 네트워크 트래픽에 대한 세부 정보가 더 많이 포함됩니다. NetFlow 또는 sFlow 데이터 샘플이 수집되면, 분석 및 알림을 위해 Magic Network Monitoring으로 전송됩니다.
단순 무작위 샘플링이 Magic Network Monitoring에 효과가 없는 이유
Magic Network Monitoring은 1년 전 초기 액세스 릴리스 이후 많은 발전을 이루었습니다. 특히, Cloudflare 엔지니어링팀에서는 MNM의 트래픽 볼륨 추정치의 정확성을 개선하는 데 상당한 시간을 투자했습니다. 초기 액세스 버전에서는 고객 보고에 따르면 예상치 못하게 네트워크 트래픽 볼륨 추정치가 너무 높아서 예상 값과 일치하지 않았습니다.
Magic Network Monitoring은 수신하는 NetFlow 또는 sFlow 데이터에 대해 자체 샘플링을 수행하여 Cloudflare의 전역 네트워크에서 수집된 데이터를 효과적으로 확장하고 관리할 수 있습니다. MNM이 구문 분석하는 NetFlow 또는 sFlow 데이터는 이미 샘플링된 패킷 데이터를 기반으로 구축되어 있으므로 트래픽 볼륨 추정치의 정확도를 높이는 것이 예상보다 어려웠습니다. 그에 따라 제품 분석에 여러 계층의 데이터 샘플링이 도입되었습니다.
Magic Network Monitoring의 첫 번째 버전에서는 동일한 타임스탬프를 가진 네트워크 흐름 데이터의 무작위 하위 집합을 선택하여 해당 시점의 트래픽 양을 나타내는무작위 샘플링을 사용했습니다. 네트워크 흐름 데이터의 특징은 일부 샘플이 다른 샘플보다 더 중요하고 더 많은 양의 네트워크 트래픽을 나타낸다는 것입니다. 이러한 중요성을 설명하기 위해 각 샘플이 나타내는 트래픽 양에 따라 가중치를 할당할 수 있습니다. 네트워크 흐름 데이터 가중치는 항상 양수이며, 롱테일 분포를 따릅니다. 이러한 데이터 특성으로 인해 MNM의 무작위 샘플링은 고객 네트워크의 트래픽 양을 잘못 추정하게 됩니다. 롱테일에서 벗어난 데이터 샘플이 무작위로 선택되어 해당 시점의 모든 트래픽을 대표하게 되면 고객은 트래픽량 분석에서 사실이 아닌 급증을 보게 됩니다.
VarOpt 저장소 샘플링으로 정확도 향상
이 문제를 해결하기 위해 Cloudflare 엔지니어링 팀에서는 VarOpt라는 대체 저장소 샘플링 기법을 구현했습니다. VarOpt는 데이터 스트림의 길이를 알 수 없을 때 데이터 스트림에서 샘플을 수집하도록 설계되었습니다(들어오는 네트워크 흐름 데이터를 분석하는 데 완벽한 애플리케이션). VarOpt의 MNM 구현에서 우리는 네트워크 흐름 데이터 샘플로 채워진 고정된 크기의 빈 저장소에서 시작합니다. 저장소가 가득 차도 계속해서 새로운 네트워크 흐름 데이터가 들어오는 경우, 저장소에서 오래된 샘플이 무작위로 폐기되고 새로운 샘플로 교체됩니다. 특정 수의 샘플이 관찰된 후에는 저장소에 있는 모든 가중치가 적용된 샘플의 트래픽 양이 계산되며, 이것이 해당 시점의 고객 네트워크 흐름에 대한 예상 트래픽 양입니다. 마지막으로 저장소가 비워지고, 다음의 최신 네트워크 흐름 샘플 세트로 저장소가 채워지면 VarOpt 루프가 다시 시작됩니다.
새로운 VarOpt 샘플링 방법 덕분에 Magic Network Monitoring의 트래픽 량 추정 정확도가 크게 향상되었으며 고객의 문제가 해결되었습니다. 이러한 샘플링 개선으로 일반 공개를 위한 기반이 마련되었으며, 우리는 모든 사람이 정확한 네트워크 흐름 분석을 사용할 수 있게 되어 기쁩니다.
개발자 문서 및 Discord 커뮤니티
제품의 기능을 설명하고 신규 고객을 위한 단계별 구성 가이드를 간략하게 설명하는 Magic Network Monitoring에 대한 자세한 개발자 문서가 있습니다. Magic Network Monitoring 설명서를 검토하는 동안 의견이 있으면 개발자 문서의 오른쪽 상단에 있는 "피드백 제공" 버튼을 클릭하여 망설이지 말고 피드백을 보내주세요.
우리는 또한 구성 문제 디버깅, 새로운 기능 테스트, 제품 피드백 제공을 중심으로 구축된 Cloudflare의 Discord 커뮤니티에 채널을 마련했습니다. 이 링크를 따라가면 Cloudflare Discord 서버에 참여할 수 있습니다.
무료 버전
모든 Enterprise 고객은 Cloudflare 계정팀에 요청하여 Magic Network Monitoring의 무료 버전을 사용할 수 있습니다. 무료 버전은 Enterprise 고객이 Magic Transit, Magic WAN, Cloudflare One을 구매하기 전에 Magic Network Monitoring을 빠르게 테스트하고 평가할 수 있도록 마련되었습니다. 기업 고객은 제품 설명서의 단계별 온보딩 가이드에 따라 Magic Network Monitoring을 직접 구성할 수 있습니다. 무료 버전에는 처리할 수 있는 트래픽 양에 대한 몇 가지 제한 사항이 있으며, 이는 제품 설명서에 자세히 설명되어 있습니다.
Magic Network Monitoring의 무료 버전은 Free, Pro, Business 요금제 Cloudflare 고객도 모두 클로즈드 베타를 통해 사용할 수 있습니다. 누구나 무료 버전 문서를 읽고 이 양식을 작성하여 무료 버전에 대한 액세스를 요청할 수 있습니다. Cloudflare의 Discord 서버에 가입하고 Magic Network Monitoring Discord 채널에서 메시지를 보내는 모든 사용자에게는 우선 액세스 권한이 부여됩니다.
오늘 실행할 수 있는 다음 단계
Magic Network Monitoring은 일반적으로 사용 가능하며, 현재 모든 Magic Transit 및 Magic WAN 고객은 이 제품에 대한 액세스 권한을 자동으로 부여받았습니다. Cloudflare 대시보드의 계정 수준으로 이동한 다음 "분석 & 로그 > Magic Monitoring"을 선택하여 이 제품을 탐색할 수 있습니다.
Magic Transit 또는 Magic WAN을 사용하지 않는 기업 고객으로서, 트래픽 가시성을 개선하기 위해 Magic Network Monitoring을 사용하려는 경우, 오늘 바로 MNM 전문가와 상담할 수 있습니다.
DDoS 방어를 위해 Magic Transit 및 Magic Network Monitoring을 사용하는 데 관심이 있는 경우, Magic Transit 데모를 요청할 수 있습니다. 엔드투엔드 네트워크 트래픽 가시성을 확보하기 위해 Magic WAN과 Magic Network Monitoring을 함께 사용하려는 경우 Magic WAN 전문가와 상담할 수 있습니다.