오늘은 자율 DDoS(분산 서비스 거부) 방어 시스템에 대해 이야기하게 되어 기쁩니다. 이 시스템은 전 세계적으로 200개 이상의 당사의 모든 데이터 센터에 배포되었으며 사람의 개입 없이 계층 3에서 7(OSI 모델)에 걸쳐 DDoS 공격으로부터 모든 고객을 적극적으로 보호합니다. 무제한 DDoS 방어 약속의 일환으로 DDoS 공격을 받았다고 해서 고객에게 더 많은 비용을 청구하지 않습니다.
에지에서의 자율 보호
DDoS 공격으로부터 고객을 빠르고 정확하게 보호하기 위해 중앙 집중식 합의 없이 스스로 결정할 수 있는 자율적인 에지 감지 및 완화 시스템을 구축했습니다. 전적으로 소프트웨어로 정의되며 당사의 상용 서버의 에지에서 실행됩니다. L3/4 DDoS 공격으로부터 보호하기 위해 2019년 중반에 처음 가동된 당사의 서비스 거부 디먼(dosd)에 의해 구동됩니다. 그 이후로 당사는 공격자보다 앞서고 공격 조건을 차단하기 위해 기능을 향상하고 개선하는 데 투자해 왔습니다. 최신 개선 사항 세트의 경우 L3/4 외에 L7 공격으로부터 보호하기 위해 에지 완화 구성 요소가 확장되었습니다.
이 시스템은 모든 에지 데이터 센터의 모든 단일 서버에서 실행됩니다. 패킷 및 HTTP 요청을 지속적으로 분석하여 DDoS 공격을 스캐닝합니다. 감지 시 실시간으로 생성된 서명이 있는 완화 규칙을, 가장 비용 효율적인 완화를 적용할 수 있는 Linux 스택의 최적 위치로 즉시 푸시합니다.
당사의 새로운 에지 감지 기능은 당사의 네트워크 코어에 있는 기존 글로벌 위협 감지 메커니즘인 게이트봇을 보완합니다. 게이트봇을 사용하여 네트워크 코어에서 공격을 감지하는 것은 전체 Cloudflare 에지에서 조정이 필요한 대규모 분산 볼류메트릭 공격에 적합하지만, 소규모의 국부 공격에는 다른 접근 방식이 필요합니다. 에지에서 네트워크 계층 및 HTTP 공격을 감지한다는 것은 더 빠른 속도로 샘플링하고 크고 작은 공격을 모두 감지하며 즉시 완화 규칙을 생성할 수 있음을 의미합니다. 지난 몇 달 동안 모든 L3/4 DDoS 공격의 98.6%가 dosd에 의해 감지되었습니다. 마찬가지로, dosd 확장 버전은 배포된 이후 모든 L7 공격의 81%를 완화했습니다.
이전 블로그에서 이미 게이트봇 및 flowtrackd를 다루었습니다. 따라서 이 블로그에서는 확장된 dosd 기능에 중점을 둘 것입니다.
Linux 네트워킹을 활용하여 유선 속도로 패킷 및 요청 삭제
10년 전, Linux 네트워킹은 느렸습니다. 현재 우리는 Linux 덕분에 특히 iptables와 eXpress Data Path(XDP)를 통해 유선 속도로 패킷을 보내고 있습니다.
패킷의 수명
Cloudflare로 보호되는 고객에 전달되는 패킷은 BGP Anycast를 통해 가장 가까운 Cloudflare 데이터 센터로 향합니다. 데이터 센터에 도착하면 네트워크 스위치를 통해 동일 비용의 다중 경로 라우팅 그룹(ECMP) 알고리즘을 사용하여 라우터에서 서버로 전달됩니다. 서버에 도착한 패킷은 XDP(eXpress Data Path) 프로그램 그룹으로 전송됩니다. XDP 프로그램의 첫 번째 그룹인 L4Drop은 이전에 감지된 공격으로부터 완화 규칙을 적용하고 추가 분석을 위해 패킷 샘플을 dosd에 전송합니다.
패킷이 악성으로 삭제되지 않으면 Cloudflare 전용의 L4 Load Balancer인 Unimog로 전달됩니다. Unimog는 서버의 상태 및 성능 지표를 사용하여, 패킷을 동일한 서버에 유지해야 하는지 아니면 해당 데이터 센터의 다른 서버로 전달하여 더 잘 처리할 수 있는지를 판단합니다. Unimog 이후에는 iptables 방화벽을 통과한 다음 L7 응용 프로그램(즉 Cloudflare WAF에 의해 보호되는 서비스)을 대상으로 한 경우, HTTP 역방향 프록시로 전달됩니다. 역방향 프록시는 userspace에서 실행되며 HTTP 요청은 웹 애플리케이션 방화벽, 애플리케이션 방화벽 규칙, 추가적인 고객 구성 사항을 통과합니다. 패킷이 TCP/UDP 애플리케이션(Spectrum) 또는 프록시되지 않고 라우팅되는 IP 대상을 향하는 경우(Magic Transit)라면 HTTP 프록시가 아닌 해당 시스템을 통과하게 됩니다.
L4Drop외에 HTTP 프록시도 HTTP 요청의 샘플과 메타데이터를 dosd에 전송합니다. 이러한 에지 샘플링은 코어 샘플링보다 10배 더 큰 비율로 일어나는데, 이는 신호를 코어 데이터 센터로 보내지 않고 로컬에서 분석(및 조치)할 수 있기 때문입니다. 마찬가지로, dosd도 게이트봇보다 81배 빠른 속도로 패킷을 샘플링합니다.
dosd, 게이트봇, flowtrackd는 수신한 샘플을 함께 분석하며 DDoS 공격이 감지되면 완화 규칙을 적용합니다. 이들은 HTTP 공격을 완화하기 위해 완화 규칙을 웹 프록시에 푸시합니다. 공격 요청은 시스템의 판단에 따라 차단, 속도 제한, 인증 질문 조치 등으로 처리됩니다. 하지만 매우 볼류메트릭한 공격의 경우 완화 규칙은 스택 아래의 iptables 방화벽까지 푸시되며 L7 공격은 IP Jails를 통해 L4에서 차단하여 공격 완화가 더욱 비용 효율적입니다. 마찬가지로 L3/4 공격은 iptables 방화벽에서 L4Drop 내의 확장 버클리 패킷 필터(eBPF) 프로그램을 사용하여 완화됩니다. Cloudflare는 이러한 요소들을 이용하여 대규모로 DDoS 공격을 자동 완화할 수 있습니다.
공격 조건 방해
위에 설명된 당사의 확장된 자율 시스템은 당사의 기존 위협 완화 구성 요소와 함께 쉽게 시작할 수 있고 저렴해진 DDoS 공격으로부터 고객을 보호하기 위해 개발되었습니다. 이러한 공격은 웹사이트, 모바일 앱, 게임 또는 인터넷에 연결된 모든 자산을 다운시키는 것을 목표로 하는 악의적인 행위자가 사용합니다. 이러한 확장된 보호는 DDoS 동향 보고서의 내용과 같이 지난 해 공격 수가 증가함에 따라 필요한 조치였습니다. 또한 어쿠스틱 비트를 흉내내는 공격 등 공격이 날로 커지고 정교해지고 있습니다. 작은 웹 자산을 무너뜨릴 수 있는 작은 공격도 심각합니다. 당사는 크고 작은 모든 공격을 차단하고 싶습니다.
많은 경우 공격자는 공개적으로 사용 가능한 도구를 사용하여 무료로 DDoS 공격을 시작하거나 다크 웹에서 Moobot과 같은 서비스형 DDoS 봇넷을 고용하여 약간의 비용을 지불할 수 있습니다. 2020년 다크 웹 가격 지수(Dark Web Price Index)에 따르면 DDoS 공격의 가격은 초당 10~50,000 요청의 속도로 1시간 공격에 대해 10달러부터 시작했습니다. 공격으로 인한 피해보다 공격 비용이 훨씬 저렴합니다. 서비스 중단을 일으키거나 심지어 그저 서비스를 저하시킴으로써 공격자는 피해자에게 상당한 피해를 줄 수 있습니다. 예를 들어 전자 상거래 웹 사이트가 중단되면 사용자가 로그인하여 구매할 수 없습니다. 지연 시간이 늘어나면 사용자는 장바구니를 포기하고 경쟁업체로 넘어갈 수 있습니다. 1분의 가동 중지 시간은 쉽사리 수만 달러의 손실로 이어질 수 있습니다.
DDoS 공격의 빈도, 정교함, 규모를 고려할 때 정확하며 정밀한 새로운 접근 방식이 필요합니다. 이것이 당사가 이 게시물에서 설명하는 확장된 보호 기능을 개발한 이유입니다.
더 나은 인터넷 구축 지원
Cloudflare의 사명은 모두에게 안전하고 빠르며 안정적인 더 나은 인터넷을 구축하는 것입니다. DDoS 팀의 비전은 이 임무를 기반으로 합니다. 당사의 목표는 DDoS 공격의 영향을 없애는 것입니다. 1990년대와 2000년대에는 스팸 이메일이 심각한 문제였습니다. 지금은 이메일 서비스를 통해 스팸 이메일이 필터링되고 있으며, 당사의 목표는 DDoS 공격에 대해서도 동일한 작업을 수행하는 것입니다.
Cloudflare의 DDoS 방어에 대해 더 알아보려면, 문의하거나 여기에서 Cloudflare의 Free 요금제를 실제로 사용하며 평가해보세요.
그건 그렇고, DDoS 방어 엔지니어링 팀에서 근무하고 싶은 경우 현재 런던과 오스틴 지사에 문의하시기 바랍니다. 여기에서 신청서를 제출하세요.
Austin: https://boards.greenhouse.io/cloudflare/jobs/2291040?gh_jid=2291040
London: https://boards.greenhouse.io/cloudflare/jobs/2291038?gh_jid=2291038