오늘은 Log Explorer 베타 출시 소식을 기쁘게 전해 드립니다. Log Explorer는 Cloudflare 대시보드에서 직접 HTTP 및 보안 이벤트 로그를 조사할 수 있는 보안 분석의 확장 프로그램으로, 관련 원시 로그를 검토할 수 있는 기능을 제공합니다. 보안 공격에 대한 분석, 조사, 모니터링을 Cloudflare 대시보드 내에서 기본적으로 수행할 수 있으므로 타사 보안 분석 도구로 로그를 전달할 필요가 없어 문제 해결 시간과 전체 소유 비용을 절감할 수 있습니다.
배경
보안 분석을 사용하면 모든 HTTP 트래픽을 한 곳에서 분석할 수 있으므로 가장 중요한 것, 즉 완화되지 않은 잠재적 악성 트래픽을 식별하고 조치를 취하는 데 필요한 보안 렌즈를 갖게 되는 셈입니다. 보안 분석은 상위 통계 및 상황에 맞는 빠른 필터와 같은 기본 제공 보기가 직관적인 페이지 레이아웃으로 갖추어져 있어 신속한 탐색 및 검증이 가능합니다.
빠른 쿼리 성능으로 풍부한 분석 대시보드를 한층 강화하기 위해 데이터 샘플링을 적응형 비트 레이트(ABR) 분석을 사용하여 구현했습니다. 이는 데이터에 대한 높은 수준의 집계 보기를 제공하는 데 매우 적합합니다. 하지만 많은 보안 분석 파워 유저로부터 데이터에 대한 보다 세분화된 보기, 즉 로그가 필요하다는 피드백을 받았습니다.
로그는 오늘날의 컴퓨터 시스템 운영에 대한 중요한 가시성을 제공합니다. 엔지니어와 SOC 분석가는 문제를 해결하고, 보안 사고를 탐지 및 조사하며, 애플리케이션과 인프라의 성능, 안정성, 보안을 최적화하기 위해 매일 로그에 의존합니다. 기존의 메트릭 또는 모니터링 솔루션은 추세를 파악하는 데 사용할 수 있는 데이터를 집계식 또는 통계식으로 제공합니다. 메트릭은 문제가 발생했다는 사실을 파악하는 데는 훌륭하지만, 엔지니어가 왜 문제가 발생했는지 파악하는 데 도움이 되는 세부 이벤트는 부족합니다. 엔지니어와 SOC 분석가는 다음과 같은 질문에 답하기 위해 원시 로그 데이터에 의존합니다.
- 403 오류가 증가하는 원인은 무엇인가?
- 이 IP 주소가 액세스한 데이터는 무엇인가?
- 이 특정 사용자 세션의 사용자 경험은 어땠나?
기존에는 엔지니어와 분석가들이 로그를 캡처하고 가시성을 확보하기 위해 다양한 모니터링 도구 모음을 구축했습니다. 여러 클라우드를 사용하거나 클라우드와 온프레미스 도구 및 아키텍처를 모두 사용하는 하이브리드 환경을 사용하는 조직이 늘어나면서 점점 더 복잡해지는 환경에 대한 가시성을 회복하려면 통합 플랫폼을 갖추는 것이 중요합니다. 점점 더 많은 기업이 클라우드 네이티브 아키텍처로 전환하고 있는 가운데, Cloudflare의 클라우드 연결성이 성능 및 보안 전략의 필수적인 부분으로 여겨지고 있습니다.
Log Explorer는 Cloudflare 내에서 로그 데이터를 저장하고 탐색하기 위한 보다 저렴한 비용 옵션을 제공합니다. 지금까지는 고가의 타사 도구로 로그를 내보내는 기능을 제공했지만, 이제 Log Explorer를 사용하면 Cloudflare 대시보드에서 벗어나지 않고도 로그 데이터를 빠르고 쉽게 탐색할 수 있습니다.
Log Explorer 특징
잠재적인 사고를 조사하는 SOC 엔지니어든, 특정 로그 보존 요구 사항을 충족해야 하는 규정 준수 책임자든, Log Explorer가 도움을 줄 수 있습니다. 무제한의 사용자 지정 가능한 기간 동안 Cloudflare 로그를 저장하여 Cloudflare 대시보드 내에서 기본적으로 액세스할 수 있도록 해줍니다. 지원되는 기능은 다음과 같습니다.
- HTTP 요청 또는 보안 이벤트 로그 검색
- 모든 필드 및 여러 표준 연산자를 기반으로 한 필터링
- 기본 필터 모드 또는 SQL 쿼리 인터페이스 간 전환
- 표시할 필드 선택
- 표 형식으로 로그 이벤트 보기
- Ray ID와 연결된 HTTP 요청 레코드 찾기
완화되지 않은 트래픽으로 범위 좁히기
SOC 분석가의 업무는 조직 네트워크 내의 위협과 인시던트를 모니터링하고 대응하는 것입니다. 보안 분석, 그리고 이제는 Log Explorer를 함께 사용하면 이상 징후 식별과 포렌식 조사까지 한 곳에서 모두 수행할 수 있습니다.
예시를 통해 실제로 작동하는 모습을 살펴보겠습니다.
보안 분석 대시보드의 인사이트(Insights) 패널에서 공격 가능성이 있는 것으로 태그가 지정되었지만 완화되지 않은 일부 트래픽이 있음을 확인할 수 있습니다.
필터(Filter) 버튼을 클릭하면 추가 조사를 진행할 수 있도록 요청 범위가 좁혀집니다.
샘플링된 로그 보기에서 이러한 요청의 대부분이 일반적인 클라이언트 IP 주소에서 오는 것을 확인할 수 있습니다.
또한 Cloudflare가 이러한 모든 요청을 봇 트래픽으로 플래그 지정한 것을 확인할 수 있습니다. 이 정보를 사용하여 이 IP 주소의 모든 트래픽을 차단하거나 봇 점수가 10보다 낮은 모든 트래픽을 차단하는 WAF 규칙을 만들 수 있습니다.
규정 준수 팀에서 이 공격의 범위와 영향에 대한 문서를 수집하고 싶다고 가정해 보겠습니다. 이 기간 동안 로그를 자세히 분석하여 공격자가 액세스하려고 시도한 모든 대상을 확인할 수 있습니다.
먼저 Log Explorer을 사용하여 보안 분석에 표시된 급증 시간대에 의심스러운 IP 주소의 HTTP 요청을 쿼리할 수 있습니다.
또한 공격자가 데이터를 유출했는지 여부를 검토하기 위해 OriginResponseBytes 필드를 추가하고 쿼리를 업데이트하여 OriginResponseBytes > 0으로 요청을 표시하도록 합니다. 그 결과는 유출된 데이터가 없음을 보여줍니다.
오탐 찾기 및 조사
Log Explorer를 통해 전체 로그에 액세스하면 이제 검색을 수행하여 특정 요청을 찾을 수 있습니다.
403 오류는 특정 사이트에 대한 사용자의 요청이 차단될 때 발생합니다. Cloudflare의 보안 제품은 ML 기술을 기반으로 하는 IP 평판 및 WAF Attack Score 등을 사용하여 특정 HTTP 요청이 악의적인지 여부를 평가합니다. 이는 매우 효과적이지만 때때로 악의적이지 않은 요청이 악의적인 것으로 잘못 표시되어 차단되는 경우도 있습니다.
이러한 상황에서는 이제 Log Explorer를 사용하여 이러한 요청과 차단된 이유를 파악한 다음 관련 WAF 규칙을 적절히 조정하면 됩니다.
또는 Cloudflare를 통과하는 모든 요청에 부여되는 식별자인 Ray ID로 특정 요청을 추적하려는 경우에도 Log Explorer에서 쿼리 한 번으로 추적할 수 있습니다.
LIMIT 절이 기본적으로 쿼리에 포함되지만 RayID는 고유하고 RayID 필터 필드를 사용할 때에는 하나의 레코드만 반환되므로 RayID 쿼리에는 영향을 미치지 않습니다.
Log Explorer 빌드 방법
당사는 Log Explorer를 활용하여 Cloudflare R2에 장기적인 추가 전용 로그 스토리지 플랫폼을 빌드했습니다. Log Explorer는 오픈 소스 스토리지 프레임워크인 Delta Lake 프로토콜을 이용하는데, 이 프로토콜을 통해 클라우드 개체 저장소에 고성능 ACID 호환 데이터베이스를 빌드할 수 있습니다. 즉, Log Explorer는 대규모 비용 효율적인 스토리지 시스템, Cloudflare R2를 강력한 일관성 및 고성능이라는 이점과 결합해줍니다. 또한, Log Explorer는 Cloudflare 로그에 대한 SQL 인터페이스도 제공합니다.
각 Log Explorer 데이터 세트는 Cloudflare D1과 마찬가지로 고객별로 저장되므로 데이터가 다른 고객의 데이터와 함께 배치될 일이 없습니다. 앞으로는 이 단일 테넌트 스토리지 모델을 통해 자체 보존 정책을 만들고 데이터를 저장할 지역을 유연하게 결정할 수 있습니다.
내부적으로 각 고객에 대한 데이터 세트는 R2 버킷에 Delta 테이블로 저장됩니다. Delta 테이블은 Hive의 파티셔닝 명명 규칙을 사용하여 Apache Parquet 객체를 디렉터리로 구성하는 저장 형식입니다. 결정적으로, Delta 테이블은 이러한 스토리지 객체를 추가 전용의 체크포인트 트랜잭션 로그와 페어링합니다. 이러한 설계 덕분에 Log Explorer는 최적의 동시성으로 여러 작성자를 지원할 수 있습니다.
Cloudflare가 빌드하는 많은 제품은 우리 팀이 해결하고자 하는 과제의 직접적인 결과물입니다. Log Explorer는 이러한 도그푸딩 문화의 완벽한 예시입니다. 최적의 동시 쓰기를 위해서는 기본 객체 저장소의 아토믹 업데이트가 필요하며, 이에 따라 R2는 강력한 일관성을 갖춘 PutIfAbsent 연산을 추가했습니다. R2에게 감사할 일이죠! 이 아토믹 연산은 쓰기 동기화를 위해 외부 저장소를 사용해야 하는 운영 부담을 안고 있는 Amazon Web Services의 S3 기반 Delta Lake 솔루션과 Log Explorer를 차별화해주는 요소입니다. 이 S3 기반 솔루션은 외부 저장소를 사용해야 한다는 운영상의 부담을 안겨줍니다.
Log Explorer는 Delta Lake 프로토콜의 네이티브 Rust 구현인 delta-rs 등 오픈 소스 라이브러리를 사용하는 Rust 프로그래밍 언어와 매우 빠르고 확장 가능한 쿼리 엔진인 Apache Arrow DataFusion으로 작성되었습니다. Cloudflare에서는 Rust가 그 안전성과 성능상의 이점 때문에 신제품 개발을 위한 인기 있는 옵션으로 떠올랐습니다.
다음 단계
애플리케이션 보안 로그는 사용자 환경에서 어떤 일이 일어나고 있는지 이해하는 데 있어 퍼즐의 일부일 뿐이라는 것을 잘 알고 있습니다. 분석과 Log Explorer 간의 더욱 긴밀하고 원활한 통합, Zero Trust 로그를 포함한 더 많은 데이터 세트 추가, 사용자 지정 보존 기간 정의 기능, 통합 사용자 지정 알림 등 향후 개발 사항을 계속 지켜봐 주시기 바랍니다.
피드백 링크를 통해 Log Explorer가 얼마나 도움이 되고 있는지, 귀사에 필요한 또 다른 기능은 어떤 것이 있는지 소중한 의견 주시기 바랍니다.
받는 방법
여러분의 의견을 듣고 싶습니다! 베타 프로그램 참여에 관심이 있으시다면 이 양식을 작성해 주세요. 당사 담당자가 연락 드리겠습니다.
가격은 일반 공개(GA) 출시 전에 최종 확정될 예정입니다.
더 많은 뉴스와 공지사항, 생각을 자극하는 토론을 기대해 주세요! 전체 Security Week 허브 페이지를 놓치지 마세요.