訂閱以接收新文章的通知:

消除產生式 AI 恐懼:Cloudflare 如何保護收件匣免遭 AI 增強網路釣魚的攻擊

2024-03-04

閱讀時間:9 分鐘
本貼文還提供以下語言版本:EnglishFrançaisDeutsch日本語한국어Español简体中文

電子郵件仍然是攻擊者用來入侵或勒索組織的最大攻擊手段。鑒於電子郵件用於業務通訊的頻率,網路釣魚攻擊仍然無處不在。隨著攻擊者可用的工具不斷發展,攻擊者在繞過安全保護措施的同時鎖定使用者目標的方式也在不斷變化。在多個人工智慧 (AI) 大型語言模型 (LLM) 發佈後,不僅引發了一場對探索產生式 AI 功能新應用的瘋狂爭奪,也消耗了安全研究人員的寶貴精力。而創作網路釣魚攻擊內容便是此功能的應用之一。

Dispelling the Generative AI fear: how Cloudflare secures inboxes against AI-enhanced phishing

網路釣魚依賴於攻擊者看起來是真實的。幾年來,我們觀察到真實性有兩種不同形式:視覺型和組織型。視覺型真實攻擊使用標誌、圖片和類似內容來建立信任;組織型真實活動則利用企業動態和社交關係達成目的。攻擊者可以利用 LLM,透過多種方式使電子郵件看起來更加真實。攻擊者常用的一種技術是使用 LLM 將他們撰寫的電子郵件翻譯和修改為表面上更有說服力的郵件。更複雜的攻擊會將 LLM 與從遭入侵帳戶收集的個人資料配對,來撰寫個人化的組織型真實郵件。

例如,WormGPT 能夠對一封寫得很糟糕的電子郵件重新創作,從而更好地使用語法、語流和語態。而輸出的郵件不僅行文流暢,而且措辭得當,更容易被認為是真實的。討論論壇鼓勵威脅行為者用母語撰寫草稿,然後讓 LLM 來完成工作。

商業電子郵件入侵 (BEC) 攻擊是受益於 LLM 的網路釣魚攻擊形式之一,它們可能會造成毀滅性的財務影響。在這些攻擊期間,惡意行為者試圖欺騙受害者支付欺詐性發票的款項;LLM 有助於使這些郵件聽起來在組織上更加真實。雖然對於希望阻止資金未經授權流出組織的那些組織而言,BEC 攻擊是他們最關心的問題,但 LLM 也可用於製作其他類型的網路釣魚郵件。

然而,這些 LLM 製作的郵件仍然依賴於使用者執行動作,例如閱讀欺詐性發票或與連結交互,而這可能不那麼容易偽造。每封 LLM 撰寫的電子郵件仍然是一封電子郵件,包含一系列其他訊號,例如寄件者聲譽、通信模式以及與每封郵件捆綁在一起的中繼資料。如果部署了適當的緩解策略和工具,就能夠可靠地阻止 LLM 增強攻擊。

雖然 ChatGPT 的流行使 LLM 成為近期眾人矚目的焦點,但這類模型並不新鮮。多年來,Cloudflare 一直在訓練模型以抵禦 LLM 增強攻擊。我們的模型能夠查看電子郵件的所有組成部分,從而確保了 Cloudflare 客戶不僅目前受到保護,並且未來會繼續受到保護,這是因為我們的威脅研究團隊透過分析數十億封郵件開發的機器學習系統不會被措辭得體的電子郵件所欺騙。

產生式 AI 的威脅與取捨

AI 產生的最危險的攻擊是根據攻擊前收集的資料進行個人化的。威脅行為者在針對受害者的更傳統的帳戶入侵操作中收集此資訊,並反覆進行這個過程。他們在掌握足夠的資訊之後,就會開始實施攻擊了。這種攻擊具有很強的針對性和特定性。AI 的優勢在於操作的規模;然而,為了創作郵件以準確冒充攻擊者正在偽裝的人員,需要收集大量的資料。

雖然 AI 產生的攻擊在個人化和可擴展性方面頗具優勢,但有效性取決於是否有足夠的樣本來保證真實性。傳統威脅行為者也可以採用社交工程策略來實現類似的結果,儘管沒有 AI 的效率和可擴展性。正如我們將在下一節中討論的,無論攻擊者使用何種技術,機會和時間的基本限制仍然適用於所有攻擊者。

若要防禦此類攻擊,組織必須採用多層網路安全方法。這包括員工意識培訓、採用進階威脅偵測系統來利用 AI 和傳統技術,以及不斷更新安全做法來防範 AI 和傳統網路釣魚攻擊。

威脅行為者可以利用 AI 來產生攻擊,但他們需要進行權衡。瓶頸在於他們能夠成功執行的攻擊數量與他們可以利用的機會數量以及他們可以用來製作令人信服的郵件的資料成正比。他們需要存取權限和機會,如果沒有這兩者,攻擊就不太可能成功。

BEC 攻擊和 LLM

BEC 攻擊是組織最關心的問題,因為它們可以讓攻擊者從目標竊取大量的資金。由於 BEC 攻擊主要基於文字,LLM 似乎即將打開閘門。然而,現實情況卻大相徑庭。限制這一主張的主要障礙竟然是機會。我們將機會定義為一個時機,即各種事件正好造就了一個可利用的條件並允許該條件被利用,例如,攻擊者可能會使用外洩的資料在公司的廠商付款計劃中發現一個機會。威脅行為者可能具有動機、手段和資源來實施看似真實的 BEC 攻擊,但如果沒有機會,他們的攻擊就不會成功。雖然我們觀察到威脅行為者基本上透過對目標進行突然拜訪來嘗試巨流量攻擊,但此類攻擊在絕大多數時候都未能得逞。這完全符合 BEC 的前提,因為社交工程的某些組成部分在這些攻擊中發揮作用。

打個比方,如果有人走進您公司的前門,在沒有任何背景的情況下要求您支付 20,000 美元,一個理性且有邏輯思考能力的人是不會付錢的。BEC 攻擊必須繞過驗證這一步驟才有可能成功,而 LLM 在這方面幾乎無法提供任何幫助。雖然 LLM 可以產生真實性令人信服的文字,但他們無法與公司建立業務關係,也無法製作外觀和風格都與正在使用的發票相符的真實發票。最大的 BEC 付款不僅因為帳戶洩露,也因為發票洩露,對於攻擊者來說,必須符合後面的條件,才能向受害者提供令人信服的欺詐性發票。

Cloudflare 擁有獨特的優勢來提供此類分析,因為我們的電子郵件安全產品每月都會審查數億封郵件。在分析這些攻擊時,我們發現構成 BEC 攻擊的除了文字之外還有其他趨勢,因為我們的資料顯示絕大多數 BEC 攻擊都使用遭入侵的帳戶。有權存取遭入侵帳戶的攻擊者可以收集資料來製作更真實的郵件,而由於這些郵件來自有效的電子郵件地址,因此能夠繞過大多數安全檢查。去年,在涉及 1 萬美元或以上的 BEC 攻擊中,有 80% 涉及遭入侵的帳戶。其中,75% 的攻擊進行了對話劫持,並將對話重新導向到了新註冊的網域。這與絕大多數「成功」攻擊(意味著威脅行為者成功破壞了目標)利用類似網域的觀察結果一致。這種欺詐性網域幾乎總是最近註冊的。我們還發現,在這些涉及超過 1 萬美元付款的郵件中,有 55% 試圖變更 ACH 付款詳細資訊。

我們可以看看下面的範例,瞭解這種情況是如何在 BEC 攻擊中累積的。

郵件中的文字沒有任何語法錯誤且易於閱讀,但文字觸發了我們的情緒模型,從而察覺到在與發票結合時,情緒中有一種緊迫感,而這正是攻擊者採用的一種常見模式。然而,這封郵件中還有許多其他內容觸發了不同的模型。例如,攻擊者假裝來自 PricewaterhouseCoopers,但不符合寄送此電子郵件的網域。我們還注意到,寄送網域是最近註冊的,這提醒我們此郵件可能不合法。最後,我們的一個模型根據每個客戶的通訊模式產生了一張獨特的社交圖表。該圖表提供了有關每個使用者與誰通訊以及通訊內容的資訊。該模型表明,鑒於此通訊的最新歷程記錄,這封郵件不太尋常。上述所有訊號加上情緒模型的輸出,導致我們的分析引擎得出這是一封惡意郵件的結論,不允許該郵件的收件者與之互動。

產生式 AI 還在不斷變化和改進,因此,這個領域仍有許多東西有待發現。雖然 AI 建立的 BEC 攻擊的出現可能會導致外部攻擊數量最終增加,但我們預計對於擁有強大安全解決方案和流程的組織來說,成功率不會上升。

網路釣魚攻擊趨勢

去年 8 月,我們發佈了 2023 年網路釣魚報告。在這一年中,Cloudflare 處理了大約 130 億封電子郵件,其中包括阻止了約 2.5 億封惡意郵件到達客戶的收件匣。儘管去年是 ChatGPT 之年,但我們的分析發現,攻擊仍然以惡意連結等長期存在的手段為主。

大多數攻擊者仍在設法讓使用者點擊連結或下載惡意檔案。正如前文所討論的,雖然產生式 AI 可以幫助製作可讀且令人信服的郵件,但它無法幫助攻擊者混淆攻擊的這些方面。

Cloudflare 的電子郵件安全模型採用一種複雜的方法來檢查遇到的每個連結和附件。它根據有關網域本身以及頁面上元素和品牌的資訊對連結進行爬取和審查。我們的網路爬蟲也會檢查輸入欄位,以查看該連結是否是潛在的憑證收集器。對於將裝備成武器的連結置於重新導向或地理鎖定後面的攻擊者,我們的網路爬蟲可以利用 Cloudflare 網路繞過我們遇到的任何障礙。

我們的偵測系統在處理附件方面也同樣嚴格。例如,我們的系統知道附件的某些部分可以輕鬆偽造,而其他部分則不然。因此,我們的系統將附件解構為原始元件,並檢查其中是否有異常。與攻擊者可以繞過的傳統沙箱相比,這可讓我們更準確地掃描惡意檔案。

攻擊者可以使用 LLM 製作更有說服力的郵件來讓使用者採取某些動作,但我們的掃描功能會捕獲惡意內容並阻止使用者與其互動。

電子郵件剖析

電子郵件包含的資訊不僅限於郵件的本文和主旨。在構建偵測時,我們喜歡將電子郵件視為同時具有可變和不可變內容。本文等可變內容很容易偽造,而偽造寄件者 IP 位址等其他可變內容則需要付出更多努力。然而,有一些不可變的內容(例如寄件者的網域年齡以及網域與知名品牌的相似性)則是根本無法更改的。例如,我們來看一封我收到的郵件。

電子郵件內容範例

雖然上面的郵件是使用者看到的內容,但它只是電子郵件較大內容的一小部分。以下是郵件標頭的片段。這些資訊通常對收件者來說是無用的(並且依預設大部分都不會顯示),但對於作為防御者的我們而言,它簡直就是一個資訊寶庫。例如,我們的偵測可以看到針對 DMARC、SPF 和 DKIM 的所有初步檢查。這些檢查讓我們知道這封電子郵件是否允許代表所謂的寄件者傳送,以及它在到達收件匣之前是否經過更改。我們的模型還可以查看寄件者的用戶端 IP 位址,並使用它來檢查其聲譽。此外,我們還可以查看電子郵件是從哪個網域傳送的,並檢查它是否與郵件中包含的品牌相符。

電子郵件標頭範例

正如您所看到的,郵件的本文和主旨只是構成電子郵件的一小部分。在對電子郵件執行分析時,我們的模型會全面考慮郵件的各個方面,來進行安全性評估。我們的一些模型確實會透過重點分析郵件本文,來獲取情緒等指標,但對郵件風險的最終評估是與評估電子郵件各個方面的模型一起執行的。所有這些資訊都會呈現給使用我們產品的安全從業人員。

Cloudflare 的電子郵件安全模型

我們使用針對郵件不同內容進行訓練的多個模型的理念最終形成了我們所說的 SPARSE 引擎。在 2023 年 Forrester Wave™ 企業電子郵件安全性報告中,分析師提到了我們使用 SPARSE 引擎捕獲網路釣魚電子郵件的能力,並表示「Cloudflare 使用先發制人的網路爬蟲方法來發現正在構建的網路釣魚活動基礎架構。它的 Small Pattern Analytics Engine (SPARSE) 結合了多種機器學習模型,包括自然語言建模、情緒和結構分析以及信任圖表」。1

我們的 SPARSE 引擎使用我們觀察到的郵件不斷更新。鑒於我們每年分析數十億封郵件的能力,我們能夠提前發現趨勢並將其輸入到模型中來提高效率。最近的一個例子是,我們在 2023 年底注意到 QR 代碼攻擊有所增加。攻擊者採用不同的技術來混淆 QR 代碼,使 OCR 掃描程式無法掃描影像,但手機相機會將使用者導向至惡意連結。這些技術包括使影像變得非常小,讓掃描程式看不清楚或像素移位影像不清楚。然而,將這些郵件輸入到模型中,可以訓練它們查看從這些活動傳送的電子郵件的所有品質。透過這些資料組合,我們能夠建立偵測,從而在這些活動到達客戶的收件匣之前捕獲它們。

我們先發制人的掃描方法使我們能夠抵禦搖擺不定的威脅行為者行為。儘管 LLM 是當今的攻擊者更經常部署的工具,但未來還會有其他工具,我們也能夠保護客戶免受這些威脅。

電子郵件網路釣魚的未來

由於攻擊者試圖以各種有創意的方式對使用者進行網路釣魚,確保電子郵件收件匣的安全成為一項非常艱巨的工作。這個領域一直在不斷發展,而隨著新技術的普及,還將發生巨大的變化。使用產生式 AI 等趨勢會不斷變化,但我們構建電子郵件偵測的方法和方式可以確保客戶始終受到保護。

如果您對 Cloudflare 的 Cloud Email Security 如何保護組織免遭網路釣魚威脅感興趣,請聯絡您的 Cloudflare 聯絡人,安排一次免費的網路釣魚風險評估。對於 Microsoft 365 客戶,您還可以執行我們的補充追溯掃描,以查看您目前的解決方案遺漏了哪些網路釣魚電子郵件。如需有關這方面的更多資訊,請參閱我們最近的部落格貼文

想進一步瞭解我們的解決方案嗎?請報名參加補充網路釣魚風險評估


[1] Source: The Forrester Wave™: Enterprise Email Security, Q2, 2023

The Forrester Wave™ is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave are trademarks of Forrester Research, Inc. The Forrester Wave is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor, product, or service depicted in the Forrester Wave. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change.

我們保護整個企業網路,協助客戶有效地建置網際網路規模的應用程式,加速任何網站或網際網路應用程式抵禦 DDoS 攻擊,阻止駭客入侵,並且可以協助您實現 Zero Trust

從任何裝置造訪 1.1.1.1,即可開始使用我們的免費應用程式,讓您的網際網路更快速、更安全。

若要進一步瞭解我們協助打造更好的網際網路的使命,請從這裡開始。如果您正在尋找新的職業方向,請查看我們的職缺
Security WeekAIAPI SecurityDeveloper Platform

在 X 上進行關注

Cloudflare|@cloudflare

相關貼文

2024年10月31日 下午1:00

Moving Baselime from AWS to Cloudflare: simpler architecture, improved performance, over 80% lower cloud costs

Post-acquisition, we migrated Baselime from AWS to the Cloudflare Developer Platform and in the process, we improved query times, simplified data ingestion, and now handle far more events, all while cutting costs. Here’s how we built a modern, high-performing observability platform on Cloudflare’s network....

2024年10月25日 下午1:00

Elephants in tunnels: how Hyperdrive connects to databases inside your VPC networks

Hyperdrive (Cloudflare’s globally distributed SQL connection pooler and cache) recently added support for directing database traffic from Workers across Cloudflare Tunnels. We dive deep on what it took to add this feature....

2024年10月24日 下午1:05

Build durable applications on Cloudflare Workers: you write the Workflows, we take care of the rest

Cloudflare Workflows is now in open beta! Workflows allows you to build reliable, repeatable, long-lived multi-step applications that can automatically retry, persist state, and scale out. Read on to learn how Workflows works, how we built it on top of Durable Objects, and how you can deploy your first Workflows application....