订阅以接收新文章的通知:

消除对生成式 AI 的恐惧:Cloudflare 如何保护收件箱以防御 AI 增强的网络钓鱼

2024-03-04

9 分钟阅读时间
这篇博文也有 EnglishFrançaisDeutsch日本語한국어Español繁體中文版本。

电子邮件继续是攻击者试图入侵或勒索组织时使用的最主要攻击手段。鉴于电子邮件在商业沟通中的频繁使用,网络钓鱼攻击一直普遍存在。随着攻击者可用的工具不断发展,攻击者的手段也在规避安全保护措施的同时不断改进。几款人工智能 (AI) 大语言模型(LLM)发布引发一阵狂热,人们争相发现生成式 AI 能力的全新应用, 并消耗着安全研究人员的精力。这种能力的一种应用是创造钓鱼攻击的内容。

Dispelling the Generative AI fear: how Cloudflare secures inboxes against AI-enhanced phishing

网络钓鱼依赖于攻击者看起来真实可信。多年来,我们观察到两种不同形式的真实性,分别是视觉上和组织上。视觉上真实的攻击使用标识、图像等来建立信任,而组织上真实的活动使用商业动态和社会关系来推动他们的成功。攻击者可以通过多种方式利用 LLM 使其电子邮件看起来更加真实可信。攻击者常用的一种技术是利用 LLM 将他们撰写的电子邮件进行翻译和修改,使其成为表面上更有说服力的信息。更复杂的攻击将 LLM 与从被攻陷账户中收集的个人数据配对,编写个性化的、组织上真实可信的消息。

例如,WormGPT 能够对一封行文拙劣的电子邮件进行重新创作,使其在语法、流畅性和语气上更加出色。结果将生成一封流畅、行文出色的邮件,更容易被认为真实可信。论坛中的威胁行为者被鼓励用自己的母语创建粗略的草稿,然后让 LLM 发挥作用。

利用 LLM 的一种网络钓鱼形式是 企业电子邮件破坏 (BEC) 攻击。此类攻击可造成毁灭性的影响。在这些攻击中,恶意行为者试图欺骗受害者支付欺诈性发票的款项;LLM 可以帮助使这些消息在组织上听起来更具真实性。对于希望阻止资金未经授权流出的组织而言,BEC 攻击是最关注的问题,但 LLM 也可用于制作其他类型的网络钓鱼消息。

然而,这些由 LLM 制作的消息仍然依赖用户执行操作,例如查看虚假发票或与链接交互,而伪造这两者并非易事。而且,LLM 撰写的每一封电子邮件依然是电子邮件,其中包含诸如发件人声誉、通信模式和与每条消息捆绑的元数据等一系列其他信号。通过部署正确的缓解策略和工具,我们能够可靠地阻止通过 LLM 增强的攻击。

尽管 ChatGPT 的流行使 LLM 最近备受关注,但这类模型并不是新事物;Cloudflare 多年来一直在训练其模型以抵御通过 LLM 增强的攻击。我们模型能够查看电子邮件的所有组成部分,确保 Cloudflare 的客户已经受到保护,并将在未来继续受到保护,因为我们的威胁研究团队通过分析数十亿封邮件开发的机器学习系统不会被措辞优美的电子邮件所欺骗。

生成式 AI 的威胁和折衷

AI 生成攻击中最危险的一种是基于攻击前收集的数据进行个性化定制的。威胁行为者通过更传统的账户入侵方式获得这些信息并进行迭代。一旦获得足够的信息,他们就会发动攻击。这种攻击的目标非常明确,具有高度针对性。AI 的好处在于规模运作;然而,为了创建邮件以准确模拟攻击者要冒充的身份,有必要收集大量收据。

虽然由 AI 生成的攻击在个性化和可扩展性方面具有优势,但它们的有效性取决于有足够的样本来确保真实性。传统的威胁行为者也可以利用社会工程手段来实现类似的结果,但没有 AI 的效率和可扩展性。正如我们将在下一节讨论的那样,机会和时机的基本限制仍适用于所有攻击者,无论使用何种技术。

要防御此类攻击,企业和组织必须采用多层次的网络安全方法。其中包括员工意识培训,采取利用 AI 和传统技术的高级威胁检测系统,以及不断更新安全实践以防范 AI 和传统的网络钓鱼攻击。

威胁行为者可以利用 AI 生成攻击,但这会带来一些折衷。他们能成功进行的攻击的数量上限与他们掌握的机会多寡,以及他们可用于构造可信消息的数据成正比。他们需要获得信息和机会,否则攻击将不太可能成功。

BEC 攻击和 LLM

BEC 攻击是企业和组织最关注的问题,因为攻击者能通过这种方式从目标窃取大量金钱。由于 BEC 主要基于文本,似乎 LLM 即将导致此类攻击泛滥起来。然而,现实情况大不相同。限制这种看法成为现实的主要障碍是机会。我们将机会定义为时间中的一个窗口,期间机缘巧合造就一个可被利用的条件,且该条件可被加以利用—— 例如,攻击者可能使用来自数据泄露的数据,来识别某公司供应商支付计划中的一个机会。威胁行为者可能具备动机、手段和资源来实施一次看似真实的 BEC 攻击,但如果缺乏机会,攻击将以失败告终。虽然我们观察到威胁行为者通过基本上是陌生联系的方式发动大规模攻击,但此类攻击在绝大数情况下均无法成功。这与 BEC 前提是一致的,因为这些攻击需要一定程度上运用社会工程学。

打个比方,如果有人走进您的公司大门,在毫无前因后果的情况下要求您向他支付 2 万美元,一个理性、合乎逻辑的人是不会付钱的。成功的 BEC 攻击需要绕过这一验证和核实的步骤,而 LLM 在这个方面几乎无济于事。虽然 LLM 能生成看起来令人信服的文本,但它们无法建立与某家公司之间的商业关系,也不能制作出在外观和风格上看起来真实、与实际使用发票一致的发票。规模最大的 BEC 付款不仅因为账户遭到入侵,也是因为发票泄露,后者对攻击者于攻击者向受害者提供令人信服的欺诈性发票是必要的。

Cloudflare 在提供这种分析方面拥有独特的优势,因为我们的电子邮件安全产品每个月都要审查数亿封邮件。在分析这些攻击时,我们发现除了文本之外构成 BEC 攻击的其他趋势,我们的数据表明,绝大多数 BEC 攻击使用了被盗用的账户。拥有被盗用账户访问权限的攻击者可以收集数据并制作出更真实的信息,这些信息可以绕过大多数安全检查,因为它们来自一个合法的电子邮件地址。过去一年内,涉及 1 万美元或以上金额的 BEC 攻击中有 80% 涉及被盗用账户。其中,75% 攻击进行了对话劫持,并将对话重定向到新注册的域名上。这与观察结果一致,即绝大多数“成功”的攻击——这意味着威胁行为者成功地侵入了他们的目标——都利用了一个相似域名。这个欺诈性域名几乎总是新近注册的。我们还发现,以上涉及 1 万美元以上金额的攻击中,有 55% 企图改变 ACH 支付详情。

如下示例显示这种情况在一次 BEC 攻击中如何发展。

消息中的文本没有任何语法错误,且易于阅读,然而我们的情绪模型被文本触发,检测到一种与发票结合的紧迫感——这是攻击者常用的一种模式。然而,这封邮件中还有许多其他东西触发了不同的模型。例如,攻击者假装来自 PricewaterhouseCoopers(普华永道),但发出此电子邮件的域名与之不匹配。我们还注意到发送域名是新近注册的,提醒我们此消息可能并不合法。最后,我们的其中一个模型会根据每个客户的沟通模式生成一张独特的社交图谱。这个图谱提供了有关每个用户的通讯对象及通讯内容的信息。该模型指出,鉴于这一通讯是最近才发生的,这封邮件并非常规事务。上述所有信号,加上我们的情绪模型输出的结果,使我们的分析引擎得出结论,即这是一个恶意消息,并禁止此消息的收件人与之交互。

生成式 AI 正在持续变化和改进,因此在这个领域还有很多东西有待发现。虽然 AI 创建的 BEC 攻击出现有可能最终导致实际网络环境中的攻击增加,但对于拥有强大安全解决方案和流程的企业和组织而言,我们认为此类攻击的成功率并不会上升。

网络钓鱼攻击趋势

去年 8 月,我们发布了 2023 年网络钓鱼报告。 在去年,Cloudflare 处理了大约 130 亿封电子邮件,其中包括阻止了大约 2.5 亿封恶意邮件到达客户的收件箱。尽管那是 ChatGPT 之年,我们的分析发现,攻击仍然围绕着长期存在的手段进行,例如恶意链接。

大多数攻击者仍然试图让用户点击链接或下载恶意文件。如前所述,虽然生成式 AI 可以帮助制作可读和令人信服的消息,但它无法帮助攻击者掩盖攻击的这些特征。

Cloudflare 的电子邮件安全模型采取了一种复杂的方法来检查它们遇到的每个链接和附件。模型会爬取链接并根据域名本身的信息以及页面元素和品牌进行仔细审查。我们的爬虫程序还会检查输入字段,以查看链接是否为潜在的凭据收集器。如果攻击者将恶意链接隐藏在重定向或地理锁后方,我们的爬虫程序可以利用 Cloudflare 网络来绕过任何可能的障碍。

我们的检测系统在处理附件时同样严格。例如,我们的系统知道附件的某些部分很容易被伪造,而其他部分则不然。因此,我们的系统将附件解构为它们的基本组件,并检查其中是否存在异常。这使我们能够比传统沙箱更准确地扫描恶意文件,因为传统沙箱可能被攻击者绕过。

攻击者可以利用 LLM 来制作更有说服力的消息,促使用户采取某些行动,但我们的扫描能力能够捕捉到恶意内容,并防止用户与之互动。

解构一封电子邮件

电子邮件包含的信息超出其正文和主题。在构建检测机制时,我们喜欢将电子邮件视为同时具有可变和不可变的属性。像正文这样的可变属性很容易被伪造,而伪造像发件人 IP 地址这样的可变属性则需要更多功夫。然而,有些不可变属性是完全无法更改的,例如发件人域名的年龄,以及域名与已知品牌的相似度。例如,让我们来看看我收到的一封邮件。

示例电子邮件内容

虽然上面的消息是用户看到的东西,但这只是电子邮件内容的一小部分。下面是消息头的一个片段。这些信息对于收件人来说通常是无用的(并且大部分默认不显示),但对于作为防御者的我们来说,它包含了宝贵的信息。例如,我们的检测机制可以看到对 DMARC、SPF 和 DKIM 的所有初步检查。这些结果让我们知道这封电子邮件是否被允许以所声称的发件人的名义发送,以及它在到达我们的收件箱之前是否被修改。我们的模型还可以看到发送人的客户端 IP 地址,并使用它来检查它们的信誉。我们还可以查看电子邮件是从哪个域发送的,并检查它是否匹配消息中包含的品牌。

示例电子邮件头

如你所见,消息的正文和主题只是构成一封电子邮件的一小部分。在对电子邮件进行分析时,我们的模型会全面考察消息的每一个方面,以评估其安全性。我们的一些模型确实会专注于分析消息正文中的指标,例如情绪,但是消息风险的最终评估是与评估电子邮件每一个方面的模型协同进行的。所有这些信息都会呈现给使用我们产品的安全从业者。

Cloudfalre 的电子邮件安全模型

我们使用以消息的不同属性训练的多个模型的理念在我们所谓的 SPARSE 引擎中达到了顶峰。在2023 年Forrester Wave™企业电子邮件安全报告中,分析师提到我们使用 SPARSE 引擎捕获网络钓鱼邮件的能力,并表示 “Cloudflare 使用其先发制人的爬网方法来发现正在构建中的网络钓鱼活动基础设施。它的 Small Pattern Analytics Engine (SPARSE)引擎结合了多个机器学习模型,包括自然语言建模、情绪和结构分析以及信任图谱“。1

我们的 SPARSE 引擎将通过使用我们观察到的消息不断更新。鉴于我们每年能够分析数十亿条消息,我们能够更早地检测到趋势,并将这些趋势反馈到我们的模型中以提高它们的有效性。最近的一个例子发生在 2023 年底,当时我们注意到 二维码攻击有所增加。攻击者部署了不同的技术来混淆二维码,使得 OCR 扫描器无法扫描图像,但手机摄像头会将用户引导至恶意链接。所用技术包括使图像变得极小,以至于扫描器无法看清,或者是对图像进行像素移位。然而,将这些消息输入我们的模型,训练它们查看从这些活动发送的电子邮件的所有特性。通过这种数据组合,我们能够创建检测机制,在这些活动到达客户收件箱之前捕捉它们。

先发制人的扫描方法使我们能够抵抗威胁行为者的行为波动。即使如今攻击者越来越频繁地使用 LLM 作为工具,而且将来还会有其他手段,我们也将能够保护我们的客户免受那些威胁。

电子邮件钓鱼的未来

鉴于攻击者会尝试以各种创造性的方式对用户发动钓鱼攻击,保护电子邮件收件箱是一项艰巨的任务。这个领域不断发展,而且随着新技术普及,它将继续发生巨大变化。类似使用生成式 AI 的趋势将继续变化,但我们构建电子邮件检测的方法和方式将继续保护我们的客户。

如果您对 Cloudflare的 Cloud Email Security 如何保护您的组织以防钓鱼威胁感兴趣,欢迎联系 Cloudflare 以安排一次免费的网络钓鱼风险评估。如果您是 Microsoft 365 客户,您也可以运行我们的免费回溯扫描以查看您当前的解决方案错过了哪些钓鱼电子邮件。如需了解更多信息,请查看我们的最近发布的博客文章。希望进一步了解我们的解决方案?欢迎申请一次免费的网络钓鱼风险评估


[1] Source: The Forrester Wave™: Enterprise Email Security, Q2, 2023

The Forrester Wave™ is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave are trademarks of Forrester Research, Inc. The Forrester Wave is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor, product, or service depicted in the Forrester Wave. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change.

我们保护整个企业网络,帮助客户高效构建互联网规模的应用程序,加速任何网站或互联网应用程序抵御 DDoS 攻击,防止黑客入侵,并能协助您实现 Zero Trust 的过程

从任何设备访问 1.1.1.1,以开始使用我们的免费应用程序,帮助您更快、更安全地访问互联网。要进一步了解我们帮助构建更美好互联网的使命,请从这里开始。如果您正在寻找新的职业方向,请查看我们的空缺职位
Security WeekAIAPI SecurityDeveloper Platform

在 X 上关注

Cloudflare|@cloudflare

相关帖子

2024年10月09日 13:00

Improving platform resilience at Cloudflare through automation

We realized that we need a way to automatically heal our platform from an operations perspective, and designed and built a workflow orchestration platform to provide these self-healing capabilities across our global network. We explore how this has helped us to reduce the impact on our customers due to operational issues, and the rich variety of similar problems it has empowered us to solve....

2024年9月27日 13:00

AI Everywhere with the WAF Rule Builder Assistant, Cloudflare Radar AI Insights, and updated AI bot protection

This year for Cloudflare’s birthday, we’ve extended our AI Assistant capabilities to help you build new WAF rules, added new AI bot & crawler traffic insights to Radar, and given customers new AI bot blocking capabilities...

2024年9月27日 13:00

Our container platform is in production. It has GPUs. Here’s an early look

We’ve been working on something new — a platform for running containers across Cloudflare’s network. We already use it in production, for AI inference and more. Today we want to share an early look at how it’s built, why we built it, and how we use it ourselves. ...