Abonnez-vous pour recevoir des notifications sur les nouveaux articles :

Dissiper les craintes autour de l'IA générative : Cloudflare sécurise les comptes e-mail contre le phishing renforcé par IA

2024-03-04

Lecture: 9 min.
Cet article est également disponible en English, en 繁體中文, en Deutsch, en 日本語, en 한국어, en Español et en 简体中文.

L'e-mail reste à ce jour le vecteur d'attaque le plus utilisé par les acteurs malveillants cherchant à compromettre des organisations ou à leur extorquer de l'argent. L'e-mail étant devenu le principal outil de la communication professionnelle au quotidien, les tentatives de phishing sont monnaie courante. L'arsenal dont disposent les acteurs malveillants a évolué et il en va de même pour les tactiques employées pour cibler les utilisateurs tout en contournant les protections de sécurité. Le lancement de plusieurs grands modèles de langage (LLM) pour l'intelligence artificielle  (IA) a suscité un branle-bas de combat dans la recherche de nouvelles applications s'appuyant sur les capacités de l'IA générative  et a presque monopolisé les cerveaux de la recherche en sécurité. Une des applications de cette capacité est la création de contenu pour les attaques par phishing.

Dispelling the Generative AI fear: how Cloudflare secures inboxes against AI-enhanced phishing

Le phishing est fortement dépendant de la capacité de l'acteur malveillant à se faire passer pour authentique. Au fil des ans, nous avons observé que cette caractéristique existait sous deux formes distinctes : l'authenticité visuelle et l'authenticité organisationnelle. Les attaques visuellement authentiques font usage de logos, d'images et de supports similaires pour établir la confiance, tandis que les campagnes authentiques sur le plan organisationnel s'appuient sur les dynamiques économiques et les relations sociales pour favoriser leur réussite. Les LLM peuvent être utilisés par les attaquants pour rendre leurs e-mails en apparence plus authentiques et ce, de plusieurs manières. Parmi celles-ci, une technique courante consiste pour les acteurs malveillants à utiliser des LLM pour traduire et corriger des e-mails qu'ils ont écrits afin de les rendre plus convaincants au premier coup d'oeil. D'autres attaques plus sophistiquées associent des LLM à des données personnelles obtenues depuis des comptes compromis dans le but d'écrire des messages personnalisés et authentiques aux yeux de l'organisation.

Par exemple, WormGPT est capable de partir d'un e-mail à la rédaction médiocre et de le reformuler en améliorant la grammaire, la fluidité et le ton. Il en résulte un message bien écrit et dans un style naturel qui passe plus facilement pour authentique. Les acteurs malveillants au sein des forums de discussions sont encouragés à créer des brouillons approximatifs dans leur langue maternelle avant de laisser les LLM travailler.

Parmi les formes de tentatives de phishing qui pourraient profiter des LLM, avec des conséquences financières dévastatrices, figurent les attaques par compromission du courrier électronique professionnel (BEC pour business email compromise). Au cours de ces attaques, les acteurs malveillants tentent de pousser leurs victimes à envoyer de l'argent pour le règlement de factures frauduleuses ; les LLM peuvent rendre ces messages en apparence plus authentiques du point de vue de l'organisation. Et si les attaques BEC sont au centre des priorités pour les organisations qui souhaitent mettre un terme à ces dépenses non autorisées, les LLM peuvent également servir à créer d'autres types de messages de phishing.

Pour autant, ces messages créés par LLM continuent de compter sur l'action d'un utilisateur qui par exemple lirait une facture frauduleuse ou interagirait avec un lien, ce qu'il n'est pas facile d'usurper. Et ces e-mails, quand bien même ils sont créés par LLM, restent des e-mails, comportant un ensemble d'autres signaux tels que la réputation de l'expéditeur, les logiques de correspondances et les métadonnées intégrées dans chaque message. La mise en œuvre de la stratégie d'atténuation et des outils adéquats permet de bloquer efficacement ces attaques renforcées par les LLM.

Certes la popularité de ChatGPT a récemment placé les LLM sur le devant de la scène, ces types de modèles ne sont pourtant pas nouveaux ; Cloudflare entraîne ces modèles depuis des années à la défense contre les attaques renforcées par les LLM. La capacité de nos modèles à observer tous les composants d'un e-mail permet de garantir que les clients de Cloudflare sont déjà protégés et qu'ils continueront de l'être à l'avenir. En effet, les systèmes d'apprentissage automatique développés par nos équipes de recherche de menaces via l'analyse de milliards de messages ne se laissent pas tromper par des e-mails, aussi bien rédigés soient-ils.

Menaces liées à l'IA générative et compromis

Les plus dangereuses des attaques générées par IA sont personnalisées grâce à des données récoltées avant l'attaque. Les acteurs malveillants réunissent ces informations lors d'opérations plus traditionnelles de compromission de comptes contre leurs victimes et renouvellent ce processus. Une fois qu'ils disposent des informations en quantité suffisante pour l'attaque, ils l'exécutent. L'attaque est très ciblée et hautement spécifique. L'avantage de l'IA repose dans l'ampleur des opérations ; toutefois, il est nécessaire de collecter un très grand nombre de données pour créer des messages capables d'usurper avec précision l'identité de la personne que l'acteur malveillant prétend être.

Si les attaques générées par IA bénéficient de certains avantages en matière de personnalisation et d'évolutivité , leur efficacité se heurte à la difficulté d'obtenir suffisamment d'échantillons pour paraître authentiques. Les acteurs malveillants traditionnels peuvent également adopter des tactiques d'ingénierie sociale pour parvenir à des résultats semblables, mais il leur manque l'efficacité et l'évolutivité que confère l'IA. Les limites fondamentales en matière d'opportunité et de temps, comme nous l'évoquerons dans la section suivante, continuent de s'imposer à tous les acteurs malveillants, et ce, quelle que soit la technologie utilisée.

Pour se défendre contre de telles attaques, les organisations doivent envisager la cybersécurité selon plusieurs couches. Cela comprend une sensibilisation des employés, à l'aide de systèmes avancés de détection des menaces qui reposent sur l'IA et des techniques traditionnelles, ainsi que des mises à jour constantes des pratiques de sécurité pour se protéger des attaques par phishing, qu'elles soient traditionnelles ou générées par IA.

Les acteurs malveillants peuvent utiliser l'IA pour générer des attaques, mais cela implique des compromis. Le goulot d'étranglement dans le nombre d'attaques qu'ils peuvent mener à bien est directement proportionnel au nombre d'opportunités qui s'offrent à eux, et aux données dont ils disposent pour rédiger des messages convaincants. Il leur faut à la fois un accès et une opportunité, faute de quoi les attaques ont peu de chance d'aboutir.

Les attaques par compromission d'adresses e-mail professionnelles (BEC) et les LLM

Les attaques BEC sont au cœur des préoccupations des organisations car elles permettent à des acteurs malveillants de dérober de fonds en quantité considérable auprès de leurs cibles.  Les attaques BEC reposant essentiellement sur du texte, on pourrait être tenté de penser que les LLM vont donner lieu à un déluge d'attaques. Cependant, la réalité est tout autre. Le principal obstacle à cette proposition est l'opportunité. Nous parlons d'opportunité pour qualifier une période pendant laquelle les éléments s'alignent de telle sorte qu'une situation devient exploitable. Par exemple, un acteur malveillant peut utiliser les données provenant d'une violation pour identifier une opportunité dans le calendrier des règlements des fournisseurs d'une entreprise. Un acteur malveillant peut disposer des motivations, des moyens et des ressources pour lancer une attaque BEC en apparence authentique, en l'absence d'opportunité, son attaque fera chou blanc. Certes, il nous est arrivé d'observer des acteurs malveillants tenter une attaque volumétrique par simple démarchage téléphonique, toutefois, dans la majorité des cas, de telles attaques échouent. Cela tient au principe des BEC dans la mesure où l'aspect ingénierie sociale joue un rôle dans ces attaques.

À titre de comparaison, imaginons qu'une personne franchisse la porte de votre entreprise et vous demande de lui payer 20 000 euros sans aucun contexte, aucune personne logique et censée ne lui remettrait cette somme. Pour qu'elle aboutisse, une attaque BEC devrait contourner l'étape de validation et de vérification, ce en quoi les LLM peuvent s'avérer un peu utiles. Si les LLM peuvent générer du texte en apparence authentique et convaincant, ils ne peuvent pas établir de relation professionnelle avec une entreprise ou émettre une facture dont le style et l'apparence soient authentiques et correspondent à celles qui sont utilisées. Les plus gros paiements effectués dans le cadre d'attaques BEC ont été le fruit de la compromission non seulement d'un compte mais également d'une facture, ce qui est nécessaire pour que l'acteur malveillant puisse remettre des factures frauduleuses convaincantes à leurs victimes.

Chez Cloudflare, nous bénéficions d'une situation unique pour proposer cette analyse. En effet nos produits de sécurité des e-mails scrutent des centaines de millions de messages chaque mois. L'analyse de ces attaques nous a permis de découvrir d'autres tendances que le texte dans les modes d'attaque BEC et d'après les données dont nous disposons, une large majorité des attaques BEC utilisent des comptes compromis. Les acteurs malveillants qui ont accès à un compte compromis peuvent récupérer des données leur permettant de créer des messages plus authentiques, capables de contourner la plupart des vérifications de sécurité dans la mesure où ils viennent d'une adresse e-mail valide. Au cours de l'année dernière, dans 80 % des attaques BEC concernant des sommes supérieures ou égales à 10 000 USD des comptes compromis avaient été impliqués. Parmi celles-ci, 75 % avaient détourné le fil pour le rediriger vers des domaines enregistrés. Cela s'inscrit dans la continuité des observations selon lesquelles la grande majorité des attaques ayant abouti, à savoir celles par lesquelles l'auteur de la menace est parvenu à compromettre sa cible, mettait à profit un domaine ressemblant. Le domaine frauduleux est presque toujours un domaine récemment enregistré. Nous avons également observé que 55 % de ces messages correspondant à un paiement de 10 000 USD avaient tenté de modifier les informations de paiement ACH.

Voici un exemple illustrant la manière dont ces techniques peuvent se rejoindre pour créer une attaque BEC.

Le texte du message ne contient aucune erreur grammaticale et est facile à lire. Toutefois, nos modèles d'analyse de sentiments se sont déclenchés à la lecture du texte, détectant une impression d'urgence liée à une facture, une logique couramment employée par les acteurs malveillants. Cependant, de nombreux autres éléments de ce message ont déclenché différents modèles. Par exemple, l'acteur malveillant se présente comme un collaborateur de PricewaterhouseCoopers, mais cela ne correspond pas au domaine à partir duquel l'e-mail a été envoyé. Nous avons également remarqué que le domaine de provenance avait été enregistré récemment, ce qui nous a suggéré que ce message n'était peut-être pas légitime. Enfin, un de nos modèles génère un graphique social unique à chaque client sur la base de ses logiques de communication. Ce graphique fournit des informations concernant les interlocuteurs de chaque utilisateur ainsi que les sujets abordés. Ce modèle a repéré que, compte tenu de l'historique récent de cette communication, ce message était inhabituel. Tous les signaux mentionnés précédemment ajoutés au résultat de nos modèles d'analyse des sentiments ont conduit notre moteur d'analyse à conclure qu'il s'agissait d'un message malveillant et à interdire toute interaction pour le destinataire du message.

L'IA générative poursuit son évolution et son amélioration, mais il reste encore beaucoup à découvrir à ce sujet. Si l'arrivée des attaques BEC créées par IA risque de se traduire par une augmentation du nombre d'attaques observées partout dans le monde, nous estimons que le taux de réussite ne devrait pas augmenter pour les organisations ayant mis en place des processus et des solutions de sécurité solides.

Tendances en matière d'attaques par phishing

En août l'année dernière, nous avons publié notre rapport sur les menaces de phishing en 2023. Cette année, Cloudflare a traité environ 13 milliards d'e-mails, ce qui a donné lieu au blocage d'environ 250 millions de messages malveillants avant qu'ils n'atteignent les boîtes de réception des clients. Même si c'était l'année de ChatGPT, notre analyse a révélé que les attaques continuaient de s'appuyer sur des vecteurs traditionnels tels que les liens malveillants.

La plupart des acteurs malveillants continuaient d'inciter les utilisateurs à cliquer sur un lien ou à télécharger un fichier malveillant Comme nous l'avons évoqué précédemment, l'IA générative peut faciliter la rédaction d'un message lisible et convaincant, mais elle n'apporte rien aux acteurs malveillants concernant la dissimulation de ces aspects de leurs attaques.

Les modèles de sécurité des e-mails de Cloudflare adoptent une méthode sophistiquée pour l'examen de chaque lien ou pièce qu'ils trouvent. Les liens sont indexés et passés au crible à partir des informations du domaine lui-même ainsi que de la marque et des éléments de page. Nos robots d'indexation cherchent également les champs de saisie pour vérifier que le lien ne correspond pas à un éventuel collecteur d'informations d'identification. Et pour les acteurs malveillants qui placent leurs liens hostiles derrière des redirections ou des verrouillages géographiques, nos robots d'indexation profitent du réseau Cloudflare pour contourner les obstacles qui se trouvent sur notre chemin.

Nos systèmes de détection sont tout aussi rigoureux dans la gestion des pièces jointes. Par exemple, nos systèmes savent que certains éléments d'une pièce jointe sont faciles à falsifier mais que ce n'est pas le cas pour tous. C'est pourquoi nos systèmes décomposent les pièces jointes jusqu'à leurs composants primitifs et vérifient qu'ils ne présentent rien d'anormal. Nous pouvons ainsi analyser les fichiers malveillants avec plus de précision que les sandbox traditionnelles que les acteurs malveillants peuvent contourner.

Les acteurs malveillants peuvent utiliser des LLM pour créer un message plus convaincant qui incite les utilisateurs à effectuer certaines actions, mais nos capacités d'analyse repèrent le contenu malveillant et bloquent toute interaction de l'utilisateur avec celui-ci.

Anatomie d'un e-mail

Les e-mails contiennent des informations au-delà du corps et de l'objet du message. Lorsque nous élaborons des techniques de détection, nous envisageons toujours les e-mails avec des propriétés qui peuvent évoluer et d'autres qui sont immuables. Les premières sont les propriétés telles que le texte du corps, facile à falsifier, ou encore l'adresse IP de l'expéditeur, plus difficile à falsifier. Les propriétés immuables sont celles telles que l'âge de l'expéditeur et la similarité du domaine avec des marques connues qui ne peuvent en aucun cas être modifiées. Par exemple, voici un exemple de message que nous avons reçu.

Exemple de contenu d'e-mail

Le message ci-dessus correspond à ce que l'utilisateur voit, mais cela ne représente qu'une petite partie de ce qu'est véritablement le contenu de l'e-mail. L'illustration ci-dessous présente un fragment des en-têtes du message. Ces informations ne sont généralement pas utiles pour le destinataire (et la plupart ne sont par défaut pas affiché)  mais ils contiennent un véritable trésor d'informations pour nous en tant que chargés de la défense contre les attaques. Par exemple, nos techniques de détection peuvent voir toutes les vérifications préliminaires pour les éléments DMARC, SPF et DKIM. Ces derniers nous indiquent si l'envoi de cet e-mail a été autorisé au nom de l'expéditeur prétendu et s'il a été modifié avant d'atteindre votre boîte de réception. Nos modèles peuvent également voir l'adresse IP de l'expéditeur et l'utilisent pour en vérifier la réputation. Nous pouvons également voir d'où l'e-mail a été envoyé et vérifier la correspondance avec la marque mentionnée dans le message.

Exemple d'en-têtes d'e-mail

Comme vous pouvez le voir, le corps et l'objet d'un message ne représentent qu'une petite partie de ce qui fait d'un message un e-mail. Lorsqu'ils analysent les e-mails, nos modèles effectuent un examen global en observant chaque aspect d'un message afin d'en évaluer la sécurité. Certains de nos modèles se concentrent sur le corps du message, à la recherche d'indicateurs tels que les sentiments, mais l'évaluation finale du risque lié au message s'effectue en concertation avec des modèles qui scrutent chaque aspect du message. Toutes ces informations sont transmises aux spécialistes de la sécurité qui utilisent nos produits.

Modèles de sécurité des e-mails de Cloudflare

Notre philosophie consistant à utiliser de multiples modèles entraînés sur différentes propriétés des messages est couronnée par ce que nous appelons notre moteur SPARSE. Dans le Rapport Forrester Wave™ 2023 consacré à la sécurité du courrier électronique professionnel, les analystes ont mentionné notre capacité à détecter les e-mails de phishing à l'aide de notre moteur SPARSE. « Cloudflare adopte une méthode d'indexation préemptive pour découvrir l'infrastructure d'une campagne de phishing telle qu'elle est construite. Son moteur SPARSE (Small Pattern Analytics Engine) associe de multiples modèles d'apprentissage automatique, dont la modélisation du langage naturel, l'analyse des sentiments et de la structure, et des graphiques de confiance » peut-on y lire. 1

Notre moteur SPARSE est constamment mis à jour à partir des messages que nous observons. Grâce à la capacité que nous avons d'analyser des milliards de messages en une année, nous sommes en mesure de détecter les tendances de manière précoce et de les intégrer dans nos modèles afin d'en améliorer l'efficacité. Voici un exemple récent, en 2023, nous avons remarqué en fin d'année une augmentation des attaques par code QR. Les acteurs malveillants déployaient différentes techniques pour dissimuler le code QR de telle sorte que les scanners à reconnaissance optique des caractères (OCR) ne parvenaient pas à numériser l'image mais les appareils photo des téléphones portables conduisaient directement l'utilisateur vers le lien malveillant. Ces techniques consistaient notamment à rendre l'image incroyablement petite de sorte qu'elle n'était pas claire pour les scanners ou à modifier les images en fonction des pixels. Toutefois, en injectant ces messages dans nos modèles, nous avons entraîné ces derniers à examiner toutes les qualités des e-mails envoyés dans le cadre de ces campagnes. Grâce à cette combinaison de données, nous avons pu créer des détections capables de repérer ces campagnes avant qu'elles n'atteignent les boîtes de réception des clients.

Grâce à ces analyses préventives, nous sommes plus résistants aux différentes évolutions du comportement des auteurs de menaces. Si l'utilisation des LLM est un outil que les attaquants adoptent plus fréquemment aujourd'hui, il y en aura d'autres à l'avenir, et nous serons en mesure de défendre nos clients contre ces menaces également.

L'avenir du phishing par e-mail

La sécurisation des boîtes de réception d'e-mails est une tâche ardue dans la mesure où les acteurs malveillants ne manquent pas de créativité dans leurs tentatives de phishing auprès des utilisateurs. Ce domaine ne cessera d'évoluer et continuera de se transformer radicalement à mesure que de nouvelles technologies deviendront accessibles au public. Les tendances telles que le recours à l'IA générative continueront d'évoluer, mais notre méthodologie et notre démarche consistant à élaborer des détections d'e-mails assureront la protection de nos clients.

Si vous êtes intéressé par le fonctionnement de la solution Cloud Email Security de Cloudflare dans la protection de votre organisation contre les menaces de phishing, veuillez vous adresser à votre contact Cloudflare et organiser une Évaluation gratuite des risques de phishing. Pour les clients utilisateurs de Microsoft 365, vous pouvez également exécuter l'analyse rétroactive que nous proposons en complément pour voir les e-mails de phishing à côté desquels votre solution actuelle est passée. Vous trouverez davantage d'informations à ce sujet dans notre récent article de blog.

Vous voulez en savoir plus à propos de notre solution ? Inscrivez-vous à notre évaluation gratuite des risques de phishing.


[1] Source: The Forrester Wave™: Enterprise Email Security, Q2, 2023

The Forrester Wave™ est la propriété intellectuelle de Forrester Research, Inc. Forrester et Forrester Wave sont des marques commerciales de Forrester Research, Inc. The Forrester Wave représente graphiquement le point de vue de Forrester sur un marché donné, en s'appuyant sur une feuille de calcul détaillée mettant en évidence des scores, des réflexions pondérées et des commentaires. Forrester n'apporte son soutien à aucun des fournisseurs, produits ou services présentés dans The Forrester Wave. Les informations reposent sur les meilleures ressources disponibles. Les avis constituent le reflet de l'évaluation prononcée au moment de l'analyse et sont susceptibles d'évoluer.

Nous protégeons des réseaux d'entreprise entiers, aidons nos clients à développer efficacement des applications à l'échelle d'Internet, accélérons tous les sites web ou applications Internet, repoussons les attaques DDoS, tenons les pirates informatiques à distance et pouvons vous accompagner dans votre parcours d'adoption de l'architecture Zero Trust.

Accédez à 1.1.1.1 depuis n'importe quel appareil pour commencer à utiliser notre application gratuite, qui rend votre navigation Internet plus rapide et plus sûre.

Pour en apprendre davantage sur notre mission, à savoir contribuer à bâtir un Internet meilleur, cliquez ici. Si vous cherchez de nouvelles perspectives professionnelles, consultez nos postes vacants.
Security WeekAIAPI SecurityDeveloper Platform

Suivre sur X

Cloudflare|@cloudflare

Publications associées

09 octobre 2024 à 13:00

Improving platform resilience at Cloudflare through automation

We realized that we need a way to automatically heal our platform from an operations perspective, and designed and built a workflow orchestration platform to provide these self-healing capabilities across our global network. We explore how this has helped us to reduce the impact on our customers due to operational issues, and the rich variety of similar problems it has empowered us to solve....

27 septembre 2024 à 13:00

Our container platform is in production. It has GPUs. Here’s an early look

We’ve been working on something new — a platform for running containers across Cloudflare’s network. We already use it in production, for AI inference and more. Today we want to share an early look at how it’s built, why we built it, and how we use it ourselves. ...