Die Angst vor generativer KI nehmen: Wie Cloudflare den Posteingang vor KI-gestütztem Phishing schützt

E-Mail ist nach wie vor der größte Angriffsvektor, mit dem Angreifer versuchen, Unternehmen zu kompromittieren oder zu erpressen. Angesichts der Häufigkeit, mit der E-Mails für die geschäftliche Kommunikation genutzt werden, sind Phishing-Angriffe nach wie vor allgegenwärtig. So wie sich die Werkzeuge, die den Angreifern zur Verfügung stehen, weiterentwickelt haben, so haben sich auch die Methoden verändert, mit denen die Angreifer Nutzende ins Visier nehmen und dabei die Sicherheitsvorkehrungen umgehen. Die Veröffentlichung mehrerer auf Künstlicher Intelligenz (KI) basierender Large Language Models (LLMs) hat zu einem regelrechten Wettlauf um die Entdeckung neuartiger Einsatzmöglichkeiten generativer KI-Fähigkeiten geführt und die Aufmerksamkeit von Sicherheitsexperten auf sich gezogen. Ein Beispiel für den Einsatz dieser Fähigkeit ist das Erstellen von Inhalten für Phishing-Angriffe.

Phishing beruht darauf, dass der Angreifer authentisch erscheint. Im Laufe der Jahre haben wir festgestellt, dass es zwei verschiedene Formen der Authentizität gibt: visuelle und organisatorische Authentizität. Visuell authentische Angriffe verwenden Logos, Bilder und ähnliches, um Vertrauen zu schaffen, während organisatorisch authentische Kampagnen die geschäftliche Dynamik und soziale Beziehungen nutzen, um ihr Ziel zu erreichen. LLMs können von Angreifern eingesetzt werden, um ihre E-Mails auf verschiedene Weise authentischer erscheinen zu lassen. Eine gängige Technik besteht darin, dass Angreifer LLMs verwenden, um von ihnen geschriebene E-Mails zu übersetzen bzw. zu überarbeiten und in Nachrichten umzuwandeln, die auf den ersten Blick überzeugender wirken. Raffiniertere Angriffe kombinieren LLMs mit persönlichen Daten, die von kompromittierten Konten gewonnen wurden, um personalisierte, für das Unternehmen authentisch wirkende Nachrichten zu schreiben.

WormGPT ist beispielsweise in der Lage, eine schlecht geschriebene E-Mail so umzugestalten, dass sie in Bezug auf Grammatik, Textfluss und Ausdrucksweise besser ist. Das Ergebnis ist eine flüssige, gut geschriebene Nachricht, die leichter als authentisch betrachtet werden kann. Bedrohungsakteure in Diskussionsforen werden ermutigt, grobe Entwürfe in ihrer Muttersprache zu erstellen und das LLM seine Arbeit machen zu lassen.

Eine Form des Phishing-Angriffs, die von LLMs profitiert und verheerende finanzielle Auswirkungen haben kann, sind Angriffe zur Kompromittierung von geschäftlichen E-Mail-Konten (BEC-Angriffe). Bei diesen Angriffen versuchen böswillige Akteure, ihre Opfer dazu zu bringen, Zahlungen für gefälschte Rechnungen zu übermitteln; LLMs können dabei helfen, diese Nachrichten authentischer aussehen zu lassen. Und obwohl BEC-Angriffe für Unternehmen, die den unerlaubten Abfluss von Geldern aus ihrem Unternehmen verhindern wollen, an erster Stelle stehen sollten, können LLMs auch für andere Arten von Phishing-Nachrichten verwendet werden.

Diese mit LLMs erstellten Nachrichten setzen jedoch immer noch voraus, dass der Nutzende eine Aktion ausführt, wie z. B. das Lesen einer gefälschten Rechnung oder die Interaktion mit einem Link, der nicht so leicht gefälscht werden kann. Und jede mit einem LLM geschriebene E-Mail ist immer noch eine E-Mail, die eine Reihe von anderen Signalen wie die Reputation des Absenders, Korrespondenzmuster und Metadaten enthält, die mit jeder Nachricht gebündelt werden. Mit der richtigen Abwehrstrategie und den passenden Tools können LLM-gestützte Angriffe zuverlässig abgewehrt werden.

Obwohl die Popularität von ChatGPT LLMs in den Fokus der Öffentlichkeit gerückt hat, ist diese Art von Modellen nicht neu. Cloudflare trainiert seine Modelle seit Jahren für die Abwehr von LLM-gestützten Angriffen. Die Fähigkeit unserer Modelle, alle Komponenten einer E-Mail zu untersuchen, stellt sicher, dass Cloudflare-Kunden bereits geschützt sind und dies auch in Zukunft sein werden – denn die Machine-Learning-Systeme, die unsere Teams für die Bedrohungsforschung durch die Analyse von Milliarden von Nachrichten entwickelt haben, lassen sich nicht durch schön formulierte E-Mails täuschen.

Die risikoreichsten KI-generierten Angriffe sind personalisiert und basieren auf Daten, die vor dem Angriff gewonnen wurden. Bedrohungsakteure sammeln diese Informationen während herkömmlicher Kontokompromittierungen bei ihren Opfern und durchlaufen diesen Prozess immer wieder. Sobald sie genügend Informationen haben, um ihren Angriff durchzuführen, fahren sie fort. Dabei gehen sie sehr gezielt und individuell vor. Der Vorteil der KI liegt in der Skalierbarkeit der Vorgänge. Allerdings ist eine massenhafte Datenerfassung erforderlich, um Nachrichten zu erstellen, die genau wiedergeben, wer der Angreifer vorgibt zu sein.

KI-generierte Angriffe können zwar Vorteile in Bezug auf Personalisierung und Skalierbarkeit bieten, aber ihre Effektivität hängt davon ab, ob die Angreifer ausreichend Datenproben haben, um authentische Nachrichten erstellen zu können. Herkömmliche Bedrohungsakteure können auch Social-Engineering-Taktiken einsetzen, um ähnliche Ergebnisse zu erzielen, wenn auch ohne die Effizienz und Skalierbarkeit von KI. Wie wir im nächsten Abschnitt erläutern werden, gelten die grundlegenden Einschränkungen in Bezug auf Chancen und Timing nach wie vor für alle Angreifer – unabhängig von der verwendeten Technologie.

Um sich gegen solche Angriffe zu schützen, müssen Unternehmen einen mehrschichtigen Ansatz für die Cybersicherheit verfolgen. Dazu gehören die Sensibilisierung der Mitarbeitenden, der Einsatz fortschrittlicher Systeme zur Bedrohungserkennung, die KI und traditionelle Techniken nutzen, und die ständige Aktualisierung der Sicherheitspraktiken zum Schutz vor KI- und traditionellen Phishing-Angriffen.

Bedrohungsakteure können KI nutzen, um Angriffe zu generieren, aber das hat seine Tücken. Der Engpass bei der Anzahl der Angriffe, die sie erfolgreich durchführen können, ist direkt proportional zur Anzahl der Möglichkeiten, die ihnen zur Verfügung stehen, und zu den Daten, die sie zur Erstellung überzeugender Botschaften nutzen können. Sie benötigen Zugang und die Gelegenheit – ist beides nicht vorhanden, werden die Angriffe wahrscheinlich nicht erfolgreich sein.

BEC-Angriffe stehen bei Unternehmen ganz oben auf der Agenda, da sie es Angreifern ermöglichen können, dem Opfer eine beträchtliche Summe Geld zu stehlen. Da BEC-Angriffe in erster Linie auf Text basieren, mag es so scheinen, als ob LLMs zu einer exponentiellen Vervielfachung solcher Angriffe führen könnten. Die Realität sieht jedoch ganz anders aus. Was dieser Vermutung entgegensteht ist ein Mangel an Gelegenheiten. Wir definieren eine Gelegenheit als ein Zeitfenster, in dem sich Ereignisse so aneinanderreihen, dass eine ausnutzbare Situation entsteht und diese Situation ausgenutzt werden kann – zum Beispiel könnte ein Angreifer Daten aus einem Sicherheitsverstoß nutzen, um eine Gelegenheit im Zahlungsplan eines Unternehmens zu erkennen. Ein Bedrohungsakteur kann ein Motiv, Mittel und Ressourcen haben, um einen authentisch aussehenden BEC-Angriff durchzuführen, aber ohne die passende Gelegenheit werden seine Angriffe scheitern. Wir haben zwar schon Fälle beobachtet, in denen Bedrohungsakteure versucht haben, einen volumetrischen Angriff durchzuführen, indem sie die Ziele im Wesentlichen willkürlich kontaktiert haben, aber solche Angriffe sind in der überwiegenden Mehrheit der Fälle erfolglos. Dies entspricht der Prämisse von BECs, da bei diesen Angriffen eine gewisse Social Engineering-Komponente im Spiel ist.

Als Analogie dazu würde eine vernünftige, rational denkende Person nicht zahlen, wenn jemand an der Eingangstür Ihres Unternehmens auftaucht und ohne jeglichen Kontext 20.000 EUR von Ihnen verlangt. Ein erfolgreicher BEC-Angriff müsste diesen Schritt der Validierung und Verifizierung umgehen, wobei LLMs hierfür kaum Unterstützung bieten können. LLMs können zwar einen Text erstellen, der überzeugend authentisch wirkt, aber sie können keine Geschäftsbeziehung zu einem Unternehmen aufbauen oder eine Rechnung anfertigen, die in Aussehen und Stil authentisch ist und den gängigen Rechnungen entspricht. Die größten BEC-Zahlungen sind nicht nur auf die Kompromittierung von Konten zurückzuführen, sondern auch auf die Kompromittierung von Rechnungen, die der Angreifer benötigt, um seinen Opfern überzeugende, gefälschte Rechnungen ausstellen zu können.

Wir bei Cloudflare sind in der einzigartigen Lage, diese Analyse zu liefern, da unsere E-Mail-Sicherheitsprodukte jeden Monat Hunderte von Millionen von Nachrichten prüfen. Bei der Analyse dieser Angriffe haben wir festgestellt, dass es neben Text auch andere Trends gibt, die einen BEC-Angriff ausmachen. Unsere Daten deuten darauf hin, dass die überwiegende Mehrheit der BEC-Angriffe kompromittierte Konten verwendet. Angreifer, die Zugriff auf ein kompromittiertes Konto haben, können Daten sammeln, um authentischere Nachrichten zu erstellen, die die meisten Sicherheitsprüfungen umgehen können, da sie von einer gültigen E-Mail-Adresse stammen. Im letzten Jahr wurden bei 80 % der BEC-Angriffe, bei denen es um 10.000 Dollar oder mehr ging, Konten kompromittiert. Davon haben 75 % „Thread-Hijacking“ (das Gespräch übernahmen) betrieben und den Gesprächsverlauf auf neu registrierte Domains umgeleitet. Dies steht im Einklang mit der Beobachtung, dass die überwiegende Mehrheit der „erfolgreichen“ Angriffe, d. h. Angriffe, bei denen der Bedrohungsakteur sein Angriffsziel erfolgreich kompromittiert hat, über eine ähnliche Domain („Lookalike-Domain“) erfolgt. Diese betrügerische Domain ist fast immer erst kürzlich registriert worden. Wir konnten auch feststellen, dass 55 % dieser Nachrichten, die eine Zahlung von mehr als 10.000 USD betrafen, versuchten, die ACH-Zahlungsdetails (ACH ist das US-amerikanische Zahlungsnetzwerk für elektronische Zahlungsvorgänge) zu ändern.

Unten sehen Sie ein Beispiel dafür, wie sich dies bei einem BEC-Angriff anhäufen kann.

Der Text in der Nachricht enthält keine grammatikalischen Fehler und ist leicht lesbar. Dennoch löste der Text unsere Sentiment-Modelle aus, die feststellten, dass der Text ein Gefühl der Dringlichkeit in Kombination mit einer Rechnung enthielt – ein übliches Muster, das von Angreifern verwendet wird. Es gibt jedoch noch viele andere Aspekte in dieser Nachricht, die verschiedene Modelle ausgelöst haben. Der Angreifer gibt zum Beispiel vor, von PricewaterhouseCoopers zu sein, aber die Domain, von der diese E-Mail gesendet wurde, stimmt nicht überein. Wir haben außerdem festgestellt, dass die Domain des Absenders erst kürzlich registriert wurde, was uns darauf hinweist, dass diese Nachricht möglicherweise nicht legitim ist. Schließlich erzeugt eines unserer Modelle einen Social Graph, der für jeden Kunden auf der Grundlage seines Kommunikationsverhaltens einzigartig ist. Dieser Graph gibt Auskunft darüber, mit wem jeder Nutzende kommuniziert und worüber. Dieses Modell wies darauf hin, dass diese Nachricht angesichts der gerade erst gestarteten Korrespondenz nicht dem üblichen Geschäftsverlauf entsprach. Alle oben genannten Signale sowie die Ergebnisse unserer Sentiment-Modelle haben unsere Analyse-Engine zu dem Schluss gebracht, dass es sich um eine bösartige Nachricht handelt und dass der Empfänger dieser Nachricht nicht mit ihr interagieren sollte.

Generative KI wird ständig weiterentwickelt und verbessert, sodass es in diesem Bereich noch viel zu entdecken gibt. Während das Aufkommen von KI-generierten BEC-Angriffen letztlich zu einem Anstieg der Zahl der Angriffe führen könnte, erwarten wir nicht, dass die Erfolgsquote bei Unternehmen mit robusten Sicherheitslösungen und -prozessen steigen wird.

Im August letzten Jahres haben wir unseren Bericht zu Phishing-Bedrohungen 2023 veröffentlicht. In diesem Jahr verarbeitete Cloudflare etwa 13 Milliarden E-Mails, wobei etwa 250 Millionen bösartige Nachrichten daran gehindert wurden, die Posteingänge der Kunden zu erreichen. Obwohl es das Jahr von ChatGPT war, ergab unsere Analyse, dass sich die Angriffe immer noch um altbekannte Vektoren wie bösartige Links drehten.

Die meisten Angreifer versuchten immer noch, Nutzende dazu zu bringen, entweder auf einen Link zu klicken oder eine bösartige Datei herunterzuladen. Und wie bereits erwähnt, kann generative KI zwar dabei helfen, eine lesbare und überzeugende Nachricht zu erstellen, aber sie kann Angreifern nicht dabei helfen, diese Aspekte ihres Angriffs zu verschleiern.

Die E-Mail-Sicherheitsmodelle von Cloudflare verfolgen einen ausgeklügelten Ansatz, um jeden Link und jeden Anhang zu untersuchen, auf den sie stoßen. Links werden gecrawlt und auf der Grundlage von Informationen über die Domain selbst sowie über On-Page-Elemente und Branding untersucht. Unsere Crawler suchen auch nach Eingabefeldern, um festzustellen, ob der Link ein potenzieller „Credential Harvester“ ist. Und für Angreifer, die ihre zur Waffe umfunktionierten Links hinter Umleitungen oder geografischen Sperren verstecken, können unsere Crawler das Cloudflare-Netzwerk nutzen, um alle Hindernisse zu umgehen, die uns in den Weg gelegt werden.

Unsere Erkennungssysteme sind beim Umgang mit Anhängen ähnlich rigoros. Unsere Systeme wissen zum Beispiel, dass einige Teile eines Anhangs leicht gefälscht werden können, andere dagegen nicht. Daher zerlegen unsere Systeme Anhänge in ihre elementaren Bestandteile und überprüfen diese auf Anomalien. Dadurch können wir genauer nach bösartigen Dateien suchen als herkömmliche Sandboxes, die von Angreifern umgangen werden können.

Angreifer können LLMs verwenden, um eine überzeugendere Nachricht zu verfassen, um Nutzende zu bestimmten Aktionen zu bewegen, aber unsere Scan-Fähigkeiten fangen bösartige Inhalte ab und verhindern, dass der Nutzende mit ihnen interagiert.

E-Mails enthalten Informationen, die über den Text und den Betreff der Nachricht hinausgehen. Bei der Erstellung von Erkennungsmechanismen stellen wir uns gerne vor, dass E-Mails sowohl veränderbare als auch unveränderliche Eigenschaften haben. Veränderbare Eigenschaften wie der Text des Absenders können leicht gefälscht werden, während andere veränderbare Eigenschaften wie die IP-Adresse des Absenders mehr Aufwand erfordern, um sie zu fälschen. Es gibt jedoch unveränderliche Eigenschaften wie das Domain-Alter des Absenders und die Ähnlichkeit der Domain mit bekannten Marken, die überhaupt nicht verändert werden können. Schauen wir uns zum Beispiel eine Nachricht an, die ich erhalten habe.

Beispiel für den Inhalt einer E-Mail

Die obige Nachricht ist zwar das, was der Nutzende sieht, aber sie ist nur ein kleiner Teil des umfassenderen Inhalts der E-Mail. Unten sehen Sie einen Auszug aus den Headern der Nachricht. Diese Informationen sind für den Empfänger in der Regel nutzlos (und das meiste davon wird standardmäßig nicht angezeigt), aber für uns als Verteidiger enthalten sie eine Fundgrube an Informationen. Unsere Erkennungsprogramme können zum Beispiel alle Vorprüfungen für DMARC, SPF, und DKIM sehen. Diese lassen uns wissen, ob diese E-Mail im Namen des angeblichen Absenders versendet werden durfte und ob sie verändert wurde, bevor sie unseren Posteingang erreichte. Unsere Modelle können auch die Client-IP-Adresse des Absenders sehen und diese zur Überprüfung seiner Reputation verwenden. Wir können auch sehen, von welcher Domain die E-Mail gesendet wurde und prüfen, ob sie mit dem in der Nachricht enthaltenen Branding übereinstimmt.

Beispiel für E-Mail-Header

Wie Sie sehen können, sind der Text und der Betreff einer Nachricht nur ein kleiner Teil dessen, was eine E-Mail zu einer E-Mail macht. Bei der Analyse von E-Mails betrachten unsere Modelle alle Aspekte einer Nachricht, um ihre Sicherheit zu bewerten. Einige unserer Modelle konzentrieren sich bei ihrer Analyse auf den Text der Nachricht, um Indikatoren wie das Sentiment zu ermitteln. Die endgültige Bewertung des Risikos der Nachricht erfolgt jedoch in Kombination mit Modellen, die jeden Aspekt der E-Mail bewerten. All diese Informationen werden an die Sicherheitsexperten weitergegeben, die unsere Produkte verwenden.

Unsere Philosophie der Verwendung mehrerer Modelle, die auf unterschiedliche Eigenschaften von Nachrichten trainiert sind, findet ihren Höhepunkt in dem, was wir unsere SPARSE-Engine nennen. Im Bericht „Forrester Wave™ für Enterprise E-Mail-Sicherheit 2023“ erwähnen die Analysten unsere Fähigkeit, Phishing-E-Mails mit unserer SPARSE-Engine abzufangen: „Cloudflare nutzt seinen präemptiven Crawling-Ansatz, um die Infrastruktur von Phishing-Kampagnen zu entdecken, während sie aufgebaut wird. Seine Small Pattern Analytics Engine (SPARSE) kombiniert mehrere Machine Learning-Modelle, darunter die Modellierung natürlicher Sprache, Sentiment- und Strukturanalyse sowie Vertrauensgraphen“. 1

Unsere SPARSE-Engine wird anhand der von uns erfassten Nachrichten ständig aktualisiert. Da wir Milliarden von Nachrichten pro Jahr analysieren können, sind wir in der Lage, Trends früher zu erkennen und diese in unsere Modelle einzuspeisen, um deren Wirksamkeit zu verbessern. Ein aktuelles Beispiel dafür ist, dass wir Ende 2023 einen Anstieg der QR-Code-Angriffe festgestellt haben. Die Angreifer setzten verschiedene Techniken ein, um den QR-Code zu verschleiern, sodass OCR-Scanner das Bild nicht scannen konnten, aber Handykameras den Nutzenden zu dem bösartigen Link führen würden. Zu diesen Techniken gehörten das Verkleinern des Bildes, sodass es für Scanner unleserlich wurde, oder das Verschieben von Pixeln. Durch die Eingabe dieser Nachrichten in unsere Modelle wurden diese jedoch darauf trainiert, alle Eigenschaften der von diesen Kampagnen versendeten E-Mails zu berücksichtigen. Mit dieser Kombination von Daten waren wir in der Lage, diese Kampagnen zu erkennen, bevor sie in den Postfächern der Kunden landeten.

Unser Ansatz des präventiven Scannens widersetzt sich den Schwankungen im Verhalten der Bedrohungsakteure. Auch wenn Angreifer heute häufiger LLMs einsetzen, wird es in Zukunft weitere geben, und wir werden in der Lage sein, unsere Kunden auch vor diesen Bedrohungen zu schützen.

Der Schutz von E-Mail-Postfächern ist angesichts der kreativen Methoden, mit denen Angreifer versuchen, Nutzende zu täuschen, sehr schwierig. Dieser Bereich entwickelt sich ständig weiter und wird sich weiterhin dramatisch verändern, wenn neue Technologien für die Öffentlichkeit zugänglich werden. Trends wie der Einsatz von generativer KI werden sich weiter verändern, aber unsere Methodik und unser Ansatz bei der Entwicklung von E-Mail-Erkennungen sorgen dafür, dass unsere Kunden geschützt sind.

Wenn Sie daran interessiert sind, wie die Cloud Email Security von Cloudflare Ihr Unternehmen vor Phishing-Bedrohungen schützen kann, wenden Sie sich bitte an Ihren Cloudflare-Kontakt und vereinbaren Sie eine kostenlose Analyse des Phishing-Risikos. Microsoft 365-Kunden können auch unseren ergänzenden Retro-Scan durchführen, um zu sehen, welche Phishing-E-Mails Ihre aktuelle Lösung übersehen hat. Weitere Informationen dazu finden Sie in unserem aktuellen Blog-Beitrag.

Möchten Sie mehr über unsere Lösung erfahren? Dann melden Sie sich jetzt für eine kostenlose Analyse des Phishing-Risikos an.

[1] Source: The Forrester Wave™: Enterprise Email Security, Q2, 2023

The Forrester Wave™ is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave are trademarks of Forrester Research, Inc. The Forrester Wave is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor, product, or service depicted in the Forrester Wave. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change.