Suscríbete para recibir notificaciones de nuevas publicaciones:

Disipamos el miedo a la IA generativa: cómo Cloudflare protege las bandejas de entrada contra el phishing creado con IA

2024-03-04

9 min de lectura
Esta publicación también está disponible en English, 繁體中文, Français, Deutsch, 日本語, 한국어 y 简体中文.

El correo electrónico sigue siendo el vector de ataque más utilizado por los ciberdelincuentes para intentar vulnerar o extorsionar a las organizaciones. La frecuencia con la que se utiliza este método de comunicación empresarial hace que los ataques de phishing sigan muy presentes. A medida que han ido evolucionando las herramientas al alcance de los atacantes, también lo han hecho las formas en que estos se han dirigido a los usuarios eludiendo los sistemas de protección de seguridad. El lanzamiento de varios modelos de lenguaje de gran tamaño (LLM) creados con inteligencia artificial (IA) ha iniciado una carrera desenfrenada por descubrir aplicaciones novedosas basadas en las capacidades de la IA generativa, al tiempo que ha acaparado la atención de los investigadores de seguridad. Una aplicación de esta capacidad es la creación de contenido de ataques de phishing.

Dispelling the Generative AI fear: how Cloudflare secures inboxes against AI-enhanced phishing

El éxito del phishing depende de que el atacante parezca un usuario auténtico. A lo largo de los años, hemos observado dos formas diferenciadas de autenticidad: autenticidad visual y autenticidad organizacional. Los ataques visualmente auténticos utilizan logotipos, imágenes y elementos similares para generar confianza. En cambio, las campañas organizacionalmente auténticas utilizan la dinámica empresarial y las relaciones sociales para lograr el éxito. Los atacantes pueden usar los LLM para que sus correos electrónicos parezcan más auténticos de distintas formas. Una técnica habitual es que los atacantes utilicen los LLM para traducir y revisar los correos electrónicos que han escrito en mensajes más convincentes superficialmente. Los ataques más sofisticados combinan los LLM con datos personales obtenidos de cuentas vulneradas para escribir mensajes personalizados y auténticos de cara a la organización.

Por ejemplo, WormGPT puede recrear un correo electrónico mal redactado para mejorar la gramática, la fluidez y la voz. El resultado es un mensaje fluido y bien escrito que puede pasar más fácilmente por auténtico. Se incentiva a los ciberdelincuentes en foros de discusión a crear borradores en su lengua materna y dejar que el LLM haga su trabajo.

Entre las formas de ataque de phishing que se benefician de los LLM, y que pueden tener un impacto financiero devastador, encontramos los ataques al correo electrónico corporativo (BEC). Durante estos ataques, los ciberdelincuentes intentan engañar a sus víctimas para que envíen el pago de facturas fraudulentas. Los LLM pueden ayudar a que estos mensajes parezcan más auténticos desde el punto de vista de la organización. Si bien los ataques BEC son la máxima prioridad para las organizaciones que desean detener las transacciones no autorizadas de fondos, los LLM también se pueden utilizar para elaborar otros tipos de mensajes de phishing.

Sin embargo, estos mensajes elaborados con LLM siguen dependiendo de que el usuario realice una acción, como leer una factura fraudulenta o interactuar con un enlace, que no puede falsificarse tan fácilmente. Cada correo electrónico redactado con LLM sigue siendo un correo electrónico, que contiene una serie de señales como la reputación del remitente, patrones de correspondencia y metadatos agrupados con cada mensaje. Con la estrategia y las herramientas de mitigación adecuadas, los ataques creados con los LLM pueden detenerse de forma fiable.

Si bien la popularidad de ChatGPT ha puesto a los LLM en el punto de mira recientemente, este tipo de modelos no es nuevo. Cloudflare lleva años entrenando sus modelos para defenderse de los ataques creados con los LLM. La capacidad de nuestros modelos para examinar todos los componentes de un correo electrónico garantiza la protección presente y futura de los clientes de Cloudflare, porque los sistemas de aprendizaje automático que nuestros equipos de investigación de amenazas han desarrollado analizando miles de millones de mensajes no se dejan engañar por correos electrónicos bien redactados.

Inconvenientes y amenazas de la IA generativa

Los ataques generados por IA más peligrosos se personalizan en función de los datos recopilados antes del ataque. Los ciberdelincuentes recopilan esta información durante el hackeo tradicional de cuentas e iteran a través de este proceso. Una vez que tienen suficiente información para llevar a cabo su ataque, proceden. Es muy selectivo y específico. La ventaja de la IA es la escala de las operaciones. Sin embargo, es necesario recopilar datos de forma masiva para crear mensajes que suplanten con precisión a la víctima que el atacante está fingiendo ser.

Aunque los ataques generados por IA pueden tener ventajas en cuanto a personalización y escalabilidad, su eficacia depende de su capacidad para disponer de muestras suficientes que garanticen la autenticidad. Los atacantes tradicionales también pueden emplear tácticas de ingeniería social para lograr resultados similares, aunque sin la eficacia y la escalabilidad de la IA. Sigue habiendo limitaciones relacionadas principalmente con la capacidad para identificar la oportunidad y el momento propicio para lanzar el ataque, como comentaremos en la siguiente sección, independientemente de la tecnología utilizada.

Para defenderse de estos ataques, las organizaciones deben adoptar un enfoque multicapa de la ciberseguridad, que incluye la formación para la concienciación de los empleados, el uso de sistemas avanzados de detección de amenazas que utilicen IA y técnicas tradicionales, y la actualización constante de las prácticas de seguridad para protegerse tanto de la IA como de los ataques de phishing tradicionales.

Los ciberdelincuentes pueden utilizar la IA para generar ataques, pero tienen sus inconvenientes. El cuello de botella en el número de ataques que pueden realizar con éxito es directamente proporcional al número de oportunidades que tienen a su disposición, y a los datos de que disponen para elaborar mensajes convincentes. Necesitan el acceso y la oportunidad, y sin ambos los ataques no tienen muchas probabilidades de éxito.

Ataques BEC y LLM

Los ataques BEC son prioritarios para las organizaciones porque pueden permitir a los atacantes robar una cantidad significativa de fondos del objetivo. Dado que los ataques BEC se basan principalmente en texto, puede parecer que los LLM están dejando el camino totalmente libre a los atacantes. Sin embargo, la realidad es muy distinta. El principal obstáculo que limita esta propuesta es la oportunidad. Definimos la oportunidad como una ventana en el tiempo en la que los acontecimientos se alinean para permitir que una condición que puede ser vulnerada, se vulnere. Por ejemplo, un atacante podría utilizar los datos de una fuga para identificar una oportunidad en el plan de pagos a proveedores de una empresa. Un atacante puede tener los motivos, los medios y los recursos para llevar a cabo un ataque BEC que parezca auténtico, pero sin la oportunidad, fracasaría. Aunque hemos observado que los ciberdelincuentes intentan lanzar ataques volumétricos esencialmente de manera espontánea, estos ataques no son satisfactorios la gran mayoría de las veces. Ello coincide con la premisa de los ataques BEC, ya que en estos ataques entra en juego algún componente de ingeniería social.

Como analogía, si alguien entrara en tu negocio y te exigiera el pago de 20 000 dólares sin ningún contexto, una persona en sus cabales no pagaría. Un ataque BEC fructífero necesitaría saltarse este paso de validación y verificación, en el que los LLM pueden ofrecer poca ayuda. Aunque los LLM pueden generar texto que parezca convincentemente auténtico, no pueden establecer una relación comercial con una empresa ni emitir una factura que sea auténtica en apariencia y estilo, igual a las que se utilizan. Los pagos de mayor cuantía realizados en un ataque BEC son producto no solo de la vulnerabilidad de cuentas, sino también de facturas, estas últimas necesarias para que el atacante pueda proporcionar facturas convincentes y fraudulentas a las víctimas.

En Cloudflare, estamos en una situación única para proporcionar este análisis, ya que nuestros productos de seguridad del correo electrónico examinan cientos de millones de mensajes cada mes. Los análisis de estos ataques nos han permitido descubrir otras tendencias, además del texto, que constituyen un ataque BEC, y nuestros datos sugieren que la gran mayoría de los ataques BEC utilizan cuentas vulneradas. Los atacantes con acceso a una cuenta vulnerada pueden recopilar datos para elaborar mensajes más auténticos que pueden eludir la mayoría de los controles de seguridad porque proceden de una dirección de correo electrónico válida. En el último año, el 80 % de los ataques BEC de 10 000 dólares o más usaron cuentas vulneradas. De ellos, el 75 % supuso la apropiación de hilos y la redirección a dominios recién registrados. Estos resultados coinciden con las observaciones de que la gran mayoría de los ataques "fructíferos", es decir, aquellos en los que el atacante vulneró con éxito su objetivo, aprovecha un dominio de aspecto parecido al dominio legítimo. La mayoría de las veces, el registro de este dominio fraudulento es reciente. También observamos que el 55 % de estos mensajes que implicaron pagos de más de 10 000 dólares intentaron cambiar los detalles del pago de ACH.

A continuación podemos ver un ejemplo de cómo se pueden agrupar estas técnicas en un ataque BEC.

El texto del mensaje no contiene errores gramaticales y es fácilmente legible, pero nuestros modelos de análisis de sentimiento se activaron en el texto y detectaron que había una sensación de urgencia en combinación con una factura, un patrón habitual empleado por los atacantes. Sin embargo, hay muchas otras cosas en este mensaje que activaron modelos diferentes. Por ejemplo, el atacante finge ser de PricewaterhouseCoopers, pero hay una falta de coincidencia en el dominio desde el que se envió este correo electrónico. También observamos que el dominio remitente se ha registrado recientemente, lo que nos alerta de que este mensaje puede no ser legítimo. Por último, uno de nuestros modelos genera un gráfico social único para cada cliente, basado en sus patrones de comunicación. Este gráfico proporciona información sobre con quién se comunica cada usuario y sobre qué. Este modelo detectó que, dado el historial reciente de esta comunicación, este mensaje no era normal. Todas las señales anteriores, más los resultados de nuestros modelos de análisis de sentimiento, llevaron a nuestro motor de análisis a concluir que se trataba de un mensaje malicioso y a no permitir que el destinatario de este mensaje realizara cualquier tipo de interacción.

La IA generativa sigue cambiando y mejorando, por lo que aún queda mucho por descubrir en este campo. Aunque la llegada de los ataques BEC creados por IA puede provocar un aumento del número de ataques que se ven en el mundo real, no esperamos que su tasa de éxito aumente para las organizaciones que cuentan con soluciones y procesos de seguridad sólidos.

Tendencias de los ataques de phishing

En agosto del año pasado, publicamos nuestro Informe sobre phishing 2023. Ese año, Cloudflare procesó aproximadamente 13 000 millones de correos electrónicos, de los cuales bloqueó aproximadamente 250 millones de mensajes maliciosos para que no llegaran a las bandejas de entrada de los clientes. Aunque fue el año del ChatGPT, nuestros análisis sugieren que los ataques siguen girando en torno a vectores tradicionales, como los enlaces maliciosos.

La mayoría de los atacantes siguen intentando que los usuarios hagan clic en un enlace o descarguen un archivo peligroso. Y como ya hemos comentado, aunque la IA generativa puede ayudar a crear un mensaje legible y convincente, no puede ayudar a los atacantes a ofuscar estos aspectos de su ataque.

Los modelos de seguridad de correo electrónico de Cloudflare adoptan un enfoque sofisticado para examinar cada enlace y archivo adjunto que encuentran. Los enlaces se rastrean y examinan basándose en información sobre el propio dominio, así como en elementos de la página y la marca. Nuestros rastreadores también comprueban los campos de entrada para ver si el enlace podría robar las credenciales. En el caso de los atacantes que esconden sus enlaces peligrosos en redireccionamientos o bloqueos geográficos, nuestros rastreadores pueden aprovechar la red de Cloudflare para sortear cualquier obstáculo que se les presente.

Nuestros sistemas de detección son igualmente rigurosos en el tratamiento de los archivos adjuntos. Por ejemplo, saben que se pueden falsificar ciertas partes de un archivo adjunto, pero otras no. Así que nuestros sistemas extraen los archivos adjuntos en sus componentes primitivos y comprueban si hay anomalías en ellos. Esto nos permite buscar archivos maliciosos con más precisión que los espacios aislados tradicionales, que los atacantes pueden eludir.

Los atacantes pueden utilizar los LLM para elaborar un mensaje más convincente y conseguir que los usuarios realicen determinadas acciones, pero nuestras capacidades de análisis detectan el contenido malicioso e impiden que el usuario interactúe con el mismo.

Anatomía de un correo electrónico

Los correos electrónicos contienen información más allá del cuerpo y el asunto del mensaje. Nos gusta pensar que la creación de detecciones brinda a los correos electrónicos propiedades mutables e inmutables. Las propiedades mutables, como el cuerpo del texto, se pueden falsificar fácilmente, mientras que la falsificación de propiedades mutables, como la dirección IP del remitente, exige más esfuerzo. Sin embargo, hay propiedades inmutables como la antigüedad del dominio del remitente y la similitud del dominio con marcas conocidas que no se pueden alterar en absoluto. Por ejemplo, veamos un mensaje que he recibido.

Ejemplo de contenido de correo electrónico

Aunque el mensaje anterior es lo que ve el usuario, es una pequeña parte del contenido más amplio del correo electrónico. A continuación se muestra un fragmento de los encabezados del mensaje. Esta información suele ser inútil para un destinatario (y la mayor parte no se muestra por defecto), pero contiene un tesoro oculto de información para nosotros que brindamos protección. Por ejemplo, nuestras detecciones pueden ver todas las comprobaciones preliminares de DMARC, SPF y DKIM. Estas nos permiten saber si se autorizó el envío de este correo electrónico en nombre del supuesto remitente y si se modificó antes de llegar a nuestra bandeja de entrada. Nuestros modelos también pueden ver la dirección IP cliente del remitente y utilizarla para comprobar su reputación. También podemos ver desde qué dominio se envió el correo electrónico y comprobar si coincide con la marca incluida en el mensaje.

Ejemplo de encabezados del mensaje

Como puedes ver, el cuerpo y el asunto de un mensaje son una pequeña parte de lo que hace que un correo electrónico sea un correo electrónico. Los análisis de los correos electrónicos permiten que nuestros modelos examinen de manera integral todos los aspectos de un mensaje para hacer una evaluación de su seguridad. Algunos de nuestros modelos centran su análisis en el cuerpo del mensaje en busca de indicadores como el sentimiento, pero la evaluación final del riesgo del mensaje se realiza conjuntamente con modelos que evalúan todos los aspectos del correo electrónico. Toda esta información se pone a disposición de los profesionales de la seguridad que utilizan nuestros productos.

Modelos de seguridad del correo electrónico de Cloudflare

Nuestra filosofía de utilizar numerosos modelos entrenados en diferentes propiedades de los mensajes culmina en lo que llamamos nuestro motor SPARSE. En el informe "Forrester Wave™ for Enterprise Email Security 2023", los analistas mencionaron nuestra capacidad para detectar correos electrónicos de phishing utilizando nuestro motor SPARSE. "Cloudflare utiliza su enfoque de rastreo preventivo para identificar la infraestructura de las campañas de phishing según se va desarrollando. Su motor SPARSE (Small Pattern Analytics Engine) combina numerosos modelos de aprendizaje automático, incluido el modelado de lenguaje natural, el análisis de sentimiento y estructural, y los gráficos de confianza". 1

Nuestro motor SPARSE se actualiza continuamente utilizando los mensajes que observamos. Dada nuestra capacidad para analizar miles de millones de mensajes al año, podemos detectar tendencias con mayor antelación y aplicarlas en nuestros modelos para mejorar su eficacia. Un ejemplo reciente de esta dinámica es cuando observamos a finales de 2023 un aumento de los ataques a códigos QR. Los atacantes implementaron diferentes técnicas para ofuscar el código QR, de modo que los escáneres de reconocimiento óptico de caracteres (OCR) no podían escanear la imagen, pero las cámaras de los teléfonos móviles dirijían al usuario al enlace malicioso. Estas técnicas incluían hacer la imagen increíblemente pequeña para que no fuera clara para los escáneres o imágenes con desplazamiento de píxeles. Sin embargo, cuando aplicamos estos mensajes en nuestros modelos, los entrenamos para que tuvieran en cuenta todas las cualidades de los correos electrónicos enviados desde esas campañas. Con esta combinación de datos, pudimos crear detecciones para capturar estas campañas antes de que llegaran a las bandejas de entrada de los clientes.

Nuestro enfoque del análisis preventivo nos hace resistentes a las oscilaciones del comportamiento de los ciberdelincuentes. Aunque el uso de LLM es una herramienta que los atacantes implementan con más frecuencia en la actualidad, habrá otras en el futuro, pero también podremos proteger a nuestros clientes de esas amenazas.

El futuro del phishing de correo electrónico

La protección de las bandejas de entrada del correo electrónico es una tarea difícil, dadas las formas creativas en que los atacantes intentan suplantar a los usuarios. Este campo está en constante evolución y seguirá cambiando drásticamente a medida que las nuevas tecnologías sean accesibles al público. Tendencias como el uso de la IA generativa seguirán cambiando, pero nuestra metodología y enfoque para crear detecciones de correo electrónico garantizan la protección de nuestros clientes.

Si estás interesado en saber cómo funciona Cloud Email Security de Cloudflare para proteger a tu organización frente a las amenazas de phishing, ponte en contacto con tu equipo de Cloudflare y programa una evaluación gratuita del riesgo de phishing. Si eres cliente de Microsoft 365, también puedes ejecutar nuestra función Retro Scan complementaria para ver los correos electrónicos de phishing que tu solución actual ha pasado por alto. Puedes encontrar más información al respecto en nuestra entrada del blog.

¿Quieres saber más sobre nuestra solución? Regístrate para conseguir una evaluación de riesgo de phishing adicional.


[1] Source: The Forrester Wave™: Enterprise Email Security, Q2, 2023

The Forrester Wave™ is copyrighted by Forrester Research, Inc. Forrester and Forrester Wave are trademarks of Forrester Research, Inc. The Forrester Wave is a graphical representation of Forrester's call on a market and is plotted using a detailed spreadsheet with exposed scores, weightings, and comments. Forrester does not endorse any vendor, product, or service depicted in the Forrester Wave. Information is based on best available resources. Opinions reflect judgment at the time and are subject to change.

Protegemos redes corporativas completas, ayudamos a los clientes a desarrollar aplicaciones web de forma eficiente, aceleramos cualquier sitio o aplicación web, prevenimos contra los ataques DDoS, mantenemos a raya a los hackers, y podemos ayudarte en tu recorrido hacia la seguridad Zero Trust.

Visita 1.1.1.1 desde cualquier dispositivo para empezar a usar nuestra aplicación gratuita y beneficiarte de una navegación más rápida y segura.

Para saber más sobre nuestra misión para ayudar a mejorar Internet, empieza aquí. Si estás buscando un nuevo rumbo profesional, consulta nuestras ofertas de empleo.
Security Week (ES)IAAPI SecurityDeveloper Platform

Síguenos en X

Cloudflare|@cloudflare

Publicaciones relacionadas

09 de octubre de 2024, 13:00

Improving platform resilience at Cloudflare through automation

We realized that we need a way to automatically heal our platform from an operations perspective, and designed and built a workflow orchestration platform to provide these self-healing capabilities across our global network. We explore how this has helped us to reduce the impact on our customers due to operational issues, and the rich variety of similar problems it has empowered us to solve....

27 de septiembre de 2024, 13:00

AI Everywhere with the WAF Rule Builder Assistant, Cloudflare Radar AI Insights, and updated AI bot protection

This year for Cloudflare’s birthday, we’ve extended our AI Assistant capabilities to help you build new WAF rules, added new AI bot & crawler traffic insights to Radar, and given customers new AI bot blocking capabilities...

27 de septiembre de 2024, 13:00

Our container platform is in production. It has GPUs. Here’s an early look

We’ve been working on something new — a platform for running containers across Cloudflare’s network. We already use it in production, for AI inference and more. Today we want to share an early look at how it’s built, why we built it, and how we use it ourselves. ...