Desde el principio, Cloudflare ha estado impidiendo que los bots maliciosos eliminen sitios web o usen las API para fines malintencionados. A lo largo del tiempo, hemos mejorado nuestros métodos de detección de bots e implementado grandes modelos de aprendizaje automático que pueden distinguir el tráfico real (ya sea de humanos o aplicaciones) de los bots maliciosos. También hemos creado un gran catálogo de bots buenos para detectar cosas como la indexación útil de los motores de búsqueda.
Pero eso no es suficiente. Los bots maliciosos siguen siendo un problema en Internet y hemos decidido contraatacar. Desde hoy, los clientes tienen la opción de habilitar el "modo de lucha contra bots" en la configuración de Firewall de su Panel de control de Cloudflare.
Una vez habilitado, cuando detectemos un bot perjudicial, haremos tres cosas: (1) desincentivaremos económicamente al fabricante de bots al cubrirlos, incluso exigiéndoles que resuelvan un desafío informáticamente complejo que requerirá más del CPU de su bot; (2) para los socios de Bandwidth Alliance, entregaremos la IP del bot al socio y para desconectado; y (3) plantaremos árboles para compensar el costo de carbono del bot.
Los bots maliciosos perjudican a los editores y las aplicaciones web legítimos, hacen daño a los proveedores de alojamiento al usar recursos para fines malintencionados y dañan el planeta el doble por el costo de electricidad de los servidores y el enfriamiento de sus bots y víctimas.
Ya es hora de decir basta. Nuestro objetivo es lograr que ya no sea viable ejecutar un bot malicioso en Internet. Y creemos que, con nuestra escala, podemos lograr exactamente eso.
Cómo Cloudflare detecta los bots
El ingrediente secreto de Cloudflare (ok, no tan secreto) es nuestra amplía escala. Actualmente, gestionamos el tráfico de más de 20 millones de propiedades de Internet que van desde los sitios web personales más pequeños y API de backend para aplicaciones populares y dispositivos IoT, hasta algunos de los nombres más conocidos en Internet (incluido el 10 % de Fortune 1000).
Esta escala nos da una gran ventaja, ya que vemos una enorme cantidad y variedad de tráfico que nos permite crear grandes modelos de aprendizaje automático del comportamiento de Internet. Esa escala y variedad nos permite probar nuevas reglas y modelos de manera rápida y sencilla.
Nuestra detección de bots se divide en cuatro grandes componentes:
Identificación de los bots legítimos bien conocidos;
Reglas escritas a mano para bots simples que, por muy simples que sean, se usan día tras día;
Nuestro modelo de Detector de la actividad de los bots que detecta el comportamiento de los bots en función del tráfico anterior y los bloquea; y
Nuestro modelo de Cliente confiable que detecta si un agente-usuario de HTTP es lo que dice ser.
Además, Gatebot, nuestro sistema de mitigación DDoS, toma huellas digitales de bots DDoS y bloquea su tráfico a nivel de paquete. Más allá de Gatebot, los clientes también tienen acceso a nuestras Reglas de Firewall donde pueden escribir reglas granulares para bloquear los tipos de ataque muy específicos.
Otro modelo nos permite determinar si una dirección IP pertenece a un punto de conexión VPN, a un suscriptor de banda ancha en el hogar, a una empresa que usa NAT o a un proveedor de alojamiento o nube. A este último grupo es al que va dirigido el "Bot Cleanup" (eliminación de bots).
Hoy en día, Cloudflare desafía más de 3000 millones de solicitudes relacionadas con bots por día. Algunos de esos bots están a punto de pasarla muy mal.
Cómo lucha Cloudflare contra los bots
El costo de lanzar un ataque bot consiste en el gasto de tiempo de CPU que impulsa el ataque. Si nuestros modelos muestran que el tráfico proviene de un bot y está en un proveedor de alojamiento o en la nube, implementaremos un código intensivo de CPU para que el escritor del bot gaste más CPU y los ralentice. Al obligar al atacante a utilizar más CPU, incrementamos sus costos durante un ataque y disuadimos los futuros.
Esta es una de las muchas técnicas llamadas "tarpitting" que ahora estamos implementando en nuestra red para cambiar la economía de la ejecución de un bot malicioso. Advertencia a los operadores de bots maliciosos: si dirigen el ataque contra los recursos detrás del espacio IP de Cloudflare, van a perder su tiempo.
Cada minuto que atamos a los bots maliciosos es un minuto en el que no están causando daño a Internet en su conjunto. Esto significa que no solo estamos protegiendo a nuestros clientes, sino a todos aquellos en línea que actualmente están aterrorizados por los bots maliciosos. El espíritu de la Semana del aniversario de Cloudflare siempre se ha centrado en retribuir a Internet en su conjunto y no podemos pensar en un mejor regalo que librar a Internet de los bots maliciosos.
Además de perder el tiempo con los bots, también queremos detenerlos. Si el proveedor de la infraestructura que aloja el bot es parte de Bandwidth Alliance, compartiremos la dirección IP del bot para que puedan detener el bot por completo. Bandwidth Alliance nos permite reducir los costos de tránsito con los socios y, con este lanzamiento, también nos ayuda a trabajar junto a ellos para hacer que Internet sea más seguro para los usuarios legítimos.
En general, todos los ejecutábamos en el modo Lucha contra bots y pensamos que era una gran idea. La única objeción que escuchamos fue que dado que empezamos a obligar a los bots a resolver los desafíos intensivos del CPU a corto plazo, antes de que simplemente se den por vencidos —lo que creemos que es inevitable a largo plazo— podríamos aumentar las emisiones de carbono. Para combatir esas emisiones, nos comprometemos a estimar el uso adicional de CPU de estos bots, al calcular su costo de carbono y luego plantar árboles para compensar y construir un futuro mejor.
Plantar árboles
Afrontar el cambio climático requiere múltiples esfuerzos por parte de las personas y de las empresas. Cloudflare anunció a principios de este año que habíamos ampliado nuestra compra de Certificados de energía renovable (que anteriormente cubría nuestras operaciones en América del Norte) a nuestra red global completa de 194 ciudades.
Para calcular la cantidad de árboles que se necesitan plantar, debemos calcular el costo del uso adicional de CPU al hacer que un bot trabaje duro. Aquí detallamos cómo funcionará eso.
Al usar una cifra de 450 kg CO2/año (de https://www.goclimateneutral.org/blog/the-carbon-footprint-of-servers/) para los tipos de servidor que un bot malo podría utilizar (servidor en la nube que usa una fuente de energía no renovable) obtenemos aproximadamente 8 kg de CO2/año por núcleo de CPU. Podemos medir el tiempo que los bots pasan quemando el CPU y, por lo tanto, podemos estimar directamente la cantidad de CO2 emitida en nuestro contraataque.
Según One Tree Planted, un solo árbol maduro puede absorber aproximadamente 21 kg de CO2/año. Así que, más o menos, cada árbol puede absorber CO2 al año de 2,5 núcleos de CPU.
Puesto que los árboles tardan en madurar y dada la escala del desafío del cambio climático, vamos a pagar para plantar árboles en gran abundancia. Por cada árbol que calculemos que tendríamos que plantar para compensar las emisiones de CO2 de los bots que combatimos, vamos a donar $25 a One Tree Planted para plantar 25 árboles.
Y, por supuesto, enviaremos las IP de los bots defectuosos a nuestros socios de Bandwidth Alliance para que desactiven los bots y eliminen por completo el costo del carbono que generan. En el pasado, la comunidad tecnológica ha derrotado a muchísimos spammers de correo electrónico y servicios DDoS de alquiler al hacer que sus esfuerzos sean infructuosos. Creemos que esta es la estrategia correcta para derrotar a los bots maliciosos de una vez por todas.
¿A quiénes perjudican los bots?
Los bots maliciosos pueden causar un daño significativo a la infraestructura de nuestros clientes y, a menudo, dar lugar a malas experiencias para los usuarios de nuestros clientes.
Por ejemplo, un cliente reciente estaba siendo paralizado por un ataque de relleno de credenciales que no solo intentaba comprometer las cuentas de sus usuarios, sino que lo hacía en un volumen tan significativo que efectivamente causaba una Denegación de servicio a pequeña escala en todos los aspectos del sitio web del cliente.
El bot malicioso estaba sobrecargando la infraestructura convencional de prevención de amenazas del cliente, y rápidamente lo incorporamos como un cliente Bajo ataque. Como parte de la incorporación, identificamos que el ataque se podría frustrar de forma particular mediante nuestro producto Bot Management (Manejo de bots) sin afectar el tráfico de usuarios legítimos.
Otra tendencia que hemos observado es el aumento de la combinación de los bots con botnets, en particular en el mundo de los bots de acumulación de inventario. La motivación y la disposición a gastar de estos operadores de bot son muy altas.
Los objetivos son bienes de oferta limitada, con una alta demanda y valor. Piense en las zapatillas deportivas, las entradas para conciertos, los asientos de aerolíneas y los breves musicales populares de Broadway. Los operadores de bots que pueden comprar esos artículos al por menor pueden cobrar enormes primas en las ventas del mercado de accesorios. Cuando el operador identifica un sitio de destino, como un minorista de comercio electrónico y un artículo específico, como un nuevo par de zapatillas deportivas que sale a la venta, puede comprar tiempo en el nuevo mercado de Proxy residencial como servicio para obtener acceso a las máquinas de los usuarios finales y (relativamente) limpiar las IP desde donde se lanza su ataque.
Luego utilizan técnicas sofisticadas y activadores para cambiar las características de la máquina, la red y el software que usan para generar el ataque a través de una amplia gama de opciones y combinaciones. De esta forma, pasan por alto los sistemas que dependen de la repetición o de patrones conocidos. Este tipo de ataque también afecta varios objetivos: el sitio de comercio electrónico tiene usuarios reales frustrados que no pueden comprar el artículo en demanda. Los usuarios reales que están perdiendo espacio de inventario a manos de un atacante que busca sacar el mayor beneficio posible. Y los usuarios involuntarios que forman parte de la botnet, cuyos recursos, como la conexión de banda ancha de su hogar, se usan sin su consentimiento o conocimiento.
La conclusión es que los bots perjudican tanto a las empresas como a sus clientes.
Resumen
Cloudflare ha luchado contra bots maliciosos desde el principio y a lo largo del tiempo ha implementado métodos cada vez más sofisticados para bloquearlos. Con el poder de las más de 20 millones de propiedades de Internet que protegemos y aceleramos, y nuestra visibilidad de las redes y los usuarios de todo el mundo, hemos creado modelos de aprendizaje automático que ordenan bots de los buenos y bloquean los malos.
Pero los bots siguen siendo un problema y nuestro nuevo modo de lucha contra los bots desincentivará directamente a los escritores de bots para que no ataquen a los clientes. Al mismo tiempo, no queremos contribuir al cambio climático y estamos compensando el costo del carbono generado por los bots al plantar árboles para absorber carbono y ayudar a construir un mejor futuro (e Internet).