Kata "bot" di Internet mempunyai banyak makna. Pengalaman pertama saya dengan 'bot' adalah di IRC, di mana bot cukup membantu dalam memastikan kanal favorit Anda tidak diambil alih oleh pengguna berbahaya dan memungkinkan bermain game ringan yang seru. Sekitar lima tahun yang lalu, “bot” seringkali merujuk pada obrolan teks yang dikombinasikan dengan AI dan platform/apps pengiriman pesan sebagai cara baru untuk berinteraksi dengan pelanggan. Kini kebanyakan konotasi mengenai bot di Internet, khususnya di bidang keamanan, seringkali negatif dan sejumlah vendor kami menawarkan cara baru untuk mendeteksi dan memblokir bot.
Bentuk paling sederhana dari bot adalah sepotong perangkat lunak otomatis yang menggantikan interaksi manusia. Pada contoh di atas, hal itu dilakukan untuk meningkatkan skala sebuah proses agar lebih cepat atau lebih luas dibandingkan jika dilakukan dengan satu tindakan manual tunggal. Bot Mesin Pencari ada karena tidak mungkin (atau setidaknya, tidak praktis) untuk merangkak di situs Internet satu per satu. Manfaat peningkatan skala ini dapat digunakan untuk tujuan baik dan buruk dengan menyerang suatu properti di Internet. Bot digunakan untuk serangan berskala besar — bot dapat diterapkan untuk menyerang API yang tidak diatur konfigurasinya dengan benar, melumpuhkan situs, atau mengambil daftar kredensial yang dimiliki orang lain dan memeriksa kredensial yang berfungsi di titik ujung login sebelum mengambil data.
Pandemi global telah menyebabkan kekurangan mikrocip secara global. Pada tahun 2020, Microsoft, Nvidia, dan Sony bersama-sama meluncurkan perangkat gaming atau kartu video dengan permintaan tinggi dan pasokan rendah yang tetap menjadi langka beberapa bulan kemudian. Jenis lingkungan ini sesuai untuk semua jenis aktivitas bot — mulai dari pehobi yang mencoba memperoleh akses ke salah satu butir di atas untuk pemakaian sendiri, hingga penimbun yang secara aktif mencoba membeli sebanyak mungkin dengan harga eceran untuk dijual kembali di pasar terbuka dengan harga jauh lebih tinggi. Bot akan mengambil semua data inventaris dan kemudian menggunakan skrip untuk proses penambahan ke keranjang/pembelian dengan jauh lebih cepat daripada pengguna biasa yang menggunakan browser. Hal ini setidaknya dapat menyebabkan frustrasi dan juga menyebabkan serangan DDoS di Layer 7 pada aplikasi yang memperparah masalahnya. Sebagai akibatnya, Nvidia pernah terpaksa melakukan pembatalan penjualan kepada bot secara manual dan surut ke belakang dalam salah satu rilisnya. Meskipun bermain game adalah selingan yang menyenangkan, rangkaian keadaan seperti ini sayangnya juga dapat memengaruhi distribusi vaksin.
Menggunakan Pengelolaan Bot di cloudflare.com
Generasi saat ini dari Pengelolaan Bot Cloudflare dirilis pada tahun 2019. Produk ini awalnya tercipta dari eksperimen internal untuk mengetahui jika kami dapat memprediksi apakah permintaan yang diberikan akan menyelesaikan tantangan menggunakan data jaringan dan model pembelajaran mesin (ML) kami. Eksperimen ini akhirnya menghasilkan Skor Bot dan produk Pengelolaan Bot pertama kami yang lengkap, yang telah melalui sejumlah peningkatan dan iterasi serta telah menjadi produk yang sangat berhasil dalam kit alat keamanan pelanggan kami. Kini kami telah meningkatkannya lebih baik lagi untuk paket Pro dan Bisnis dengan Super Bot Fight Mode (Mode Super Tarung Bot).
Selama tahap pengembangan internal awal, kami menemukan masalah pada salah satu situs kami yang berinteraksi langsung dengan pelanggan. Untuk alasan yang masih belum jelas sama sekali (tetapi cenderung berbahaya), penyerang telah memasukkan data sampah ke dalam formulir di berbagai halaman arahan Cloudflare, yaitu formulir yang digunakan pengguna sah untuk memasukkan informasi mereka untuk mendaftar ke suatu acara atau promosi, atau agar dihubungi oleh tim penjualan kami. Awalnya ini hanya mengganggu karena menyebabkan tim kami harus memilah dan menghapus data yang tidak berkaitan. Kami juga harus memeriksa kembali dan mengidentifikasi data kiriman yang sah. Seiring perkembangannya, masalah itu menjadi sangat besar sehingga berdampak pada penyedia backend kami (di tempat formulir dikorelasikan) dan masuk ke dalam CRM kami. Gangguan ini berubah dari gangguan menjadi suatu bentuk DDoS aplikasi yang harus dihentikan dengan hati-hati untuk menghindari data positif palsu, yaitu terblokirnya data kiriman yang sah.
Berita tentang masalah tersebut sampai ke tim teknik kami dan menjadi jelas bahwa ini saat yang tepat untuk meluncurkan produk pelanggan pertama kami dan menguji coba produk kami. Awalnya, penyerang tidak berupaya terlalu banyak untuk menyembunyikan diri. Mereka menggunakan skrip siap pakai dan seringkali bahkan tidak mencoba untuk mengubah tanda yang jelas seperti header Agen Pengguna atau menyebarkan serangannya melalui sejumlah besar IP atau ASN. Ketika kami menambahkan metode heuristik ke dalam sistem dan menyetel model pembelajaran mesin, penyerang pun menyesuaikan taktik mereka. Seiring waktu, seluruh alat kami menjadi diperlukan karena penyerang terus-menerus beradaptasi. Berikut contoh serangan yang terjadi belum lama ini; selama serangan, lalu lintas yang bersifat otomatis meningkat menjadi 7 kali lipat dari biasanya selama sekitar 30 menit. Penyekalaan mungkin menjadi masalah bagi penyedia di hilir jaringan kami, di mana kami pada akhirnya mengirim panggilan API untuk menangani pengiriman formulir. Selama serangan ini, Anomaly Detection (Deteksi Anomali) kami (yang merupakan dasar untuk deteksi penyalahgunaan API baru kami) melakukan sebagian besar tindakan pembersihan yang berat, yang mencapai 42% dari pendeteksian.
Kami juga berjuang mengatasi bot di dasbor kami di berbagai API yang berinteraksi langsung dengan pengguna. Pola umum penyalahgunaan yang terlihat selama bertahun-tahun adalah pengguna berbahaya mendaftarkan diri di banyak domain, sering kali dari TLD gratis, dan sering tersebar di banyak akun. Pengguna itu mengambil beberapa domain ini dan terlibat dalam suatu bentuk spam Optimisasi Mesin Pencari (SEO). Ada anggapan bahwa satu cara untuk meningkatkan peringkat pencarian Anda adalah dengan menautkan banyak situs ke domain Anda. Para pengirim spam SEO mendaftarkan diri ke banyak domain dan membuat ribuan catatan nama host di dalamnya dan kemudian menarik bayaran dari pemilik situs web yang tidak bermoral untuk menautkan silang dari setiap domain ini.
Selain perilaku buruk SEO itu, hal itu menimbulkan dua masalah teknis pada sistem kami. Pertama: jika domain dan catatan ini dihasilkan dalam jumlah cukup banyak pada saat yang sama, maka hal itu dapat menyebabkan DNS Pump (Pemompaan DNS), sistem kami dirancang untuk mendorong catatan DNS pelanggan ke 200 lebih lokasi dalam hitungan detik. Kami membanggakan diri karena berhasil membuat propagasi DNS seperti sulap dan pelanggan kami sudah terbiasa dan mengandalkan kecepatan ini. Kedua, ada biaya praktis untuk menyimpan catatan ini di setiap server tepi jaringan kami dengan bertujuan hanya untuk kemungkinan mengelabui mesin pencari agar menganggap satu situs itu populer.
Jenis penyalahgunaan ini hanya bekerja melalui skala yang tepat. Seorang pengirim spam SEO harus mampu mendaftarkan diri di banyak domain dengan cara yang efisien dan otomatis untuk bisa menjual layanan mereka. Jadi kami mengeluarkan Pengelolaan Bot untuk mengatasi masalah itu. Awalnya kami memperlambat masalah itu melalui Pembatasan Tingkat (Rate Limiting) serta mencegah alamat IP tertentu untuk mendaftarkan banyak akun dalam waktu singkat, tetapi penyerang tetap bersikeras. Kami memasukkan tantangan pada pendaftaran akun baru yang terlihat muncul secara otomatis melalui produk Pengelolaan Bot kami dan dengan segera masalah itu hilang.
Bagian lain dari dasbor Cloudflare yang berhubungan dengan bot adalah sistem penagihan kami. Penyerang akan menggunakan sistem pemrosesan kartu pembayaran kami untuk menguji validitas nomor kartu kredit yang dicuri, yang memungkinkan mereka menggunakan atau menjual kembali kartu itu untuk melakukan transaksi lain yang lebih mahal di situs berbeda. Sekali lagi, kecepatan dan skala menjadi hal terpenting di sini. Penyerang tidak ingin menguji satu atau dua nomor kartu — mereka ingin menguji lusinan atau ratusan kartu dan mengotomatiskan prosesnya. Tim teknik penagihan kami menggunakan Pengelolaan Bot untuk memicu tantangan atau pemblokiran saat pengguna menambahkan atau mengubah metode pembayaran untuk menghentikan serangan ini. Tim penagihan juga meneruskan skor bot ke sistem deteksi penipuan dari penyedia pembayaran pihak ketiga kami sendiri (melalui Cloudflare Workers), yang memasukkan skor ke dalam analisisnya untuk tinjauan transaksi manual.
Membangun berdasarkan Fondasi Data Global
Produk Pengelolaan Bot kami berhasil karena banyaknya jumlah pelanggan dan besarnya lalu lintas di jaringan kami. Dengan sekitar 25 juta properti Internet yang dilindungi Cloudflare, kami secara unik ditempatkan untuk mengumpulkan berbagai sinyal ini dan menafsirkannya menjadi data cerdas yang dapat ditindaklanjuti. Rilis Mode Super Bot Fight kini tidak hanya memperluas kemampuan ini kepada versi Pro dan Bisnis tetapi juga akan memberikan dorongan bagi semua pengguna Pengelola Bot. Saat zona Pro dan Bisnis mulai memberi tantangan dan memblokir bot secara langsung berdasarkan sinyal bot, data ini melatih pemodelan kami secara lebih langsung dibandingkan dengan data hasil kesimpulan yang kami gunakan untuk tantangan dan pemblokiran yang tidak terkait bot. Keragaman sinyal dan skala data pada platform global ini memberikan kami keyakinan atas kemampuan kami memblokir bot tidak hanya untuk saat ini, tetapi juga di masa depan.
Kami sangat antusias mendapatkan umpan balik mengenai akses secara dini dari pelanggan Perusahaan kami mengenai model deteksi dan penyalahgunaan API kami. API menghadirkan tantangan berbeda dengan yang ditimbulkan oleh properti yang berinteraksi langsung dengan web, tetapi pengalaman kami membangun platform Deteksi Anomali untuk Pengelolaan Bot memungkinkan kami menggunakan beberapa teknik yang berkaitan untuk mengidentifikasi titik ujung API dan mendeteksi anomali dalam lalu lintas yang otomatis. Penyertaan berbagai teknik baru ini pada portofolio keamanan yang telah ada merupakan bagian dari komitmen kami untuk menyediakan alat terbaik bagi pelanggan kami di satu platform tunggal, apa pun lalu lintas yang mereka miliki di domain mereka. Kombinasi semua alat kami juga memungkinkan respons yang fleksibel — pelanggan dapat memblokir serangan DDoS dan bot tertentu, menantang lalu lintas yang mirip bot, dan menggunakan pembatasan tingkat kami untuk menargetkan lalu lintas API yang mencurigakan.