Bot dan AI sudah lama terhubung erat. Tes CAPTCHA pertama yang diciptakan untuk menghalangi bot dirancang sebagai masalah yang mudah diselesaikan oleh manusia tetapi sulit bagi AI—sebuah perbedaan yang kembali mengacu pada publikasi Alan Turing pada tahun 1950 tentang kecerdasan komputer. Baru-baru ini, perusahaan keamanan, termasuk F5, telah menerapkan AI untuk mendeteksi bot, sebagaimana pembuat bot menggunakan AI untuk menghindari deteksi dan menyelesaikan tantangan CAPTCHA. Dengan adanya AI generatif, hubungan antara bot dan AI terus berkembang, dengan bot yang mengambil konten dari Internet untuk memberi makan model bahasa besar (LLM) dan agen AI—yang pada dasarnya adalah bot cerdas—berinteraksi dengan aplikasi dengan cara yang tidak diinginkan. Kita juga melihat hubungan erat antara bot dan AI ketika kita mempertimbangkan 10 Risiko & Mitigasi Teratas untuk LLM dan Aplikasi Gen AI pada tahun 2025.
Pihak yang tidak diinginkan hampir selalu menggunakan bot dalam berbagai bentuk untuk memperbesar serangan dunia maya terhadap LLM, sehingga mitigasi bot menghilangkan alat penting dari tangan para pelaku kejahatan dunia maya.
Bot memang bukan satu-satunya cara untuk mengeksploitasi kerentanannya LLM. Keamanan LLM adalah bidang yang kompleks dan terus berkembang dalam dunia keamanan siber, dan saya tidak ingin menyederhanakan tantangan ini dengan menyebutkan satu penyebab atau solusi tunggal. Namun, kita tahu bahwa pihak yang tidak diinginkan hampir selalu menggunakan bot dalam berbagai bentuk untuk memperbesar serangan dunia maya, dan karena itu mitigasi bot menghilangkan alat penting dari gudang senjata para pelaku kejahatan dunia maya. Untuk memahami mengapa mitigasi bot sangat relevan dengan keamanan LLM seperti halnya untuk keamanan web, seluler, dan API, mari kita tinjau 10 risiko keamanan OWASP untuk LLM pada tahun 2025 dan pertimbangkan bagaimana pihak yang tidak diinginkan bisa menggunakan bot untuk mengeksploitasi setiap kerentanannya.
- Prompt Injection
Serangan prompt injection berusaha mengubah perilaku LLM dengan cara yang merugikan, yang menurut OWASP, dapat menyebabkan model “melanggar pedoman, menghasilkan konten berbahaya, memungkinkan akses tidak sah, atau memengaruhi keputusan kritis.” Untuk memengaruhi perilaku model melalui prompt, pihak yang tidak diinginkan mungkin perlu menyuntikkan banyak prompt—memasukkan banyak prompt berbahaya ke model untuk memaksimalkan kerusakan atau menemukan prompt yang mencapai hasil yang diinginkan. Untuk memasukkan cukup banyak prompt berbahaya, pihak yang tidak diinginkan akan memerlukan bot untuk otomatisasi.
- Pengungkapan Informasi Sensitif
Dalam upaya membangun LLM yang memberikan nilai bisnis kepada karyawan dan pelanggan, organisasi akan melatih model pada data besar yang merupakan milik organisasi. Namun, data ini mungkin mengandung informasi sensitif, termasuk data pribadi dan rahasia dagang. Pihak yang tidak diinginkan hampir pasti akan mencoba mengakses model ini untuk mengungkapkan data sensitif tersebut. Karena pihak yang tidak diinginkan mungkin tidak tahu persis data apa yang mereka cari atau bagaimana memintanya, mereka mungkin menggunakan pendekatan brute force, mengeluarkan banyak prompt dengan harapan satu di antaranya mengungkapkan informasi sensitif yang berharga. Untuk menjalankan banyak prompt terhadap model, pihak yang tidak diinginkan yang ingin memperbesar serangannya akan menggunakan bot.
- Rantai Pasokan
Seperti sistem informasi lainnya, LLM memiliki ketergantungan, termasuk data pelatihan, model dasar, dan platform penyebaran, yang berarti pihak yang tidak diinginkan dapat mengkompromikan LLM dengan merusak rantai pasokannya. Untuk mengkompromikan ketergantungan tersebut, pihak yang tidak diinginkan kemungkinan akan menggunakan bot untuk memanipulasi penyimpanan data dengan informasi palsu, membobol sistem otentikasi dengan pengisian kredensial atau proxy phishing waktu nyata, dan mencari kerentanannya otorisasi.
- Pencemaran Data dan Model
Dalam data poisoning, pihak yang tidak diinginkan memanipulasi data pelatihan, penyempurnaan, atau data penyematan untuk memperkenalkan kerentanannya, pintu belakang, atau bias. Menurut OWASP, “manipulasi ini dapat merusak keamanan model, kinerja, atau perilaku etis, yang mengarah pada hasil berbahaya atau kemampuan yang terpengaruh.” Meskipun ada banyak metode yang dapat digunakan pihak yang tidak diinginkan untuk memanipulasi data, bot adalah alat umum dalam berbagai jenis serangan, dari merusak otentikasi atau otorisasi hingga menyisipkan data palsu ke dalam penyimpanan data melalui aplikasi yang tidak memiliki perlindungan bot.
- Penanganan Output yang Tidak Tepat
Penanganan output yang tidak tepat mengacu pada kegagalan untuk memeriksa apakah output dari model LLM dapat merusak sistem yang bergantung pada output tersebut. Sementara kerentanannya rantai pasokan dan pencemaran data serta model mengacu pada kompromi terhadap sistem hulu dari model LLM, penanganan output yang tidak tepat berdampak pada sistem hilir; yaitu, sistem yang bergantung pada output dari model LLM. Menurut OWASP, “eksploitasi yang berhasil dari kerentanan penanganan output yang tidak tepat dapat mengarah pada cross-site scripting (XSS) dan cross-site request forgery (CSRF) pada peramban web serta server-side request forgery (SSRF), eskalasi hak istimewa, atau eksekusi kode jarak jauh pada sistem backend.”
Melihat ini dengan cara lain, pihak yang tidak diinginkan menggunakan LLM untuk menyerang aplikasi lain yang bergantung pada output LLM. Meskipun penyerang dapat mengeksploitasi kerentanannya ini melalui input yang dirancang dengan hati-hati untuk aplikasi, penyerang mungkin mencoba untuk memperbesar serangan tersebut melalui otomatisasi, mencoba berbagai variasi untuk menemukan input yang menghasilkan output yang merusak aplikasi hilir. Otomatisasi akan mencoba memaksa output berbahaya dari model dan menguji apakah output tersebut memiliki dampak buruk yang diinginkan pada aplikasi. Untuk memperbesar pencarian ini, bot diperlukan.
- Agensi Berlebihan
Agensi berlebihan adalah bentuk eskalasi hak istimewa yang dilakukan melalui sistem berbasis LLM. Kerentanannya berasal dari sistem berbasis LLM yang berjalan dengan hak istimewa yang lebih tinggi, memungkinkan sistem tersebut untuk memanggil fungsi atau berinteraksi dengan sistem lain. Pihak yang tidak diinginkan, yang tidak tahu di mana sistem berbasis LLM telah meningkatkan hak istimewa atau bagaimana mengeksploitasi eskalasi tersebut, kemungkinan besar akan menggunakan otomatisasi untuk memasukkan beberapa prompt, berharap untuk memicu dan mengeksploitasi eskalasi hak istimewa.
- Kebocoran Prompt Sistem
Aplikasi yang dibangun dengan LLM sering memberikan instruksi prompt sistem kepada LLM untuk membimbing perilaku model agar memenuhi persyaratan aplikasi. Dalam praktiknya, prompt sistem ini dapat berisi rahasia: string koneksi ke database, kode milik, properti intelektual, atau konten lain yang harus dijaga kerahasiaannya oleh perusahaan. Kebocoran prompt sistem, kemudian, adalah bentuk khusus dari prompt injection yang memicu aplikasi untuk secara tidak sengaja mengungkapkan instruksi sistemnya.
Menjadikan LLM untuk mengungkapkan rahasia ini melalui prompt bukanlah hal yang sederhana, dan hampir pasti pihak yang tidak diinginkan akan mengembangkan skrip otomatis untuk lebih efektif mencari data sensitif yang tertanam dalam prompt sistem.
- Kelemahan Vektor dan Penyematan
Aplikasi LLM sering meningkatkan output model melalui konteks yang diperluas, yang diberikan kepada model melalui teknik yang disebut retrieval-augmented generation (RAG). Konten yang diberikan kepada LLM melalui RAG bukanlah teks mentah, melainkan vektor yang telah diproses dengan metadata dan konten yang tertanam. Menurut OWASP, “kelemahan dalam cara vektor dan penyematan dihasilkan, disimpan, atau diambil dapat dieksploitasi oleh tindakan berbahaya (baik disengaja atau tidak sengaja) untuk menyuntikkan konten berbahaya, memanipulasi output model, atau mengakses informasi sensitif.” Dengan kata lain, pihak yang tidak diinginkan dapat menyerang konten RAG dan pemrosesannya untuk menyerang sistem LLM.
Perusahaan menerapkan proses mereka sendiri dan mendefinisikan ruang lingkup untuk konten RAG agar memenuhi kebutuhan khusus organisasi mereka, yang berarti konten dan cacatnya akan unik untuk organisasi tersebut. Dari perspektif pihak yang tidak diinginkan, menemukan cacat ini tidak akan mudah, jadi ini pasti memerlukan eksplorasi otomatis, yang berarti penggunaan bot.
- Misinformasi
Ketika LLM menghasilkan informasi yang salah atau menyesatkan, sistem yang bergantung pada informasi tersebut bisa gagal, mengarah pada pelanggaran keamanan, kerusakan reputasi, dan tanggung jawab hukum. LLM dapat menghasilkan misinformasi melalui halusinasi atau karena bias dan kekurangan dalam data pelatihan.
Pihak yang tidak diinginkan yang ingin mengeksploitasi halusinasi kemungkinan akan mengotomatisasi analisis prompt dan respons mereka. Misalnya, dengan mengotomatisasi proses pembuatan kode—yaitu menggunakan LLM untuk menghasilkan banyak instance kode komputer—pihak yang tidak diinginkan dapat menemukan referensi kode ke pustaka perangkat lunak yang sebenarnya tidak ada. Pihak yang tidak diinginkan kemudian dapat membuat pustaka perangkat lunak berbahaya di repositori kode tempat LLM berhalusinasi. Jika kode yang dihasilkan LLM tidak ditinjau dengan memadai, pustaka berbahaya akan tertanam dalam produk yang dirilis.
Pihak yang tidak diinginkan juga dapat menggunakan bot untuk memanipulasi data pelatihan, dengan sengaja memasukkan sejumlah besar data yang dimaksudkan untuk membiasakan model.
- Konsumsi Tak Terbatas
Kerentanan LLM OWASP yang kesepuluh, konsumsi tak terbatas, sangat mirip dengan kerentanan API OWASP yang disebut konsumsi sumber daya tak terbatas serta ancaman otomatis yang disebut penolakan layanan. Pihak yang tidak diinginkan melebihi jumlah permintaan yang diharapkan sehingga layanan inferensi mengalami penolakan layanan, penurunan kinerja, dan biaya yang berlebihan. Menurut OWASP, “tuntutan komputasi tinggi dari LLM, terutama di lingkungan cloud, membuatnya rentan terhadap eksploitasi sumber daya dan penggunaan yang tidak sah.” Untuk melebihi penggunaan yang diharapkan, pihak yang tidak diinginkan hampir pasti akan menggunakan bot untuk memperbesar volume permintaan.
Menerapkan Perlindungan Bot
Dengan banyak organisasi yang menghadapi tekanan untuk bergerak cepat dalam membawa kemampuan AI ke pasar dan dengan implikasi keamanan LLM yang belum sepenuhnya dipahami, mereka harus mempertimbangkan untuk menerapkan perlindungan bot di depan aplikasi berbasis LLM serta aplikasi yang memberi makan data ke model LLM. Semakin banyak serangan yang dapat diluncurkan pihak yang tidak diinginkan, semakin besar peluang keberhasilannya. F5 menyediakan layanan perlindungan bot yang sangat efektif, F5 Distributed Cloud Bot Defense, yang dibangun dengan AI, yang membantu organisasi memperoleh keuntungan melawan pihak yang tidak diinginkan yang menggunakan bot dan otomatisasi untuk menyerang aplikasi LLM.