Bayangkan, lagi asyik kerja, tiba-tiba data perusahaan bocor ke tangan orang yang nggak bertanggung jawab. Nggak perlu klik link aneh-aneh, nggak perlu buka email mencurigakan. Cukup gara-gara AI yang seharusnya membantu, malah jadi biang kerok. Serem, kan?
Kabar buruknya, skenario ini bukan lagi fiksi ilmiah. Baru-baru ini, para ahli keamanan dari Noma Security menemukan celah keamanan di Google Gemini Enterprise yang memungkinkan kebocoran data perusahaan tanpa perlu interaksi dari korban. Bayangkan, cuma modal dokumen yang terinfeksi, data perusahaan bisa bablas angine.
Celah ini, yang diberi nama "GeminiJack", memanfaatkan kelemahan arsitektur di Google Gemini Enterprise dan Vertex AI Search. Singkatnya, penyerang bisa menyisipkan instruksi jahat ke dalam dokumen yang sering digunakan di lingkungan Google Workspace. Instruksi ini kemudian dieksekusi oleh AI, yang tanpa sadar membocorkan informasi sensitif ke pihak luar.
Indirect prompt injection, istilah kerennya. Intinya, penyerang nggak langsung nyuruh AI buat ngasih data. Tapi, mereka ngasih umpan yang bikin AI sendiri yang nyari dan ngasih data itu. Lebih licik dari mantan yang tiba-tiba ngajak balikan pas lagi bokek.
GeminiJack: Ketika AI Jadi Mata-Mata Perusahaan
Cara kerjanya kurang lebih begini: si penyerang bikin dokumen Google Docs, event Calendar, atau email Gmail yang kelihatannya biasa aja. Padahal, di dalamnya udah disisipin instruksi tersembunyi yang nyuruh Gemini Enterprise buat nyari istilah-istilah sensitif dan nyimpen hasilnya di URL gambar eksternal yang dikontrol si penyerang.
Nah, pas ada karyawan yang lagi nyari sesuatu, tanpa sengaja dia nge-trigger AI buat ngeproses konten yang udah diracunin tadi. Gemini pun nurut aja, ngecek data Workspace yang dia punya akses ke dalamnya, dan nyari istilah-istilah sensitif yang dimaksud.
Terus, gimana cara data itu keluar? Gemini nyisipin tag gambar jahat ke dalam responsnya. Pas tag itu dimuat, browser korban ngirim data curian itu ke server si penyerang lewat permintaan HTTP standar. Jadi, sistem keamanan yang biasanya dipasang nggak bisa ngedeteksi apa-apa.
RAG: Arsitektur Canggih yang Jadi Bumerang
Serangan ini bisa terjadi karena Google Gemini Enterprise AI menggunakan arsitektur Retrieval-Augmented Generation (RAG). RAG ini memungkinkan organisasi buat nyari informasi di berbagai sumber data di Google Workspace. Tapi, di sinilah masalahnya muncul.
"Organisasi harus ngatur dulu sumber data mana aja yang boleh diakses sama sistem RAG. Pengaturan ini nentuin seberapa luas data yang bisa diakses sama model Gemini pas lagi ngeproses permintaan. Begitu udah diatur, sistem punya akses terus-menerus ke sumber data ini buat semua permintaan pengguna," kata para peneliti dari Noma Security.
Intinya, celah ini "ngeksploitasi batas kepercayaan antara konten yang dikontrol pengguna di sumber data dan pemrosesan instruksi model AI. Penyerang bisa nanam instruksi jahat di dalam konten yang diambil dan diproses sama sistem RAG." Ibaratnya, AI ini terlalu percaya sama semua yang dia baca, tanpa curiga sedikit pun.
Noma Security bahkan udah nyediain bukti konsep (PoC) langkah demi langkah buat ngeksploitasi celah ini dalam laporan mereka tentang GeminiJack, yang diterbitin tanggal 8 Desember. Jadi, buat yang penasaran, bisa langsung dicek sendiri.
Bahaya Indirect Prompt Injection Mengintai
Google sendiri udah ngakuin nerima laporan tentang celah keamanan ini dari Noma Security di bulan Agustus. Mereka juga udah kerja sama buat ngeberesin masalah ini.
Raksasa teknologi itu udah ngerilis pembaruan yang ngubah cara Gemini Enterprise dan Vertex AI Search berinteraksi sama sistem pengambilan dan pengindeksan data mereka. Setelah penemuan ini, Vertex AI Search dipisahin sepenuhnya dari Gemini Enterprise dan nggak lagi pake alur kerja atau kemampuan RAG yang sama.
Tapi, para peneliti dari Noma Security yakin bahwa serangan kayak gini nggak bakal jadi yang terakhir. Mereka bilang bahwa sistem pertahanan tradisional, solusi perlindungan endpoint, dan alat pencegahan kehilangan data "nggak didesain buat ngedeteksi pas asisten AI lo jadi mesin buat nyolong data."
Intinya, "seiring agen AI makin punya akses luas ke data perusahaan dan otonomi buat ngelakuin instruksi, dampak dari satu celah keamanan aja bisa ngebengkak banget. Organisasi yang nerapin sistem AI dengan akses ke data sensitif harus hati-hati banget sama batasan kepercayaan, nerapin monitoring yang kuat, dan terus ngikutin perkembangan penelitian keamanan AI," kata para peneliti dari Noma Security.
Nasihat dari NCSC: Jangan Terlalu Percaya Sama AI
National Cyber Security Centre (NCSC) Inggris juga baru-baru ini ngasih panduan baru buat ngurangin risiko serangan prompt injection. Intinya, jangan terlalu percaya sama AI. Anggep aja dia kayak karyawan magang yang pinter, tapi tetep butuh diawasin.
