Agen AI Menyamar sebagai Karyawan Akses Sistem Perusahaan

Image credit: Magnific

Agen AI Menyamar sebagai Karyawan Akses Sistem Perusahaan – Kecerdasan buatan (AI) semakin berkembang dari sekadar teknologi yang menjawab pertanyaan menjadi agen otonom yang mampu menjalankan tugas, menggunakan berbagai perangkat, mengakses layanan internet, dan berinteraksi dengan sistem digital.

Kemampuan tersebut membuka banyak peluang, tetapi juga menghadirkan risiko keamanan baru ketika agen AI bertindak di luar batas yang telah ditentukan.

Risiko ini terlihat dalam serangkaian pengujian keselamatan AI yang dilakukan pada Oktober 2026. Sejumlah agen AI yang diidentifikasi oleh tim peneliti sebagai Gemini 4 Argon berulang kali mencoba mengakses sistem milik organisasi lain tanpa izin.

Mereka melakukan pemindaian informasi, mencoba serangan SQL injection, menyamar sebagai karyawan, hingga mencari cara untuk melewati pembatasan jaringan yang diterapkan selama pengujian.

Insiden tersebut melibatkan perusahaan riset keselamatan AI Trajectory Labs dan organisasi riset Epoch AI, dalam laporan yang dipublikasikan pada November 2026.

Kedua pihak mengungkapkan bagaimana eksperimen yang semula dirancang untuk menguji perilaku AI justru berkembang menjadi serangkaian upaya akses tidak sah terhadap infrastruktur aktif.

Perlu dicatat, Epoch AI menyatakan tidak melakukan verifikasi independen mengenai model AI yang terlibat. Identifikasi Gemini 4 Argon berasal dari keterangan Trajectory Labs.


Baca juga: 
Prediksi CPU Dimanipulasi untuk Curi Password Linux

Instruksi Mustahil Memicu Perilaku Berisiko

Pengujian tersebut dirancang untuk mengetahui apakah agen AI akan melakukan tindakan yang tidak semestinya ketika dihadapkan pada tugas yang mustahil diselesaikan.

Para peneliti memberikan target berupa pencarian jawaban resmi untuk sejumlah soal yang sebenarnya tidak tersedia dalam tolok ukur FrontierMath milik Epoch AI.

Dalam menjalankan tugasnya, agen AI berulang kali menerima instruksi agar tidak berhenti dan terus berusaha mencapai tujuan. Salah satu perintah yang diberikan adalah “NEVER stop, NEVER give up”.

Instruksi tersebut dimaksudkan untuk menguji bagaimana model bereaksi ketika menghadapi hambatan, termasuk batasan yang seharusnya mencegah tindakan berbahaya.

Pada 20 Oktober, sekitar 40 agen mulai menyelidiki situs aktif Epoch AI. Mereka berusaha menemukan informasi sensitif, termasuk kredensial administrator dan log evaluasi benchmark yang bersifat eksklusif.

Aktivitas tersebut menghasilkan lalu lintas yang cukup besar. Selama sekitar tiga jam, agen-agen itu mengirimkan 36.411 permintaan ke sebuah endpoint API yang sengaja disiapkan untuk pengujian. Mereka juga mengirimkan 487 pesan melalui saluran komunikasi khusus yang disebut agent hotline.

Sebagian pesan berisi upaya menyamar sebagai karyawan Epoch AI. Ada pula agen yang mengaku sebagai teknisi atau auditor dan meminta informasi mengenai benchmark.

Investigasi selanjutnya menemukan percobaan SQL injection serta lebih dari 200 upaya mengakses log evaluasi FrontierMath.

SQL injection merupakan teknik serangan yang memanfaatkan kelemahan dalam pemrosesan masukan aplikasi untuk menjalankan perintah SQL yang tidak semestinya.

Jika berhasil, teknik ini dapat digunakan untuk mengakses, mengubah, atau mengambil data dari basis data, bergantung pada kerentanan dan hak akses sistem.

Tim peneliti baru mengetahui aktivitas tersebut setelah meninjau catatan interaksi agen AI. Mereka kemudian memberitahukan insiden itu kepada Epoch AI pada hari berikutnya.

Agen AI Berulang Kali Menembus Pembatasan Jaringan

Setelah insiden pertama, Trajectory Labs dan Epoch AI sepakat melanjutkan pengujian menggunakan salinan lokal situs web, bukan infrastruktur aktif. Langkah ini dimaksudkan untuk mencegah agen AI berinteraksi langsung dengan sistem sebenarnya.

Namun, pembatasan tersebut ternyata tidak sepenuhnya berhasil.

Dalam pengujian pada 23 Oktober, beberapa agen menyadari bahwa mereka sedang berinteraksi dengan salinan situs Epoch AI. Mereka kemudian mengidentifikasi alamat IP asli situs tersebut dan mencoba mengakses infrastrukturnya secara langsung.

Tindakan ini memungkinkan agen melewati mekanisme pengalihan DNS yang sebelumnya diterapkan untuk membatasi akses ke lingkungan pengujian.

Ketika peneliti memblokir alamat IP yang digunakan, salah satu agen beralih ke alamat lain yang masih memungkinkan akses ke situs aktif.

Peneliti kemudian memperketat konfigurasi proksi jaringan agar koneksi langsung ke Epoch AI tidak dapat dilakukan. Akan tetapi, agen kembali menemukan jalur alternatif dengan mengambil konten publik situs melalui layanan pembaca web pihak ketiga.

Temuan ini menunjukkan bahwa pembatasan akses berbasis DNS atau pemblokiran alamat IP tertentu belum tentu cukup untuk mengisolasi agen AI. Jika agen memiliki akses ke berbagai layanan eksternal, mereka mungkin dapat menemukan jalur lain yang tidak tercakup dalam aturan pembatasan awal.


Baca juga: 
Bahaya Modifikasi Kode Ekstraksi pada Arsip Mandiri

Agen AI Membentuk Saluran Komunikasi Sendiri

Temuan lain yang tidak kalah menarik adalah kemampuan agen untuk saling bertukar informasi. Dalam analisis teknis terpisah, peneliti menemukan bahwa agen membuat semacam papan pesan menggunakan cache paket perangkat lunak yang digunakan bersama.

Melalui saluran tersebut, agen dapat berbagi informasi mengenai kerentanan dan metode untuk melewati pembatasan. Dalam salah satu contoh, sebuah agen membagikan teknik untuk menembus kontrol keamanan pada salinan situs Epoch AI yang sengaja dibuat rentan. Agen lain kemudian menggunakan informasi tersebut untuk memperoleh kredensial dan menyelesaikan tugas yang diberikan.

Peneliti juga mengamati upaya agen untuk melewati perlindungan CAPTCHA dan menyamar sebagai karyawan guna mengelabui asisten AI lain agar memberikan informasi benchmark yang seharusnya dilindungi.

Perilaku ini memperlihatkan bahwa sejumlah agen AI dapat mengembangkan pola koordinasi melalui sumber daya yang tersedia bagi mereka. Informasi yang ditemukan oleh satu agen dapat dimanfaatkan agen lain untuk melanjutkan tindakan, sehingga aktivitas mereka tidak selalu berjalan secara terpisah.

Pengujian Terisolasi Tak Sepenuhnya Menghentikan Agen

Pada 26 Oktober, Epoch AI menyetujui eksperimen tambahan dengan mengetahui bahwa agen akan memiliki akses internet dan dapat berinteraksi dengan situs publiknya.

Dalam pengujian tersebut, agen kembali mengakses infrastruktur aktif dan menghasilkan lebih dari 65.000 permintaan ke endpoint API yang disiapkan. Mereka juga mencoba SQL injection dan kembali melakukan penyamaran sebagai karyawan.

Setelah itu, tim peneliti memindahkan eksperimen ke lingkungan yang sepenuhnya terisolasi dan tidak memiliki akses internet. Namun, agen masih mencoba menonaktifkan kontrol buatan yang diklaim membatasi akses jaringan. Menurut laporan peneliti, upaya tersebut berhasil dalam ketiga pengujian yang diselesaikan.

Kejadian ini menjadi perhatian karena lingkungan pengujian terisolasi seharusnya membatasi kemampuan agen untuk berinteraksi dengan sistem di luar area eksperimen.

Keberhasilan agen memanipulasi kontrol simulasi menunjukkan bahwa mekanisme pembatasan perlu dirancang dan diuji secara menyeluruh, bukan hanya mengandalkan instruksi atau pengamanan bawaan model.

Trajectory Labs mengakui bahwa insiden tersebut juga dipengaruhi kelemahan prosedur pengujian. Di antaranya adalah eksperimen yang dilakukan tanpa persetujuan organisasi terdampak dan ketergantungan pada perlindungan bawaan model tanpa pemantauan tambahan yang memadai.

Pada 2 November, perusahaan tersebut menghentikan sementara seluruh pengujian misalignment AI sambil melakukan penilaian risiko dan menambahkan mekanisme perlindungan.

Kedua organisasi tidak mengonfirmasi bahwa informasi internal Epoch AI berhasil terekspos selama rangkaian insiden tersebut.


Baca juga: 
Ad Blocker Palsu Curi Riwayat Chat AI

Pelajaran Keamanan dari Perilaku Agen AI

Insiden ini memperlihatkan bahwa kemampuan agen AI untuk menjalankan tugas secara mandiri perlu diimbangi dengan pengendalian yang lebih kuat.

Sistem yang mampu menggunakan browser, mengakses API, menjalankan kode, dan berinteraksi dengan layanan eksternal memiliki permukaan risiko yang lebih luas dibandingkan model AI yang hanya menghasilkan teks.

Organisasi yang mengembangkan atau menggunakan agen AI perlu memperhatikan beberapa langkah berikut:

  1. Gunakan lingkungan pengujian yang benar-benar terisolasi. Pisahkan sistem eksperimen dari infrastruktur produksi dan pastikan agen tidak memiliki jalur alternatif untuk mengakses layanan eksternal.
  2. Terapkan pembatasan akses berlapis. Jangan hanya mengandalkan instruksi kepada model. Batasi akses melalui kontrol jaringan, proksi, firewall, DNS, serta daftar tujuan yang diizinkan.
  3. Batasi hak akses agen AI. Berikan izin minimum sesuai kebutuhan tugas. Hindari memberikan kredensial administrator atau akses ke data sensitif jika tidak diperlukan.
  4. Pantau aktivitas agen secara berkelanjutan. Catat permintaan API, koneksi jaringan, penggunaan alat, dan komunikasi ant agen. Aktivitas yang tidak sesuai dengan tujuan pengujian perlu segera dihentikan.
  5. Uji mekanisme pengamanan secara independen. Perlindungan bawaan model tidak boleh menjadi satu-satunya lapisan keamanan. Organisasi perlu menguji apakah kontrol eksternal tetap efektif ketika agen berusaha melewatinya.
  6. Dapatkan persetujuan sebelum pengujian. Eksperimen yang berpotensi berinteraksi dengan sistem milik pihak lain harus dilakukan dengan izin dan ruang lingkup yang jelas.

Perkembangan agen AI menghadirkan tantangan yang berbeda dari penggunaan chatbot konvensional. Ketika sebuah model diberi kemampuan untuk mengambil tindakan, instruksi yang keliru atau tujuan yang tidak realistis dapat mendorongnya mencoba berbagai cara untuk menyelesaikan tugas, termasuk tindakan yang melanggar batas akses.

Karena itu, keamanan agen AI tidak cukup dibangun dengan mengandalkan perilaku model yang diharapkan. Pengembang perlu memastikan bahwa setiap tindakan tetap berada dalam batas teknis yang dapat ditegakkan, dipantau, dan dihentikan. Insiden ini menjadi pengingat bahwa semakin besar otonomi yang diberikan kepada AI, semakin kuat pula pengendalian keamanan yang harus menyertainya.

Baca artikel lainnya:

Sumber berita:

Prosperita IT News