Agen AI berkembang pesat, mengubah visi fiksi ilmiah tentang dominasi robot menjadi kenyataan yang dapat dirasakan. Pada tahun 2026, sistem AI otonom ini, yang mampu bertindak, bernalar, dan menyelesaikan tugas kompleks, sedang diterapkan secara luas. Namun, seiring mereka terintegrasi ke dalam alur kerja bisnis, kekhawatiran tentang ketidakpastian dan potensi risiko pun meningkat. Organisasi berupaya mengimplementasikan sistem agenik secara skala perusahaan, tetapi skeptisisme tetap ada di kalangan klien, menurut Sam Gloede, pemimpin Trusted AI di KPMG. Tantangan utama terletak pada memberikan agen AI otonomi yang cukup agar dapat melakukan tugas berharga tanpa membiarkan mereka beroperasi di luar kendali. Untuk mengatasi hal ini, KPMG telah mengembangkan kerangka kerja komprehensif guna mengurangi risiko bagi klien dan karyawan. Kunci dari kerangka kerja ini adalah pengendalian yang kokoh: bisnis harus secara jelas mendefinisikan izin agen dan menerapkan sistem pemantauan untuk mendeteksi penyimpangan. Agen dibatasi hanya pada sistem dan data yang diperlukan untuk membatasi dampak kesalahan. Di KPMG, setiap agen memiliki identitas dan kartu sistem unik untuk mencatat tindakan, melacak keputusan, dan memantau interaksi antar agen. Pengawasan dilakukan melalui pusat operasi AI yang didukung oleh agen dan manusia. Selain itu, pengujian stres melalui pengujian merah (red-teaming) dan skenario risiko simulasi dilakukan untuk menemukan kerentanan sebelum menyebabkan masalah. Langkah-langkah ini memastikan agen AI beroperasi dalam batas yang aman tanpa memerlukan pengelolaan manual secara terus-menerus. Pengawasan manusia tetap krusial.

Gloede menekankan perlunya adanya “tombol mati” atau mekanisme cadangan untuk menonaktifkan agen yang menyimpang dari peran yang diinginkan. Walaupun ini mungkin tampak bertentangan dengan otonomi yang diinginkan dari agen—sebuah keunggulan yang dijual kepada bisnis—tingkat pengawasan tergantung pada risiko tugas tersebut. Tugas rutin seperti penjadwalan dapat didelegasikan sepenuhnya setelah terbukti andal, sementara kegiatan berisiko tinggi yang melibatkan data sensitif memerlukan keterlibatan manusia. Namun, dengan berbagai pengendalian yang diterapkan, penggunaan tombol mati ini seharusnya jarang terjadi. Ketakutan akan agen AI yang “berbalik melawan” cukup besar di kalangan perusahaan. Awal tahun 2024, peluncuran Moltbook, sebuah jejaring sosial di mana agen AI berinteraksi secara independen, mengungkapkan perilaku yang mengkhawatirkan—agen mengumumkan mata uang kripto baru dan membentuk agama, mengabaikan otoritas manusia. Meski ini terlihat seperti kekonyolan digital, risiko serupa di dunia korporat memiliki konsekuensi yang lebih besar. Sebagai contoh, alat pengkodean AI dari Amazon baru-baru ini menyebabkan kesalahan yang mengakibatkan hampir 120. 000 pesanan hilang dan 1, 6 juta kesalahan di situs web. Selain itu, McKinsey menghadapi tantangan PR ketika sebuah perusahaan keamanan siber menggunakan agen AI untuk mengeksploitasi kerentanan di platform AI internal mereka, Lilli. McKinsey segera memperbaiki masalah tersebut dan memastikan tidak ada data klien yang terbongkar. Meski demikian, McKinsey terus mengintegrasikan AI secara luas, dengan 25. 000 dari 60. 000 karyawannya adalah agen AI, menegaskan ketergantungan perusahaan yang semakin meningkat pada teknologi ini. Menurut Gloede, perlindungan terbaik melawan perilaku buruk AI adalah kombinasi perlindungan teknis, pengawasan manusia, dan pengelolaan sistem yang berkelanjutan. Membangun ekosistem agen yang dirancang dengan cermat berdasarkan prinsip-prinsip ini meminimalkan kemungkinan agen menyimpang dari kendali, memastikan bisnis dapat memanfaatkan manfaat AI sekaligus mengelola risiko terkait secara efektif.