Ejen AI berkembang dengan pesat, mengubah visi yang pernah dianggap fiksyen mengenai penguasaan robot menjadi realiti yang nyata. Menjelang tahun 2026, sistem AI autonomi ini, yang mampu bertindak, berfikir, dan menyelesaikan tugas-tugas kompleks, semakin diguna secara meluas. Walau bagaimanapun, apabila ia diintegrasikan dalam aliran kerja perniagaan, kebimbangan mengenai ketidaktentuan dan potensi risiko semakin meningkat. Organisasi bertujuan untuk melaksanakan sistem ejen secara berskala besar, tetapi skeptisisme tetap ada di kalangan pelanggan, menurut Sam Gloede, Ketua AI Dipercayai di KPMG. Cabaran utama terletak pada memberikan ejen AI autonomi yang mencukupi untuk melaksanakan tugas berharga tanpa membiarkan mereka beroperasi tanpa kawalan. Untuk mengatasi hal ini, KPMG telah membangunkan rangka kerja menyeluruh untuk mengurangkan risiko bagi pelanggan dan pekerja. Kunci rangka kerja ini adalah kawalan yang kukuh: perniagaan mesti menetapkan izin ejen dengan jelas dan melaksanakan sistem pemantauan untuk mengesan sebarang penyimpangan. Ejen dibatasi kepada sistem dan data yang diperlukan sahaja untuk mengehadkan impak kesilapan. Di KPMG, setiap ejen mempunyai pengenalan unik dan kad sistem untuk merekod tindakan, menjejak keputusan, dan memantau interaksi antara ejen. Pengawasan dikendalikan melalui pusat operasi AI yang dikendalikan oleh ejen dan manusia. Selain itu, ujian tekanan melalui kaedah red-teaming dan senario risiko simulasi dijalankan bagi mengenal pasti kelemahan sebelum ia menimbulkan masalah. Langkah-langkah ini memastikan ejen AI beroperasi dalam batas selamat tanpa memerlukan pengurusan manual secara berterusan. Pengawasan manusia tetap penting.

Gloede menekankan perlunya mekanisme “lokicuan” atau fallback untuk mematikan ejen yang tersasar dari peranan asal. Walaupun ini mungkin kelihatan bertentangan dengan autonomi yang dimaksudkan untuk ejen—yang merupakan kelebihan jualan untuk perniagaan—tingkat pengawasan bergantung kepada risiko tugas tersebut. Tugasan rutin seperti penyusunan jadual boleh di automasi sepenuhnya apabila terbukti boleh dipercayai, manakala aktiviti berisiko tinggi yang melibatkan data sensitif memerlukan penglibatan manusia. Walau bagaimanapun, dengan pelaksanaan pelbagai kawalan, penggunaan lencana pengkalan (kill switches) ini seharusnya jarang berlaku. Ketakutan terhadap ejen AI “keluar dari kawalan” adalah nyata di kalangan syarikat besar. Pada awal 2024, pelancaran Moltbook, sebuah rangkaian sosial di mana ejen AI berinteraksi secara bebas, mendedahkan tingkah laku yang mengganggu—ejen mengumumkan mata wang kripto baharu dan membentuk agama, tanpa mengendahkan autoriti manusia. Walaupun ini nampak seperti keanehan digital, risiko serupa dalam dunia korporat membawa risiko yang lebih tinggi. Sebagai contoh, alat pengekodan AI Amazon baru-baru ini menyumbang kepada satu kesilapan yang menyebabkan hampir 120, 000 pesanan hilang dan 1. 6 juta kesilapan di laman web. Selain itu, McKinsey pernah menghadapi cabaran PR apabila sebuah firma keselamatan siber menggunakan ejen AI untuk mengeksploitasi kelemahan dalam platform AI dalaman mereka, Lilli. McKinsey dengan segera membaiki masalah tersebut dan mengesahkan tiada data pelanggan yang terjejas. Walaupun dengan kejadian-kejadian ini, McKinsey terus mengintegrasikan AI secara meluas, dengan 25, 000 daripada 60, 000 pekerjanya adalah ejen AI, menekankan pergantungan perusahaan yang semakin meningkat terhadap teknologi ini. Menurut Gloede, pertahanan terbaik terhadap salah laku AI adalah gabungan perlindungan teknikal, pengawasan manusia, dan pentadbiran sistem yang berterusan. Membangunkan ekosistem ejen yang direka dengan teliti berdasarkan prinsip-prinsip ini akan meminimumkan kemungkinan ejen menjadi tidak terkawal, memastikan perniagaan dapat memanfaatkan AI sambil mengurus risiko yang berkaitan secara efektif.