Kemajuan pesat kecerdasan buatan (AI) telah menimbulkan perdebatan dan kebimbangan yang signifikan di kalangan pakar, terutamanya mengenai kesan jangka panjangnya terhadap manusia. Tokoh-tokoh terkenal seperti Elon Musk, CEO Tesla dan SpaceX, serta Dario Amodei, Ketua Pegawai Eksekutif syarikat penyelidikan AI Anthropic, memberi amaran tentang risiko kewujudan yang serius yang ditimbulkan oleh AI, dengan anggaran peluang kepupusan manusia akibat AI adalah antara 10% hingga 25%. Penilaian yang tegas ini menegaskan keperluan segera bagi rangka kerja pengawalseliaan dan langkah keselamatan yang kukuh untuk mengawasi pembangunan dan penggunaan AI. Elon Musk, yang dikenali dengan pendekatan visioner, telah lama memberi amaran tentang bahaya AI yang tidak dikawal selia. Walaupun mengakui manfaat AI, beliau menekankan bahawa tanpa pengawasan yang betul, AI mungkin melebihi kawalan manusia dan menyebabkan kesan bencana. Musk menyokong pengawalseliaan proaktif untuk memastikan kemajuan AI memfokuskan kepada keselamatan manusia. Begitu juga, Dario Amodei berkongsi kebimbangan ini dan mengetuai Anthropic dalam usaha mencipta sistem AI yang boleh difahami dan selaras dengan nilai manusia untuk mengurangkan risiko yang berkaitan dengan tingkah laku AI autonomi. Anggaran risiko beliau mencerminkan seriusnya pandangan banyak ahli komuniti AI terhadap kemajuan AI yang tidak terkawal. Kes untuk pengawalseliaan semakin kukuh apabila sistem AI berkembang pesat, melaksanakan tugas yang sebelum ini dianggap unik kepada manusia, dari pemprosesan bahasa semula jadi yang canggih hingga pengambilan keputusan autonomi dalam konteks yang kompleks. Walaupun kemajuan ini menjanjikan transformasi industri dan peningkatan kualiti hidup, ia juga menimbulkan cabaran yang belum pernah berlaku sebelum ini untuk memastikan AI beroperasi dengan selamat dan beretika. Pakar berpendapat bahawa tanpa langkah keselamatan, AI boleh disalahgunakan dengan niat jahat atau membangun tingkah laku yang tidak sejajar dengan kepentingan manusia.

Kerumitan AI moden menyukarkan untuk meramalkan semua kemungkinan kegagalan atau akibat yang tidak diingini, meningkatkan kebimbangan terhadap kemalangan atau penyalahgunaan secara sengaja dan meningkatkan keperluan pengurusan AI. Sebagai tindak balas, kalangan saintifik dan dasar semakin mendesak agar wujudnya regulasi AI yang komprehensif, yang bertujuan untuk mewujudkan mekanisme keselamatan, memastikan ketelusan dalam reka bentuk AI, serta menguatkuasakan garis panduan beretika yang sejajar dengan nilai masyarakat. Penekanan terhadap kerjasama antarabangsa amat penting memandangkan pembangunan dan penggunaan AI bersifat global. Di samping pengawalseliaan, penyelidikan berterusan mengenai keselamatan dan etika AI adalah amat penting. Usaha akademik dan organisasi kini tertumpu kepada pembangunan sistem AI yang kuat tetapi dapat dikawal dan selaras dengan matlamat manusia, termasuk pengesahan tingkah laku AI, meningkatkan interpretabiliti, dan menilai impak beretika. Perbincangan mengenai risiko dan pengawalseliaan AI menggambarkan cabaran luas dalam memanfaatkan teknologi transformasi sambil melindungi masa depan manusia. Dengan kemajuan AI yang berlaku secara tidak pernah berlaku sebelum ini, keseimbangan antara inovasi dan kewaspadaan adalah sangat penting. Amaran daripada pemimpin seperti Musk dan Amodei menyoroti keperluan mendesak untuk menangani isu-isu ini. Secara ringkas, anggaran risiko kepupusan manusia akibat AI antara 10% hingga 25% yang dikemukakan oleh pakar terkemuka mewakili kebimbangan global yang mendesak perlunya usaha segera dan berkoordinasi. Mewujudkan rangka kerja pengawalseliaan yang kukuh dan mekanisme keselamatan untuk memastikan pembangunan AI selaras dengan keselamatan dan nilai manusia adalah sangat penting. Kegagalan untuk menangani risiko ini boleh menyebabkan akibat yang tidak dapat dipulihkan, menjadikan pengurusan AI yang berfikir secara menyeluruh dan pelbagai disiplin amat penting untuk masa depan manusia.