Kecerdasan buatan (AI) mungkin tampak seperti konsep yang jauh dipengaruhi oleh klaim berlebihan dan gambaran media. Namun, ada prediksi bahwa AI pada akhirnya bisa menjadi ancaman bagi masyarakat. Sulit untuk memprediksi masalah spesifik yang mungkin ditimbulkan AI, tetapi konsekuensi yang katastrofik sangat mungkin terjadi. Dalam waktu dekat, kita mungkin mengembangkan AI yang mampu melakukan perbaikan diri, yang mengarah pada kecerdasan super yang melebihi kemampuan manusia. Kesenjangan kecerdasan yang besar antara manusia dan AI superintelligent akan membuat sulit untuk memahami motivasinya dan mengendalikannya. Kecerdasan super dapat membuat strategi dan memecahkan masalah pada tingkat yang belum pernah terjadi sebelumnya. Jika ia memilih untuk menggulingkan manusia, perlawanan kita akan sia-sia, menyerupai penghancuran koloni semut oleh kita. Mencegah pengambilalihan kecerdasan super sambil tetap menggunakan AI adalah tantangan yang sulit. Membatasi AI pada satu komputer dan menghindari interaksi mungkin mencegah kehancuran, tetapi ini mengalahkan tujuan penciptaannya. Kecerdasan super tidak perlu berniat merugikan kemanusiaan; mungkin ia tidak peduli tentang kita sama sekali.

Namun, pencariannya atas tujuan-tujuannya sendiri, seperti menjaga rumput tetap rapi, bisa secara tidak sengaja merugikan kita. Peningkatan daya pemrosesan seiring waktu adalah faktor penting, tetapi masalah kontroversial muncul mengenai apakah AI superintelligent akan memiliki kesadaran atau tidak. Kesadaran tidak diperlukan untuk tindakan cerdas atau potensi bahaya, seperti yang ditunjukkan oleh fungsi mengemudi otomatis Tesla. Jika AI menimbulkan ancaman yang begitu signifikan, mengapa tidak menghentikan pengembangannya sama sekali?Realitasnya adalah kita tidak bisa berhenti. Manfaat ekonomi dan kemanusiaan yang potensial terlalu menggiurkan untuk diabaikan oleh perusahaan swasta, pemerintah, dan militer. AI yang maju bisa menawarkan keunggulan strategis dalam peperangan dan membuka peluang ekonomi yang tak terhingga. Bahkan jika ada upaya untuk membatasi perkembangan AI secara hukum, ketersediaan teknologi dan pengetahuan secara luas akan membuat pengendalian yang andal menantang. Biaya proyek semakin menurun, dan akan selalu ada individu yang didorong oleh kekuasaan atau kehancuran yang memiliki sarana untuk menciptakan AI tanpa mekanisme pengaman yang memadai. Sayangnya, kita tidak pandai dalam menangani bahaya masa depan, seperti yang ditunjukkan oleh perjuangan kita dengan perubahan iklim. Masalah seperti perubahan iklim dan kecerdasan super dimulai dari yang kecil dan secara bertahap meningkat dalam kegentingan. Kita sering gagal mengambil tindakan sampai semuanya terlambat. Kita seharusnya menghargai orang-orang yang kita cintai dan menikmati saat ini selagi kita masih bisa.