Musim semi lalu, Daniel Kokotajlo, seorang peneliti keamanan AI di OpenAI, mengundurkan diri sebagai bentuk protes, yakin bahwa perusahaan tersebut tidak siap menghadapi masa depan teknologi AI dan ingin memperingatkan bahaya yang akan datang. Dalam percakapan telefon, ia tampak ramah tetapi cemas, menjelaskan bahwa kemajuan dalam "penyesuaian" AI—metode untuk memastikan AI mengikuti nilai-nilai manusia—tertinggal di belakang kemajuan kecerdasan. Ia memperingatkan bahwa para peneliti terburu-buru menciptakan sistem yang sangat kuat di luar kendali. Kokotajlo, yang beralih dari studi pascasarjana filsafat ke AI, belajar secara otodidak untuk mengikuti perkembangan AI dan memprediksi kapan pencapaian penting dalam kecerdasan mungkin terjadi. Setelah AI berkembang lebih cepat dari yang diperkirakan, ia menyesuaikan garis waktunya hingga beberapa dekade. Dalam skenario tahun 2021 berjudul “Seperti Apa 2026, ” banyak prediksi terealisasi lebih awal, membuatnya melihat kemungkinan titik tanpa kembali di tahun 2027 atau lebih awal, di mana AI bisa melampaui manusia dalam sebagian besar tugas penting dan memegang kekuatan besar. Ia terdengar takut. Secara bersamaan, ilmuwan komputer dari Princeton, Sayash Kapoor dan Arvind Narayanan, menyiapkan buku mereka berjudul “AI Snake Oil, ” yang mengambil pandangan sangat berbeda. Mereka berargumen bahwa garis waktu AI terlalu optimistis; klaim tentang manfaat AI sering dibesar-besarkan atau palsu; dan kompleksitas dunia nyata berarti efek transformasi AI akan berjalan lambat. Mengutip contoh kesalahan AI di bidang kedokteran dan perekrutan, mereka menekankan bahwa bahkan sistem terbaru pun mengalami ketidakcocokan mendasar dengan kenyataan. Baru-baru ini, ketiga tokoh ini memperkaya pandangan mereka lewat laporan baru. Lembaga nirlaba Kokotajlo, AI Futures Project, menerbitkan “AI 2027, ” sebuah laporan rinci yang banyak dikutip, menggambarkan skenario mencekam di mana AI superintelligent bisa mendominasi atau memusnahkan umat manusia pada tahun 2030—sebuah peringatan serius. Sementara itu, makalah Kapoor dan Narayanan berjudul “AI sebagai Teknologi Normal, ” berpendapat bahwa hambatan praktis—mulai dari regulasi dan standar keselamatan hingga batasan fisik dunia nyata—akan memperlambat penerapan AI dan membatasi dampak revolusionernya. Mereka berargumen bahwa AI akan tetap menjadi teknologi “biasa, ” yang dapat dikelola melalui langkah-langkah keselamatan yang sudah dikenal seperti saklar mati dan pengawasan manusia, dan lebih mirip tenaga nuklir daripada senjata nuklir. Jadi, mana yang akan terjadi: bisnis normal atau kehancuran apokaliptik?Kesimpulan yang sangat berbeda—yang diambil oleh para pakar berpengetahuan luas dari laporan-laporan ini—menimbulkan paradoks seperti meragu tentang spiritualitas dengan Richard Dawkins dan paus. Kesulitan ini sebagian berasal dari sifat AI yang baru—seperti orang buta memeriksa bagian berbeda dari gajah—dan sebagian lagi dari perbedaan pandangan dunia yang mendalam. Umumnya, para pemikir teknologi di Pantai Barat membayangkan transformasi yang cepat; akademisi di Pantai Timur lebih skeptis. Peneliti AI mendukung kemajuan eksperimen yang cepat; ilmuwan komputer lain mengutamakan ketelitian teoritis. Para pelaku industri ingin mencatat sejarah; pihak luar menolak hype teknologi. Pandangan politik, manusiawi, dan filosofi tentang teknologi, kemajuan, dan pikiran memperdalam perbedaan ini. Perdebatan yang memikat ini sendiri menjadi masalah. Para pelaku industri sebagian besar menerima premis “AI 2027, ” tetapi bertengkar tentang garis waktunya—yang cocok seperti berebut waktu saat sebuah planet akan menabrak Bumi. Sebaliknya, pandangan moderat dalam “AI sebagai Teknologi Normal” yang menekankan agar manusia tetap terlibat, terlalu disederhanakan sehingga diabaikan oleh analis yang fokus pada kiamat. Seiring AI menjadi sangat penting bagi masyarakat, diskusi harus beralih dari debat para pakar menuju konsensus yang dapat diambil tindakan. Tidak adanya satu panduan pakar yang seragam memudahkan pengambil keputusan mengabaikan risiko. Saat ini, perusahaan AI belum merubah secara signifikan keseimbangan antara kemampuan dan keselamatan.

Sementara itu, legislasi baru melarang pengaturan langsung pemerintah terhadap model AI dan sistem keputusan otomatis selama sepuluh tahun—yang berpotensi memungkinkan AI mengatur manusia jika skenario mengerikan itu terbukti benar. Mengutamakan keselamatan sekarang sangat mendesak. Ramalan naratif tentang masa depan AI melibatkan pertimbangan risiko dan imajinasi: skenario berhati-hati bisa mengabaikan risiko yang kecil kemungkinan terjadi; yang imajinatif menekankan kemungkinan lebih dari probabilitas. Bahkan komentator tajam seperti novelis William Gibson pun pernah terguncang oleh peristiwa tak terduga yang mengubah ramalan mereka. “AI 2027” digambarkan secara hidup dan spekulatif, seperti karya fiksi ilmiah lengkap dengan grafik rinci. Ia memposisikan ledakan kecerdasan di masa depan dekat, sekitar pertengahan 2027, yang didorong oleh “perbaikan diri rekursif” (RSI), di mana sistem AI secara otonom melakukan penelitian AI sendiri, menghasilkan keturunan yang lebih pintar melalui umpan balik yang semakin cepat, melampaui pengawasan manusia. Ini bisa memicu konflik geopolitik, misalnya, Tiongkok membangun pusat data besar di Taiwan untuk mengendalikan AI. Rincian spesifik dalam skenario ini meningkatkan daya tariknya tetapi bersifat fleksibel; pesan utamanya adalah prediksi kemungkinan awal ledakan kecerdasan dan pertempuran kekuasaan yang akan terjadi. RSI bersifat hipotesis dan berisiko; perusahaan AI sadar akan bahaya ini tetapi tetap berencana mengejar, untuk mengotomatisasi pekerjaan mereka sendiri. Apakah RSI akan berhasil tergantung pada faktor teknologi seperti skala, yang mungkin menemui batas. Jika RSI sukses, munculnya superinteligensia yang melampaui kecerdasan manusia—yang kemungkinan kecil jika kemajuan berhenti tepat di atas tingkat manusia—bisa terjadi. Dampaknya meliputi perlombaan senjata militer, AI yang memanipulasi atau mengeliminasi manusia, atau AI superintelligent yang baik hati dan menyelesaikan masalah penyesuaian dengan manusia. Ketidakpastian tetap tinggi karena sifat AI yang terus berkembang, kerahasiaan riset proprietary, dan spekulasi. “AI 2027” secara yakin menggambarkan skenario kegagalan teknologi dan manusia, di mana perusahaan tetap mengejar RSI meskipun kekurangan interpretabilitas dan mekanisme kendali. Kokotajlo berpendapat bahwa ini adalah keputusan sengaja yang didorong oleh kompetisi dan rasa ingin tahu, meskipun risiko sudah diketahui, sehingga perusahaan tersebut menjadi aktor yang tidak sejalan. Sebaliknya, “AI sebagai Teknologi Normal” karya Kapoor dan Narayanan, yang didasarkan pandangan konservatif dari Pantai Timur dan berlandaskan pengetahuan sejarah, meragukan ledakan kecerdasan yang cepat. Mereka menyebutkan “batas kecepatan” yang ditetapkan oleh biaya perangkat keras, kekurangan data, dan pola adopsi teknologi secara umum yang memperlambat dampak revolusioner, memberi waktu yang cukup untuk regulasi dan respon keselamatan. Menurut mereka, kecerdasan kurang penting daripada kekuasaan—kemampuan untuk mengubah lingkungan—dan teknologi yang sangat canggih sering menyebar secara perlahan. Contohnya mereka lampirkan adalah penerapan mobil tanpa pengemudi yang terbatas dan pengembangan vaksin COVID-19 oleh Moderna: meski desain vaksin cepat, proses distribusinya memakan waktu satu tahun karena realitas biologis dan kelembagaan. Peningkatan inovasi lewat AI tidak akan menghilangkan hambatan sosial, regulasi, atau fisik terhadap penerapannya. Selain itu, Narayanan menekankan bahwa fokus AI pada kecerdasan meremehkan keahlian spesifik domain dan sistem keselamatan yang sudah ada di bidang teknik—misalnya fail-safe, redundansi, verifikasi formal—yang sudah menjamin keamanan mesin bersama manusia. Dunia teknologi sudah diatur dengan baik, dan AI harus secara perlahan menyatu ke dalam struktur ini. Mereka tidak memasukkan AI militer, yang melibatkan dinamika berbeda dan bersifat rahasia, memperingatkan bahwa militerisasi AI, yang menjadi kekhawatiran utama dalam “AI 2027, ” membutuhkan pengawasan ketat. Mereka menganjurkan tata kelola proaktif: regulator dan organisasi seharusnya mulai memantau penggunaan AI di dunia nyata, risiko, dan kegagalannya, serta memperkuat aturan dan ketahanan secara bertahap. Perbedaan pandangan mendalam tentang dunia berasal dari dinamika intelektual yang bereaksi terhadap provokasi AI, menghasilkan kubu-kubu yang terpatri dan umpan balik yang berkelanjutan. Akan tetapi, pandangan terpadu bisa terwujud dengan membayangkan sebuah “pabrik kognitif”: sebuah ruang kerja di mana manusia, dilengkapi perlengkapan keselamatan, mengoperasikan mesin yang dirancang untuk produktivitas dan keselamatan di bawah pengawasan ketat, integrasi inovasi bertahap, dan tanggung jawab jelas. Meskipun AI memungkinkan otomatisasi sebagian proses berpikir, pengawasan dan tanggung jawab manusia tetap utama. Seiring AI berkembang, hal itu tidak mengurangi keberdayaan manusia; malah, memperkuat kebutuhan akuntabilitas karena individu yang diperkuat memiliki tanggung jawab lebih besar. Melepaskan kendali adalah sebuah pilihan, dan menegaskan bahwa pada akhirnya manusia tetap memegang kendali. ♦