Perusahaan kecerdasan buatan didorong untuk menyalin perhitungan keselamatan yang menjadi dasar uji coba nuklir pertama Robert Oppenheimer sebelum merilis sistem yang sangat kuat. Max Tegmark, tokoh terkemuka dalam keselamatan AI, mengungkapkan bahwa ia telah melakukan perhitungan serupa dengan yang dilakukan oleh fisikawan AS Arthur Compton sebelum uji Trinity. Tegmark menemukan peluang sebesar 90% bahwa AI yang sangat maju dapat menimbulkan risiko eksistensial. Pemerintah AS melanjutkan uji Trinity pada tahun 1945 setelah mendapatkan jaminan bahwa kemungkinan bom atom memicu reaksi di atmosfer dan mengancam umat manusia sangat kecil. Dalam sebuah makalah yang ditulis oleh Tegmark dan tiga mahasiswa MIT-nya, mereka merekomendasikan perhitungan “Konstanta Compton, ” yang didefinisikan sebagai peluang agar AI yang sangat kuat melarikan diri dari kendali manusia. Compton, dalam sebuah wawancara tahun 1959 dengan penulis AS Pearl Buck, menyatakan bahwa dia telah menyetujui uji tersebut setelah memperkirakan peluang reaksi fusion yang tidak terkendali “sedikit kurang” dari satu dalam tiga juta. Tegmark berpendapat bahwa perusahaan AI harus bertanggung jawab untuk secara teliti menentukan apakah Super Artificial Intelligence (ASI)—sistem teoritis yang melampaui kecerdasan manusia di semua bidang—akan mampu menghindari pengawasan manusia. “Perusahaan yang membangun super-intelligence perlu menghitung Konstanta Compton, yaitu peluang bahwa kita kehilangan kendali atasnya, ” katanya. “Cukup mengatakan ‘kami merasa yakin’ tidak cukup.

Mereka harus menghitung persentasenya. ” Tegmark menyarankan bahwa konsensus mengenai Konstanta Compton yang diperoleh dari berbagai perusahaan akan menghasilkan “kemauan politik” untuk menetapkan standar keselamatan AI global. Sebagai profesor fisika dan peneliti AI di MIT, Tegmark ikut mendirikan Future of Life Institute, sebuah organisasi nirlaba yang mempromosikan pengembangan AI yang aman. Pada tahun 2023, lembaga tersebut menerbitkan surat terbuka yang mendesak penangguhan pembuatan AI yang kuat. Lebih dari 33. 000 orang menandatangani surat tersebut, termasuk Elon Musk—pendukung awal lembaga ini—dan pendiri Apple Steve Wozniak. Surat tersebut, dikeluarkan beberapa bulan setelah peluncuran ChatGPT yang menandai era baru dalam pengembangan AI, memperingatkan bahwa laboratorium AI terlibat dalam “perlombaan tak terkendali” untuk mengembangkan “pikiran digital yang semakin kuat” yang tidak ada yang bisa “memahami, memprediksi, atau mengendalikan secara andal. ” Tegmark berbicara kepada Guardian saat sekelompok pakar AI—termasuk profesional industri teknologi, perwakilan badan keamanan yang didukung negara, dan akademisi—mengembangkan pendekatan baru untuk pengembangan AI yang aman. Laporan Singapore Consensus mengenai Prioritas Penelitian Keamanan AI Global, yang dipublikasikan oleh Tegmark, ilmuwan komputer terkemuka Yoshua Bengio, dan staf dari perusahaan AI terkemuka seperti OpenAI dan Google DeepMind, menguraikan tiga area utama penelitian: mengembangkan metode untuk mengukur dampak sistem AI saat ini dan yang akan datang; menentukan perilaku AI yang diinginkan dan merancang sistem untuk mencapainya; serta mengelola dan mengendalikan perilaku AI. Merujuk pada laporan tersebut, Tegmark mencatat bahwa dorongan untuk pengembangan AI yang aman kembali mendapatkan momentum setelah KTT pemerintah tentang AI di Paris baru-baru ini, di mana Wakil Presiden AS JD Vance menolak kekhawatiran tentang keselamatan, menyatakan bahwa masa depan AI “tidak akan dimenangkan dengan memikirkan keselamatan secara berlebihan. ” Tegmark mengatakan: “Sepertinya, suasana suram dari Paris telah menghilang dan kolaborasi internasional kembali menguat secara besar-besaran. ”