Syarikat-syarikat kecerdasan buatan telah diberi galakan untuk mengulangi pengiraan keselamatan yang memberitahu ujian nuklear pertama Robert Oppenheimer sebelum melepaskan sistem yang sangat kuat. Max Tegmark, tokoh terkenal dalam keselamatan AI, mendedahkan bahawa dia telah melakukan pengiraan yang serupa dengan yang dilakukan oleh ahli fizik AS Arthur Compton sebelum ujian Trinity. Tegmark mendapati kemungkinan 90% bahawa AI yang sangat maju boleh menimbulkan risiko kewujudan. Kerajaan AS telah meneruskan ujian Trinity pada tahun 1945 selepas mendapat jaminan bahawa kemungkinan bom atom menyulut atmosfera dan mengancam manusia adalah sangat kecil. Dalam satu kertas yang ditulis oleh Tegmark dan tiga pelajarnya dari MIT, mereka mengesyorkan mengira “konstan Compton, ” yang ditakrifkan sebagai kebarangkalian AI yang berkuasa penuh melarikan diri dari kawalan manusia. Compton, dalam satu temu bual pada tahun 1959 dengan penulis AS Pearl Buck, menyatakan bahawa dia telah meluluskan ujian tersebut selepas menganggarkan peluang reaksi fusi yang tidak terkawal adalah “sedikit kurang” daripada satu dalam tiga juta. Tegmark berpendapat bahawa syarikat AI mesti mengambil tanggungjawab untuk dengan teliti menentukan sama ada Super Artificial Intelligence (ASI)—satu sistem teoritis yang melepasi kepintaran manusia dalam semua bidang—akan mengelak pengawasan manusia. “Syarkat yang membina super-cerdik perlu mengira konstan Compton, kebarangkalian kita kehilangan kawalan ke atasnya, ” katanya.

“Sangat tidak cukup untuk mengatakan ‘kami berasa yakin mengenainya. ’ Mereka mesti mengira peratusan kebarangkalian itu. ” Tegmark mencadangkan bahawa kesepakatan mengenai konstan Compton yang dihasilkan dari beberapa syarikat akan menjana “hasrat politik” untuk mewujudkan piawaian keselamatan AI global. Sebagai seorang profesor fizik dan penyelidik AI di MIT, Tegmark menubuhkan bersama Institut Masa Depan Kehidupan, sebuah organisasi bukan untung yang mempromosikan pembangunan AI yang selamat. Institut ini menerbitkan surat terbuka pada tahun 2023 yang mendesak agar dihentikan sementara penciptaan AI yang kuat. Lebih dari 33, 000 individu menandatangani surat itu, termasuk Elon Musk—penyokong awal institusi tersebut—dan pengasas bersama Apple, Steve Wozniak. Surat yang dikeluarkan beberapa bulan selepas peluncuran ChatGPT, yang menandakan era baharu dalam pembangunan AI, memberi amaran bahawa makmal-makmal AI terlibat dalam “perlumbaan di luar kawalan” untuk menempatkan “mind digital yang semakin kuat” yang tidak ada siapa pun boleh “memahami, meramalkan, atau kawal dengan pasti. ” Tegmark bercakap kepada Guardian ketika sekumpulan pakar AI—termasuk profesional industri teknologi, wakil agensi keselamatan yang disokong kerajaan, dan akademik—mengembangkan pendekatan baharu untuk pembangunan AI yang selamat. Laporan Singapore Consensus mengenai Keutamaan Penyelidikan Keselamatan AI Global yang dihasilkan oleh Tegmark, pakar komputer terkemuka Yoshua Bengio, dan kakitangan dari syarikat AI terkemuka seperti OpenAI dan Google DeepMind, menggariskan tiga bidang penyelidikan utama: membangun kaedah untuk mengukur impak sistem AI semasa dan yang akan datang; menetapkan tingkah laku AI yang diingini dan mereka bentuk sistem untuk mencapainya; dan mengurus serta mengawal tingkah laku AI. Merujuk kepada laporan tersebut, Tegmark menyatakan bahawa dorongan untuk pembangunan AI yang selamat telah mendapatkan momentum semula selepas sidang kemuncak AI kerajaan baru-baru ini di Paris, di mana Naib Presiden AS JD Vance menolak kekhuatiran keselamatan, dan menyatakan bahawa masa depan AI “tidak akan dimenangi dengan meratap tentang keselamatan. ” Tegmark berkata: “Nampaknya suasana suram dari Paris sudah reda dan kerjasama antarabangsa kembali mengaum. ”