Yapay zeka şirketleri, Robert Oppenheimer’ın ilk nükleer denemesini bilgilendiren güvenlik hesaplamalarını, ultra güçlü sistemleri serbest bırakmadan önce çoğaltmaya teşvik edildi. Yapay zeka güvenliğinde tanınmış bir figür olan Max Tegmark, Trinity denemesinden önce ABD fizikçisi Arthur Compton tarafından yapılan hesaplamalara benzer hesaplamalar yaptığını açıkladı. Tegmark, oldukça gelişmiş bir yapay zekanın varoluşsal bir risk oluşturma olasılığının %90 olduğunu buldu. ABD hükümeti, atmosfere nükleer bomba tutuşması ve insanlık için tehdit oluşturma olasılığı çok düşük olduğu garantisi sonrası 1945'te Trinity denemesine devam etti. Tegmark ve MIT’ten üç öğrencisinin imzasıyla yayımlanan bir makalede, “Compton sabiti”nin hesaplanması tavsiye ediliyor. Bu sabit, tüm gücüyle bir yapay zekanın insan kontrolünden kaçma olasılığı olarak tanımlanıyor. Compton, 1959’da US yazar Pearl Buck ile yaptığı röportajda, deneyi onaylamasının sebebinin, kaçak füzyon reaksiyonunun olasılığını “bir üçmilyonda biraz az” olarak tahmin etmesi olduğunu belirtti. Tegmark, yapay zeka şirketlerinin, İnsanüstü Yapay Zeka (ASI) - insan zekasını tüm alanlarda aşan teorik bir sistem -’nin insan gözetiminden kaçıp kaçmayacağını titizlikle hesaplamaktan sorumlu olmaları gerektiğini savundu. “Süper zekayı inşa eden şirketlerin, kontrolü kaybetme olasılığı olan Compton sabitini hesaplaması gerekiyor, ” dedi.

“‘İyi hissediyoruz’ demek yeterli değil. Yüzdeyi hesaplamaları şart. ” Tegmark, farklı firmalardan oluşan bir konsensusun, Compton sabiti etrafında birleşerek, küresel yapay zeka güvenliği standartları kurmak için “politik irade” oluşturacağını öne sürdü. MIT’de fizik ve yapay zeka araştırmacısı olarak görev yapan Tegmark, Güvenli Yapay Zeka Gelişimi’ni teşvik eden kar amacı gütmeyen Future of Life Institute'in kurucu ortaklarındandır. Bu kurum, 2023’te güçlü yapay zekaların geliştirilmesine ara verilmesini talep eden açık bir mektup yayımladı. Mektubu, Elon Musk - en eski destekçilerinden biri - ve Apple'ın kurucu ortağı Steve Wozniak dahil olmak üzere 33. 000’den fazla kişi imzaladı. Mektup, ChatGPT’nin piyasaya çıkışının ardından, yeni bir yapay zeka geliştirme çağını müjdeleyen bu gelişme sonrası, yapay zeka laboratuvarlarının “kontrolden çıkan bir yarışa” katıldığını ve “hiç kimsenin anlamadığı, tahmin edemediği veya güvenilir biçimde kontrol edemediği” “daha güçlü dijital zihinler” geliştirmeye çalıştığını belirtti. Tegmark, Guardian’a yaptığı açıklamada, teknoloji sektörü profesyonelleri, devlet destekli güvenlik ajansı temsilcileri ve akademisyenler de dahil olmak üzere bir dizi yapay zeka uzmanının, yapay zekanın güvenli gelişimi için yeni bir yaklaşım geliştirdiğini söyledi. Tegmark’ın önderliğindeki Singapur Gizli Anlaşması’da, OpenAI ve Google DeepMind gibi önde gelen yapay zeka firmalarının çalışanlarının katkılarıyla hazırlanan raporda, üç temel araştırma alanı öne çıktı: mevcut ve gelecekteki yapay zeka sistemlerinin etkisini ölçmek için yöntemler geliştirmek; arzu edilen yapay zeka davranışını belirlemek ve bu doğrultuda sistemler tasarlamak; ve yapay zeka davranışlarını yönetmek ve kontrol altına almak. Rapora atıfta bulunan Tegmark, Paris’te gerçekleşen son hükümetler arası yapay zeka zirvesinden sonra, güvenli yapay zeka geliştirme çabalarının yeniden ivme kazandığını ve ABD Başkan Yardımcısı JD Vance’in güvenlik endişelerini reddederek, “Geleceğin yapay zekası, güvenlik konusundaki endişelerle uğraşmakla kazanılmayacak, ” dedi. Tegmark, “Paris’teki o kasvetin kalktığını ve uluslararası işbirliğinin yeniden hız kazandığını gerçekten hissediyorum, ” diye ekledi.