Firmy zajmujące się sztuczną inteligencją zostały zachęcone do odtworzenia obliczeń bezpieczeństwa, które miały miejsce przed pierwszym testem nuklearnym Roberta Oppenheimera, zanim upubliczniono systemy o ultrawysokiej mocy. Max Tegmark, uznany ekspert ds. bezpieczeństwa AI, ujawnił, że wykonał obliczenia podobne do tych, które przeprowadził amerykański fizyk Arthur Compton przed testem Trinity. Tegmark stwierdził, że istnieje 90% prawdopodobieństwo, iż wysoko zaawansowana sztuczna inteligencja może stanowić zagrożenie egzystencjalne. Rząd USA przeprowadził test Trinity w 1945 roku po zapewnieniach, że szansa na zapalenie się atmosfery przez bombę atomową i zagrażanie ludzkości jest zaniedbywalnie mała. W artykule napisałym przez Tegmarka i trzech jego studentów z MIT zalecają oni obliczanie „stałej Compton’a”, zdefiniowanej jako prawdopodobieństwo, że wszechmocna sztuczna inteligencja wymknie się spod kontroli człowieka. Compton, w wywiadzie z 1959 roku dla amerykańskiej pisarki Pearl Buck, stwierdził, że zatwierdził test po oszacowaniu szans na niekontrolowaną reakcję fuzji na „nieco mniej” niż jeden na trzy miliony. Tegmark argumentował, że firmy zajmujące się AI muszą wziąć odpowiedzialność za dokładne określenie, czy sztuczna superinteligencja (ASI)—teoretyczny system przewyższający ludzką inteligencję we wszystkich dziedzinach—uniknie nadzoru ludzkiego. „Firmy budujące superinteligencję muszą obliczyć stałą Compton’a, czyli prawdopodobieństwo utraty nad nią kontroli, ” powiedział. „Sformułowanie ‘czujemy się z tym dobrze’ jest niewystarczające.

Muszą wyliczyć procent. ” Tegmark zasugerował, że konsensus dotyczący stałej Compton’a, wywiedziony z danych wielu firm, mógłby wywołać „polityczną wolę” do ustanowienia globalnych standardów bezpieczeństwa AI. Jako profesor fizyki i badacz AI na MIT, Tegmark współzałożył Instytut Przyszłości Życia, organizację non-profit promującą bezpieczny rozwój AI. Instytut opublikował w 2023 roku otwarte pismo wzywające do zawieszenia tworzenia potężnych sztucznych inteligencji. Pod pismem podpisało się ponad 33 000 osób, w tym Elon Musk—wczesny zwolennik instytutu—and współzałożyciel Apple, Steve Wozniak. Pismo, wydane kilka miesięcy po premierze ChatGPT, która zapoczątkowała nową erę rozwoju AI, ostrzegało, że laboratoria AI prowadziły „poza kontrole wyścig” w celu rozwijania „coraz potężniejszych cyfrowych umysłów, ” których nikt nie jest w stanie „zrozumieć, przewidzieć ani wiarygodnie kontrolować. ” Tegmark rozmawiał z Guardianem, gdy grupa ekspertów ds. AI—w tym profesjonaliści branży technologicznej, przedstawiciele państwowych agencji bezpieczeństwa oraz naukowcy—opracowywała nową strategię bezpiecznego rozwoju AI. Raport zatytułowany „Konsensus Singapurski na temat priorytetów badań nad bezpieczeństwem AI na świecie, ” opracowany przez Tegmarka, wiodącego naukowca Yoshua Bengio oraz personel z czołowych firm AI, takich jak OpenAI i Google DeepMind, wyznaczył trzy kluczowe obszary badawcze: rozwijanie metod pomiaru wpływu obecnych i przyszłych systemów AI; określenie pożądanych zachowań AI i projektowanie systemów, które je osiągną; oraz zarządzanie i kontrola zachowań AI. Odwołując się do raportu, Tegmark wskazał, że dążenie do bezpiecznego rozwoju AI odzyskało impet po niedawnym szczycie rządowym w Paryżu, na którym wiceprezydent JD Vance odrzucił obawy o bezpieczeństwo, mówiąc, że przyszłość AI „nie zostanie wygrana przez rozkładanie rąk nad bezpieczeństwem. ” Tegmark powiedział: „Naprawdę odczuwam, że zanikła ta ponura atmosfera z Paryża i powróciła międzynarodowa współpraca. ”