Kunstig intelligens-selskaper har blitt oppmuntret til å replikere sikkerhetsberegningene som informerte Robert Oppenheimers første kjernefysiske test før de slipper ultra-kraftige systemer. Max Tegmark, en fremtredende figur innen AI-sikkerhet, avslørte at han hadde utført beregninger som lignet de som ble gjort av den amerikanske fysikeren Arthur Compton før Trinity-testen. Tegmark fant ut at det var 90 % sannsynlighet for at en svært avansert AI kunne utgjøre en eksistensiell risiko. Den amerikanske regjeringen gikk videre med Trinity-testing i 1945 etter forsikringer om at sjansen for at en atombombe skulle antenne atmosfæren og true menneskeheten var nærmest uappellerbar. I en artikkel skrevet av Tegmark og tre av hans MIT-studenter anbefaler de å beregne “Compton-konstanten, ” definert som sannsynligheten for at en allmektig AI rømmer menneskets kontroll. Compton uttalte i et intervju i 1959 med den amerikanske forfatteren Pearl Buck at han hadde godkjent testen etter å ha estimert sjansene for en ukontrollert fusjonsreaksjon til “litt mindre” enn én av tre millioner. Tegmark argumenterte for at AI-selskaper må ta ansvar for å nøye fastslå om Kunstig Superintelligens (ASI)—et teoretisk system som overgår menneskets intelligens på alle områder—vil unngå menneskelig overvåkning. “Firmaene som bygger superintelligens må beregne Compton-constanten, sannsynligheten for at vi mister kontrollen over den, ” sa han.

“Det hjelper ikke å si ‘vi føler oss trygge på det. ’ De må kalkulere prosentandelen. ” Tegmark foreslo at en konsensus om Compton-constanten basert på flere selskaper ville skape den “politiske viljen” til å etablere globale AI-sikkerhetsstandarder. Som fysikkprofessor og AI-forsker ved MIT var Tegmark med på å grunnlegge Future of Life Institute, en ikke-kommunal organisasjon som promoterer trygg AI-utvikling. Instituttet utga i 2023 et åpent brev som oppfordret til en pause i utviklingen av kraftige AI-er. Over 33 000 personer undertegnet brevet, inkludert Elon Musk—en tidlig støttespiller av instituttet—and Apple-medgrunnlegger Steve Wozniak. Brevet, som ble utstedt måneder etter lanseringen av ChatGPT og markerte en ny æra innen AI-utvikling, advarte om at AI-laboratorier var engasjert i et “ukontrollerbart kappløp” for å distribuere “mer og mer kraftige digitale hjerner” som ingen kan “forstå, forutsi eller kontrollere pålitelig. ” Tegmark snakket med Guardian mens en gruppe AI-eksperter—inkludert teknologibransjens profesjonelle, representanter for statlige sikkerhetsorganer og akademikere—utviklet en ny tilnærming for tryg AI-utvikling. Rapporten “Singapore Consensus on Global AI Safety Research Priorities, ” utarbeidet av Tegmark, den ledende datavitenskapsmannen Yoshua Bengio, og ansatte fra ledende AI-selskaper som OpenAI og Google DeepMind, skisserte tre hovedområder for forskning: å utvikle metoder for å måle effekten av nåværende og fremtidige AI-systemer; å spesifisere ønsket AI-oppførsel og designe systemer for å oppnå det; og å håndtere og kontrollere AI-oppførsel. Med henvisning til rapporten nevnte Tegmark at presset for sikker AI-utvikling hadde fått ny fart etter det nylige internasjonale AI-topmøtet i Paris, hvor USAs visepresident JD Vance avviste sikkerhetsbekymringer, og uttalte at AI-fremtiden “ikke kommer til å vinnes ved å sitte og vri hendene. ” Tegmark sa: “Det føles virkelig som om mørket fra Paris har lettet, og internasjonalt samarbeid har kommet sterkt tilbake. ”