कृत्रिम बुद्धिमत्ता कंपनियों को प्रेरित किया गया है कि वे रॉबर्ट ओप्पेनहाइमर के पहले परमाणु परीक्षण से पहले समझ में आए सुरक्षा गणनाओं की नकल करें, इससे पहले कि वे अत्यंत शक्तिशाली प्रणालियों को प्रकाशित करें। मैक्स टेगमार्क, एआई सुरक्षा के एक प्रमुख व्यक्ति, ने खुलासा किया कि उन्होंने उन गणनाओं को किया है जो अमेरिकी भौतिक विज्ञानी आर्थर कॉम्पटन द्वारा ट्रिनिटी परीक्षण से पहले की गई थीं। टेगमार्क ने पाया कि 90% संभावना है कि एक अत्यंत विकसित एआई संभवतः अस्तित्व के लिए खतरा बना सकता है। अमेरिकी सरकार ने 1945 में ट्रिनिटी परीक्षण के साथ आगे बढ़ा, यह सुनिश्चित करने के बाद कि परमाणु बम के वातावरण में आग लगाने और मानवता को खतरे में डालने का अवसर अत्यंत कम था। टेगमार्क और उनके एमआईटी के तीन छात्रों द्वारा लिखित एक पेपर में, उन्होंने “कॉम्पटन स्थिरांक” की गणना की सिफारिश की है, जिसे इस तरह परिभाषित किया गया है कि एक सर्वशक्तिशाली एआई मानव नियंत्रण से बाहर कैसे भाग सकता है। कॉम्पटन ने 1959 में अमेरिकी लेखक पर्ल बक के साथ बातचीत में कहा था कि उन्होंने परीक्षण को मंजूरी दी है क्योंकि उन्होंने “थोड़ा कम” संभावना का अनुमान लगाया था कि एक फ्यूज़न रिएक्शन अपने आप से नियंत्रित से बाहर निकल सकता है, जो कि तीन मिलियन में से एक से थोड़ा कम है। टेगमार्क ने तर्क दिया कि एआई कंपनियों को जिम्मेदारी लेनी चाहिए और सावधानीपूर्वक यह निर्धारित करना चाहिए कि क्या आर्टिफिशियल सुपर इंटेलिजेंस (एएसआई)—एक सैद्धांतिक प्रणाली जो मानव बुद्धिमत्ता से सभी क्षेत्रों में बेहतर हो—मानव निगरानी से बाहर भाग जाएगी। “सुपर-इंटेलिजेंस बना रही कंपनियों को कॉम्पटन स्थिरांक की गणना करनी चाहिए, अर्थात् इस बात की संभावना कि हम उसका नियंत्रण खो दें, ” उन्होंने कहा। “यह कहना पर्याप्त नहीं है कि ‘हम इससे अच्छा महसूस कर रहे हैं।’ उन्हें प्रतिशत का भी अनुमान लगाना चाहिए।” टेगमार्क ने सुझाव दिया कि कई कंपनियों से प्राप्त कॉम्पटन स्थिरांक पर एक आम सहमति “राजनीतिक इच्छा” उत्पन्न करेगी, ताकि वैश्विक एआई सुरक्षा मानक स्थापित किए जा सकें। एमआईटी में भौतिक विज्ञान और एआई शोधकर्ता के रूप में कार्यरत, टेगमार्क ने फ्यूचर ऑफ़ लाइफ़ इंस्टीट्यूट की सह-स्थापना की, एक गैर-लाभकारी संस्था जो सुरक्षित एआई विकास को बढ़ावा देती है। इस संस्थान ने 2023 में एक खुला पत्र प्रकाशित किया, जिसमें शक्तिशाली एआई बनाने में रोक लगाने का अनुरोध किया गया। इस पत्र पर 33, 000 से अधिक व्यक्तियों ने हस्ताक्षर किए, जिनमें एलोन मस्क—जो इस संस्थान के शुरुआती समर्थक हैं—और ऐप्पल के सह-संस्थापक स्टीव वॉज़नियाक भी शामिल हैं। यह पत्र, चैटजीपीटी के विमोचन के महीनों बाद आया, जिसने नए एआई विकास के युग की शुरुआत की, और चेतावनी दी कि एआई लैब “बेवकूफी की दौड़” में लगे हुए हैं ताकि “अतिरिक्त शक्तिशाली डिजिटल मन” का तैनाती किया जाए, जिसकी कोई भी “समझ, पूर्वानुमान या विश्वसनीय नियंत्रण” नहीं कर सकता। टेगमार्क ने गार्जियन से बात करते हुए कहा कि तकनीकी उद्योग के पेशेवरों, सरकारी सुरक्षा एजेंसियों और शिक्षाविदों के एक समूह के साथ, एआई सुरक्षित विकास के लिए नई रणनीति विकसित कर रहे हैं। सिंगापुर वैश्विक एआई सुरक्षा अनुसंधान प्राथमिकताओं पर सहमति रिपोर्ट, जिसे टेगमार्क, प्रमुख कंप्यूटर वैज्ञानिक योशुआ बेंगिओ, और ओपनएआई तथा गूगल डिपमाइंड जैसे प्रमुख एआई फर्मों के कर्मचारियों ने तैयार किया, में तीन मुख्य शोध क्षेत्रों का उल्लेख किया गया है: वर्तमान और भविष्य के एआई प्रणालियों के प्रभाव को मापने के तरीके विकसित करना; वांछित व्यवहार को परिभाषित करना और इसे प्राप्त करने के लिए प्रणालियों का डिज़ाइन करना; और एआई व्यवहार का प्रबंधन और नियंत्रण। इस रिपोर्ट का संदर्भ लेते हुए, टेगमार्क ने कहा कि सुरक्षित एआई विकास के लिए प्रयास पिछले हाल ही में पेरिस में हुई सरकारी एआई शिखर सम्मेलन के बाद फिर से गति पकड़ ली है, जहां अमेरिकी उपाध्यक्ष जे. डी.

वांस ने सुरक्षा संबंधी चिंताओं को खारिज किया और कहा कि एआई का भविष्य “सुरक्षा के बारे में चिंता कर के नहीं जीता जाएगा।” टेगमार्क ने कहा: “ऐसा लगता है कि पेरिस से उठी निराशा अब दूर हो गई है और अंतरराष्ट्रीय सहयोग तेज़ हो गया है।”