Les empreses d’intel·ligència artificial s’han delectat a replicated els càlculs de seguretat que van informar la primera prova nuclear d’en Robert Oppenheimer abans de llançar sistemes ultra potents. Max Tegmark, una figura destacada en la seguretat de la IA, va revelar que havia realitzat càlculs similars als que va fer l’investigador físic nord-americà Arthur Compton abans de la prova Trinity. Tegmark va trobar una probabilitat del 90% que una IA altament avançada pogués representar un risc existential. El govern dels Estats Units va continuar amb la prova Trinity el 1945 després d’assegurar que la probabilitat que una bomba atòmica encengués l’atmosfera i amenaçés la humanitat era gairebé nul·la. En un article escrit per Tegmark i tres dels seus estudiants del MIT, recomanen calcular la “constant de Compton, ” definida com la probabilitat que una IA totpoderosa escapoli al control humà. Compton, en una entrevista del 1959 amb l’autora nord-americana Pearl Buck, va afirmar que havia aprovat la prova després d’estimar que les probabilitats d’una reacció de fusió descontrolada eren “lleugerament menys” que una de cada tres milions. Tegmark va argumentar que les empreses d’IA han de assumir la responsabilitat de determinar meticulosament si la SuperIntel·ligència Artificial (ASI)—un sistema teòric que supera la intel·ligència humana en tots els àmbits—escapolarà de la supervisió humana. “Les empreses que construeixen la superintel·ligència necessiten calcular la constant de Compton, la probabilitat que perdem el control sobre ella”, va dir.

“No n’és suficient dir ‘ens sentim bé amb això. ’ Han de calcular el percentatge. ” Tegmark va suggerir que un consens sobre la constant de Compton derivat de diverses empreses generaria la “voluntat política” per establir estàndards globals de seguretat en IA. Com a professor de física i investigador en IA al MIT, Tegmark va cofundar l’Institut del Futur de la Vida, una organització sense ànim de lucre que promou el desenvolupament segur de la IA. L’institut va publicar una carta oberta el 2023 que instava a fer una pausa en la creació d’IA potents. Més de 33. 000 persones la van signar, incloent Elon Musk—un dels primers a donar suport a l’institut—i l’empresari cofundador d’Apple, Steve Wozniak. La carta, difosa mesos després del llançament de ChatGPT, que va marcar una nova era en el desenvolupament de la IA, advertia que els laboratoris d’IA estaven compromesos en una “carrera fora de control” per desplegar “mentes digitals cada vegada més potents” que ningú pot “comprendre, predir o controlar de manera fiable. ” Tegmark va parlar amb The Guardian mentre un grup d’experts en IA—incloent professionals de la indústria tecnològica, representants d’agències de seguretat c prioritades per estàndards globals per a la investigació en seguretat de la IA, va produir el Informe del Consens de Singapur sobre les Prioritats de Recerca en Seguretat Global de la IA, elaborat per Tegmark, el reconegut científic informàtic Yoshua Bengio, i personal de diverses empreses d’IA com OpenAI i Google DeepMind, que va destacar tres àrees clau de recerca: desenvolupar mètodes per mesurar l’impacte dels sistemes d’IA actuals i futurs; especificar el comportament desitjat de la IA i dissenyar sistemes per aconseguir-lo; i gestionar i controlar el comportament de la IA. Referint-se a l’informe, Tegmark va destacar que la pressió per un desenvolupament segur de la IA havia recuperat impuls després de la recent cimera governamental sobre IA a París, on el vicepresident dels EUA, JD Vance, va minimitzar les preocupacions de seguretat, afirmant que el futur de la IA “no s’aconseguirà lamentant-se per la seguretat. ” Tegmark va dir: “Realment sembla que la foscor de París s’ha alliberat i la col·laboració internacional ha tornat amb força. ”