Empresas de inteligência artificial têm sido incentivadas a replicar os cálculos de segurança que informaram o primeiro teste nuclear de Robert Oppenheimer antes de liberar sistemas ultrapotentes. Max Tegmark, uma figura de destaque na segurança em IA, revelou que realizou cálculos semelhantes aos feitos pelo físicos americano Arthur Compton antes do teste Trinity. Tegmark descobriu uma probabilidade de 90% de que uma IA altamente avançada pudesse representar um risco existencial. O governo dos EUA prosseguiu com o teste Trinity em 1945 após garantias de que a chance de uma bomba atômica incendiar a atmosfera e ameaçar a humanidade era extremamente pequena. Em um artigo escrito por Tegmark e três de seus estudantes do MIT, eles recomendam calcular a “constante de Compton”, definida como a probabilidade de uma IA todo-poderosa escapar do controle humano. Compton, em uma entrevista de 1959 com a escritora americana Pearl Buck, afirmou que tinha aprovado o teste após estimar as chances de uma reação de fusão fora de controle como “ligeiramente menor” que uma em três milhões. Tegmark argumentou que as empresas de IA devem assumir a responsabilidade de determinar meticulosamente se a Superinteligência Artificial (ASI) — um sistema teórico que supera a inteligência humana em todos os domínios — escapará ao controle humano. “As empresas que constroem superinteligência precisam calcular a constante de Compton, a probabilidade de perderem o controle sobre ela”, disse.

“Não basta dizer ‘nos sentimos bem com isso. ’ Elas devem calcular a porcentagem. ” Tegmark sugeriu que um consenso sobre a constante de Compton, derivado de várias empresas, geraria a “vontade política” para estabelecer padrões globais de segurança em IA. Como professor de física e pesquisador de IA no MIT, Tegmark cofundou o Instituto de Futuro da Vida, uma organização sem fins lucrativos que promove o desenvolvimento seguro de IA. O instituto publicou uma carta aberta em 2023 instando uma pausa na criação de IAs poderosas. Mais de 33. 000 pessoas assinaram a carta, incluindo Elon Musk — um dos apoiadores iniciais do instituto — e Steve Wozniak, cofundador da Apple. A carta, emitida meses após o lançamento do ChatGPT, que marcou uma nova era no desenvolvimento de IA, alertava que os laboratórios de IA estavam envolvidos em uma “corrida fora de controle” para implantar “mente digitais cada vez mais poderosas” que ninguém consegue “entender, prever ou controlar de forma confiável. ” Tegmark falou ao Guardian enquanto um grupo de especialistas em IA — incluindo profissionais da indústria tecnológica, representantes de agências de segurança apoiadas pelo Estado e acadêmicos — desenvolvia uma nova abordagem para o desenvolvimento seguro de IA. O relatório “Singapore Consensus on Global AI Safety Research Priorities”, produzido por Tegmark, o renomado cientista da computação Yoshua Bengio e equipe de empresas líderes de IA, como OpenAI e Google DeepMind, delineou três áreas principais de pesquisa: desenvolver métodos para medir o impacto de sistemas de IA atuais e futuros; especificar comportamentos desejados para a IA e projetar sistemas para alcançá-los; e gerenciar e controlar o comportamento da IA. Ao se referir ao relatório, Tegmark observou que a impulso para o desenvolvimento seguro de IA voltou a ganhar força após a recente cúpula governamental sobre IA em Paris, onde o vice-presidente dos EUA, JD Vance, minimizou as preocupações com a segurança, afirmando que o futuro da IA “não será vencido por se preocupar excessivamente com a segurança. ” Tegmark disse: “Parece que a sombra de Paris se dissipou e a colaboração internacional voltou a crescer de forma animada. ”