Las empresas de inteligencia artificial han sido incentivadas a replicar los cálculos de seguridad que informaron la primera prueba nuclear de Robert Oppenheimer antes de poner en marcha sistemas ultra poderosos. Max Tegmark, una figura destacada en la seguridad de la IA, reveló que había realizado cálculos similares a los realizados por el físico estadounidense Arthur Compton antes de la prueba Trinity. Tegmark encontró que había un 90% de probabilidad de que una IA altamente avanzada pudiera representar un riesgo existencial. El gobierno de Estados Unidos procedió con la prueba Trinity en 1945 después de recibir garantías de que la posibilidad de que una bomba atómica provocara una reacción en cadena en la atmósfera y amenazara a la humanidad era extremadamente pequeña. En un artículo escrito por Tegmark y tres de sus estudiantes del MIT, recomiendan calcular la “constante de Compton”, definida como la probabilidad de que una IA todopoderosa escape al control humano. Compton, en una entrevista de 1959 con la escritora estadounidense Pearl Buck, declaró que había aprobado la prueba después de estimar las probabilidades de una reacción de fusión descontrolada en “ligeramente menos” que una en tres millones. Tegmark argumentó que las empresas de IA deben asumir la responsabilidad de determinar cuidadosamente si la Súper Inteligencia Artificial (ASI), un sistema teórico que supera la inteligencia humana en todos los ámbitos, logrará evadir la supervisión humana. “Las empresas que desarrollan la superinteligencia deben calcular la constante de Compton, la probabilidad de que perdamos el control sobre ella”, dijo. “No basta con decir ‘nos sentimos bien al respecto’.

Deben calcular el porcentaje”. Tegmark sugirió que un consenso sobre la constante de Compton, derivado de varias compañías, generaría la “voluntad política” para establecer estándares globales de seguridad en IA. Como profesor de física e investigador de IA en el MIT, Tegmark cofundó el Instituto para el Futuro de la Vida, una organización sin fines de lucro que promueve el desarrollo seguro de la IA. La institución publicó en 2023 una carta abierta instando a pausar la creación de IA potentes. Más de 33, 000 personas firmaron la carta, incluyendo a Elon Musk—un primero defensor del instituto— y Steve Wozniak, cofundador de Apple. La carta, publicada meses después del lanzamiento de ChatGPT, que marcó una nueva era en el desarrollo de IA, advirtió que los laboratorios de IA estaban participando en una “carrera fuera de control” para desplegar “mentes digitales cada vez más poderosas” que nadie puede “entender, predecir ni controlar de manera confiable”. Tegmark habló con The Guardian mientras un grupo de expertos en IA, incluyendo profesionales de la industria tecnológica, representantes de agencias de seguridad respaldadas por el estado y académicos, desarrollaba un nuevo enfoque para el desarrollo seguro de la IA. El informe “Consenso de Singapur sobre Prioridades en la Investigación de Seguridad Global en IA”, elaborado por Tegmark, el destacado científico en computación Yoshua Bengio y personal de empresas líderes como OpenAI y Google DeepMind, delineó tres áreas clave de investigación: desarrollar métodos para medir el impacto de los sistemas de IA actuales y futuros; especificar comportamientos deseados en la IA y diseñar sistemas para lograrlos; y gestionar y controlar el comportamiento de la IA. En referencia al informe, Tegmark señaló que el impulso por un desarrollo seguro de la IA había recobrado momentum tras la reciente cumbre gubernamental sobre IA en París, donde el vicepresidente estadounidense JD Vance desestimó las preocupaciones sobre seguridad, afirmando que el futuro de la IA “no se iba a ganar con lamentaciones sobre la seguridad”. Tegmark dijo: “Realmente parece que la penumbra que había en París se ha levantado y la colaboración internacional ha vuelto con fuerza. ”