Các công ty trí tuệ nhân tạo đã được khuyến khích sao chép các phép tính an toàn đã từng giúp inform cho cuộc thử nghiệm hạt nhân đầu tiên của Robert Oppenheimer trước khi phát hành các hệ thống siêu mạnh mẽ. Max Tegmark, một nhân vật nổi bật trong lĩnh vực an toàn AI, tiết lộ rằng ông đã thực hiện những phép tính tương tự như các phép tính do nhà vật lý Mỹ Arthur Compton thực hiện trước cuộc thử nghiệm Trinity. Tegmark nhận thấy có khoảng 90% khả năng rằng một AI cực kỳ tiên tiến có thể gây ra rủi ro tồn tại. Chính phủ Mỹ đã tiến hành cuộc thử nghiệm Trinity vào năm 1945 sau khi nhận được sự đảm bảo rằng khả năng một quả bom nguyên tử gây cháy khí quyển và đe dọa nhân loại là vô cùng nhỏ. Trong một bài báo do Tegmark và ba sinh viên của ông tại MIT viết, họ đề xuất tính toán “hằng số Compton”, định nghĩa là xác suất một AI toàn năng thoát khỏi sự kiểm soát của con người. Compton, trong một cuộc phỏng vấn năm 1959 với nhà văn người Mỹ Pearl Buck, đã nói rằng ông đã chấp thuận cuộc thử nghiệm sau khi ước lượng xác suất của một phản ứng nhiệt hạch mất kiểm soát là “hơi ít hơn” một trên ba triệu. Tegmark lập luận rằng các công ty AI phải chịu trách nhiệm trong việc xác định một cách tỉ mỉ liệu Siêu trí tuệ Nhân tạo (ASI) — một hệ thống lý thuyết vượt xa trí tuệ con người ở mọi lĩnh vực — có thể thoát khỏi sự giám sát của con người hay không. “Các công ty xây dựng siêu trí tuệ cần phải tính toán hằng số Compton, xác suất để chúng ta mất kiểm soát đối với nó, ” ông nói.

“Không đủ chỉ nói ‘Chúng tôi cảm thấy yên tâm về điều đó. ’ Họ phải tính toán phần trăm. ” Tegmark đề xuất rằng sự đồng thuận về hằng số Compton, dựa trên các dữ liệu từ nhiều công ty, sẽ tạo ra “ý chí chính trị” để thiết lập các tiêu chuẩn an toàn AI toàn cầu. Là một giáo sư vật lý và nhà nghiên cứu AI tại MIT, Tegmark cùng các đồng sự đã sáng lập Viện Tương lai của Sự sống, một tổ chức phi lợi nhằm thúc đẩy phát triển AI an toàn. Tổ chức này đã phát hành một bức thư mở năm 2023 kêu gọi tạm dừng phát triển các AI mạnh mẽ. Hơn 33. 000 cá nhân đã ký tên vào thư, trong đó có Elon Musk — một người ủng hộ sớm của viện — và Steve Wozniak, đồng sáng lập Apple. Bức thư, phát hành vài tháng sau khi ChatGPT ra mắt, đánh dấu một kỷ nguyên phát triển AI mới, cảnh báo rằng các phòng thí nghiệm AI đang tham gia vào một “cuộc đua ngoài tầm kiểm soát” để tung ra “các trí tuệ kỹ thuật số ngày càng mạnh mẽ hơn” mà không ai có thể “hiểu, dự đoán hoặc kiểm soát đáng tin cậy. ” Tegmark đã trả lời phỏng vấn báo Guardian khi một nhóm các chuyên gia AI — bao gồm các chuyên gia công nghệ, đại diện ban an toàn thuộc chính phủ, và các học giả — đang phát triển một phương pháp tiếp cận mới cho sự phát triển AI an toàn. Báo cáo “Nhận thức của Singapore về các ưu tiên nghiên cứu an toàn AI toàn cầu, ” do Tegmark, nhà khoa học máy tính hàng đầu Yoshua Bengio và các nhân viên từ các công ty AI hàng đầu như OpenAI và Google DeepMind thực hiện, đã đề xuất ba lĩnh vực nghiên cứu chính: phát triển các phương pháp đo lường ảnh hưởng của các hệ thống AI hiện tại và tương lai; xác định hành vi mong muốn của AI và thiết kế hệ thống để đạt được điều đó; và quản lý, kiểm soát hành vi AI. Dựa trên báo cáo này, Tegmark nhận định rằng đà thúc đẩy phát triển AI an toàn đã lấy lại đà sau hội nghị thượng đỉnh về AI vừa diễn ra tại Paris, nơi Phó Tổng thống Mỹ JD Vance đã bác bỏ các lo ngại về an toàn, nói rằng tương lai của AI “không thể thắng chậm lo lắng về an toàn. ” Tegmark nói: “Thật sự cảm nhận được sự giảm căng thẳng từ Paris đã tan biến và sự hợp tác quốc tế lại bùng nổ trở lại. ”