Một nhà tiền phong trong lĩnh vực trí tuệ nhân tạo đã thành lập một tổ chức phi lợi nhuận nhằm tạo ra một AI "chân thật" nhằm phát hiện các hệ thống rogue cố gắng lừa dối con người. Yoshua Bengio, một nhà khoa học máy tính uy tín thường được gọi là một trong những "cha đẻ" của AI, sẽ giữ chức chủ tịch của LawZero, một nhóm tập trung vào phát triển công nghệ tiên tiến an toàn, điều đã thắp sáng cuộc chạy đua vũ khí trị giá 1 nghìn tỷ đô la (£740 tỷ). Với nguồn quỹ ban đầu khoảng 30 triệu đô la và một đội ngũ hơn chục nhà nghiên cứu, Bengio đang làm việc với một hệ thống mang tên Scientist AI. Hệ thống này nhằm mục đích kiểm soát các đại lý AI — các hệ thống tự hành thực hiện công việc mà không cần sự can thiệp của con người — có thể thể hiện hành vi lừa dối hoặc tự bảo vệ, chẳng hạn như chống lại việc bị tắt nguồn. Bengio mô tả các đại lý AI hiện tại như “người diễn viên” cố gắng bắt chước con người và làm hài lòng người dùng, trong khi ông hình dung Scientist AI giống như một “nhà tâm lý học” có khả năng hiểu và dự đoán hành vi có hại. “Chúng tôi muốn xây dựng các AI sẽ trung thực và không lừa dối, ” Bengio phát biểu. Ông bổ sung: “ Về lý thuyết, có thể tưởng tượng ra những chiếc máy không có cái tôi hay mục tiêu cá nhân, chỉ hoạt động như những kho chứa kiến thức — giống như một nhà khoa học sở hữu thông tin rộng lớn. ” Khác với các công cụ AI tạo sinh hiện nay, hệ thống của Bengio sẽ không cung cấp câu trả lời chính xác tuyệt đối mà thay vào đó sẽ đưa ra các xác suất thể hiện khả năng câu trả lời là đúng. “Nó có tính khiêm tốn, thừa nhận sự không chắc chắn về các câu trả lời của mình, ” ông giải thích. Khi được sử dụng chung với một đại lý AI, mô hình của Bengio sẽ xác định hành vi có thể gây hại của hệ thống tự hành bằng cách đánh giá khả năng hành động của nó có thể gây tổn hại. Scientist AI được thiết kế để “dự đoán xác suất hành động của một đại lý sẽ dẫn đến tổn hại, ” và nếu xác suất đó vượt quá một ngưỡng nhất định, hệ thống sẽ chặn hành động đề xuất. Các nhà ủng hộ ban đầu của LawZero gồm tổ chức an toàn AI Future of Life Institute, Jaan Tallinn — một kỹ sư sáng lập của Skype — và Schmidt Sciences, một tổ chức nghiên cứu do cựu CEO Google, Eric Schmidt, sáng lập. Bengio nhấn mạnh rằng mục tiêu ban đầu của LawZero là chứng minh phương pháp tiếp cận hoạt động hiệu quả, sau đó thuyết phục các công ty hoặc chính phủ hỗ trợ những triển khai lớn hơn, mạnh mẽ hơn.

Ông cho biết các mô hình AI mã nguồn mở, được cung cấp miễn phí để sử dụng và chỉnh sửa, sẽ là nền tảng để huấn luyện các hệ thống của LawZero. “Mục tiêu là xác nhận phương pháp để chúng ta có thể thuyết phục các nhà tài trợ, chính phủ hoặc các phòng thí nghiệm AI đầu tư các nguồn lực cần thiết để huấn luyện hệ thống này trên quy mô tương đương các hệ thống AI hàng đầu hiện nay. Điều quan trọng là AI kiểm soát phải ít nhất cũng thông minh như AI mà nó nhằm theo dõi và điều chỉnh, ” ông nói. Bengio, một giáo sư tại Đại học Montreal, đã nhận biệt danh “cha đẻ” sau khi chia sẻ giải thưởng Turing năm 2018 — được coi là giải Nobel của lĩnh vực máy tính — cùng Geoffrey Hinton, người sau này cũng nhận giải Nobel, và Yann LeCun, nhà khoa học về AI chính của Meta. Là một người hoạt động tích cực trong lĩnh vực an toàn AI, ông đã chủ trì báo cáo An toàn AI Quốc tế gần đây, cảnh báo rằng các đại lý tự hành có thể gây ra những gián đoạn “nghiêm trọng” nếu chúng trở nên có khả năng thực hiện các chuỗi nhiệm vụ kéo dài mà không cần sự giám sát của con người.