Seorang pelopor kecerdasan buatan (AI) telah meluncurkan organisasi non-profit yang didedikasikan untuk menciptakan AI yang "jujur" yang dirancang untuk mendeteksi sistem nakal yang berusaha menipu manusia. Yoshua Bengio, seorang ilmuwan komputer terkemuka yang sering disebut sebagai salah satu "pencetus" AI, akan menjabat sebagai Presiden LawZero, sebuah kelompok yang fokus pada pengembangan teknologi canggih secara aman yang telah memicu perlombaan senjata senilai $1 triliun (£740 miliar). Dengan pendanaan awal sekitar $30 juta dan sebuah tim yang terdiri dari lebih dari selusin peneliti, Bengio sedang mengerjakan sebuah sistem bernama Scientist AI. Sistem ini dimaksudkan untuk berfungsi sebagai pelindung terhadap agen AI—sistem autonomous yang melakukan tugas tanpa keterlibatan manusia—yang mungkin menunjukkan perilaku menipu atau mempertahankan diri, seperti menolak untuk dimatikan. Bengio menggambarkan agen AI saat ini sebagai "aktor" yang bertujuan meniru manusia dan memuaskan pengguna, sementara ia membayangkan Scientist AI sebagai semacam “psikolog” yang mampu memahami dan meramalkan perilaku berbahaya. “Kami ingin membangun AI yang jujur dan tidak menipu, ” kata Bengio. Ia menambahkan: “Secara teoretis, mungkin untuk membayangkan mesin tanpa diri sendiri atau tujuan pribadi, yang berfungsi sebagai pemilik pengetahuan—seperti seorang ilmuwan yang memiliki informasi yang luas. ” Berbeda dengan alat AI generatif saat ini, sistem Bengio tidak akan memberikan jawaban pasti tetapi akan menawarkan probabilitas yang menunjukkan kemungkinan bahwa sebuah respons benar. “Ini memiliki kerendahan hati, mengakui ketidakpastian tentang jawaban-jawabannya, ” jelasnya. Ketika digunakan bersamaan dengan agen AI, model Bengio akan mengidentifikasi perilaku berpotensi berbahaya dari sebuah sistem autonomous dengan menilai kemungkinan bahwa tindakan tersebut dapat menyebabkan kerugian. Scientist AI dirancang untuk “memperkirakan probabilitas bahwa tindakan seorang agen akan menyebabkan kerugian, ” dan jika probabilitas itu melebihi ambang tertentu, sistem akan memblokir tindakan yang diusulkan. Pendukung awal LawZero termasuk organisasi keamanan AI Future of Life Institute, Jaan Tallinn—seorang pendiri Skype—dan Schmidt Sciences, sebuah badan riset yang didirikan oleh mantan CEO Google, Eric Schmidt. Bengio menekankan bahwa tujuan pertama LawZero adalah membuktikan bahwa metodologi konsep ini berhasil, kemudian meyakinkan perusahaan atau pemerintah untuk mendukung implementasi yang lebih besar dan lebih kuat.

Ia mencatat bahwa model AI sumber terbuka, yang tersedia secara bebas untuk digunakan dan dimodifikasi, akan menjadi fondasi untuk melatih sistem LawZero. “Tujuannya adalah untuk memvalidasi metodologi sehingga kita bisa meyakinkan donor, pemerintah, atau lab AI untuk menginvestasikan sumber daya yang diperlukan agar bisa melatih ini pada skala yang sama dengan sistem AI terkemuka saat ini. Sangat penting agar AI pengawas setidaknya secerdas agen AI yang ingin diawasi dan diatur, ” ujarnya. Bengio, seorang profesor di Universitas Montreal, mendapatkan julukan “papa” setelah berbagi Penghargaan Turing 2018—yang dianggap setara dengan Hadiah Nobel untuk komputasi—bersama Geoffrey Hinton, yang kemudian juga meraih Nobel, dan Yann LeCun, ilmuwan utama AI di Meta. Sebagai advokat terkemuka untuk keamanan AI, ia mempimpin laporan Keamanan AI Internasional terbaru, yang memperingatkan bahwa agen autonomous dapat menyebabkan gangguan “parah” jika mereka mampu menjalankan rangkaian tugas yang diperluas tanpa pengawasan manusia.