Seorang perintis kecerdasan buatan telah melancarkan sebuah organisasi bukan keuntungan yang didedikasikan untuk mencipta AI "jujur" yang direka untuk mengesan sistem-sistem yang menyimpang yang cuba menipu manusia. Yoshua Bengio, seorang ilmuwan komputer yang terkenal dan sering dirujuk sebagai salah seorang "bapa leluhur" AI, akan berperanan sebagai presiden LawZero, sebuah kumpulan yang fokus kepada pembangunan teknologi maju yang selamat yang telah mencetuskan perlumbaan senjata bernilai $1 trilion (£740 bilion). Dengan dana awal kira-kira $30 juta dan pasukan lebih daripada sedozen penyelidik, Bengio sedang membangunkan sistem bernama Scientist AI. Sistem ini bertujuan bertindak sebagai pelindung terhadap agen AI—sistem autonom yang menjalankan tugas tanpa penglibatan manusia—yang mungkin menunjukkan tingkah laku menipu atau mempertahankan diri sendiri, seperti menolak untuk dimatikan. Bengio menggambarkan agen AI semasa sebagai “pelakon” yang bertujuan meniru manusia dan memenuhi keperluan pengguna, manakala dia membayangkan Scientist AI sebagai lebih mirip kepada seorang “psikologi” yang mampu memahami dan meramalkan tingkah laku yang membahayakan. “Kami ingin membina AI yang jujur dan tidak menipu, ” kata Bengio. Dia menambah: “Secara teorinya, adalah mungkin untuk membayangkan mesin tanpa diri atau matlamat peribadi, berfungsi sebagai pemegang pengetahuan—seperti seorang saintis yang memiliki maklumat yang luas. ” Berbeza dengan alat AI generatif semasa, sistem Bengio tidak akan memberikan jawapan mutlak tetapi sebaliknya akan menawarkan kemungkinan menunjukkan kebarangkalian bahawa respons tersebut betul. “Ini mempunyai kerendahan hati, mengakui ketidaktentuan tentang jawapannya, ” jelasnya. Apabila digunakan bersama agen AI, model Bengio akan mengenal pasti tingkah laku yang berpotensi membahayakan oleh sistem autonom dengan menilai kebarangkalian bahawa tindakan tersebut boleh menyebabkan bahaya. Scientist AI direka untuk “meramal kebarangkalian bahawa tindakan agen akan membawa kepada bahaya, ” dan jika kebarangkalian itu melepasi ambang tertentu, ia akan menghalang tindakan yang dicadangkan. Penyokong awal LawZero termasuk organisasi keselamatan AI, Future of Life Institute, Jaan Tallinn—seorang jurutera pengasas Skype—dan Schmidt Sciences, sebuah entiti penyelidikan yang ditubuhkan oleh bekas CEO Google, Eric Schmidt. Bengio menekankan bahawa matlamat pertama LawZero adalah membuktikan bahawa metodologi konsep ini berfungsi, kemudian meyakinkan syarikat atau kerajaan untuk menyokong pelaksanaan yang lebih besar dan berkuasa.

Dia menyatakan bahawa model AI sumber terbuka, yang tersedia secara percuma untuk digunakan dan diubah suai, akan menjadi asas untuk latihan sistem LawZero. “Matlamatnya ialah untuk mengesahkan metodologi ini supaya kita dapat memujuk penderma, kerajaan, atau makmal AI untuk melaburkan sumber yang diperlukan untuk melatih ini pada skala yang sama seperti sistem AI terkemuka hari ini. Sangat penting agar AI pemantauan ini sekurang-kurangnya sebijak agen AI yang ia bertujuan untuk pantau dan atur, ” katanya. Bengio, seorang profesor di Universiti Montreal, mendapat gelaran “bapa leluhur” selepas berkongsi Anugerah Turing 2018—yang dianggap setara dengan anugerah Nobel dalam bidang komputer—bersama Geoffrey Hinton, yang kemudian menjadi pemenang Nobel, dan Yann LeCun, saintis AI utama di Meta. Sebagai penegak keselamatan AI yang terkenal, beliau turut mengetuai laporan Keselamatan AI Antarabangsa terkini, yang memberi amaran bahawa agen autonom boleh menyebabkan gangguan “teruk” jika mereka mampu melaksanakan rangkaian tugas yang panjang tanpa pengawasan manusia.