یک پیشگام هوش مصنوعی یک سازمان غیرانتفاعی راه‌اندازی کرده است که هدف آن ایجاد یک هوش مصنوعی «صادق» است، طراحی شده برای شناسایی سیستم‌های سرکش که قصد فریب انسان‌ها را دارند. یوشوا بنگیو، دانشمند برتر کامپیوتر که اغلب به عنوان یکی از «پدران» هوش مصنوعی نامیده می‌شود، به عنوان رئیس LawZero خدمت می‌کند، گروهی که بر توسعه ایمن فناوری‌های پیشرفته تمرکز دارد و یک رقابت استنزاخ‌برند trillion دلاری را برانگیخته است. با بودجه اولیه حدود ۳۰ میلیون دلار و تیمی متشکل از بیش از دوازده محقق، بنگیو در حال توسعه سیستمی به نام Scientist AI است. این سیستم قرار است به عنوان سپر در برابر عوامل هوش مصنوعی—سیستم‌های خودمختاری که وظایف خود را بدون دخالت انسان انجام می‌دهند—عمل کند، به خصوص آن‌هایی که ممکن است رفتار فریبنده یا خودمحافظتی نشان دهند، مانند مقاوت در برابر خاموش کردن. بنگیو عامل‌های فعلی هوش مصنوعی را «بازیگران» توصیف کرد که هدفشان تقلید از انسان‌ها و رضایت کاربران است، در حالی که او Scientist AI را بیشتر شبیه یک «روان‌شناس» می‌بیند که قادر به فهم و پیش‌بینی رفتارهای مضر است. او گفت: «ما می‌خواهیم هوش مصنوعی‌هایی بسازیم که صادق و فریبنده نباشند. » او افزود: «از لحاظ نظری، تصور ماشین‌هایی بدون خود یا اهداف شخصی ممکن است، که تنها به عنوان حافظان دانش عمل می‌کنند—مانند یک دانشمند که اطلاعات وسیع دارد. » بر خلاف ابزارهای فعلی هوش مصنوعی تولیدی، سیستم بنگیو پاسخ قطعی نمی‌دهد، بلکه احتمالاتی ارائه می‌کند که نشان می‌دهد چقدر احتمال دارد پاسخ صحیح باشد. او توضیح داد: «آن تواضع دارد و عدم قطعیت در پاسخ‌هایش را می‌پذیرد. » وقتی در کنار عامل هوش مصنوعی دیگری مورد استفاده قرار گیرد، مدل بنگیو رفتار بالقوه ضررآور یک سیستم خودمختار را از طریق ارزیابی احتمال وقوع آن تشخیص می‌دهد. Scientist AI طراحی شده است که «احتمال اینکه اقدامات یک عامل منجر به ضرر شود» را پیش‌بینی کند، و اگر این احتمال بیش‌تر از حد معینی باشد، آن اقدام پیشنهادی را مسدود خواهد کرد. حامیان اولیه LawZero شامل مؤسسه آینده زندگی، سازمانی در حوزه ایمنی AI که آینده زندگی نام دارد، یان تالین، یکی از بنیان‌گذاران اسکایپ، و Schmidt Sciences، مؤسسه تحقیقاتی تأسیس شده توسط اریک شمیت، مدیرعامل سابق گوگل، هستند. بنگیو تصریح کرد هدف اول LawZero اثبات کارایی روش‌شناسی است، سپس قانع کردن شرکت‌ها یا دولت‌ها برای حمایت از پیاده‌سازی‌های بزرگ‌تر و قوی‌تر.

او گفت مدل‌های هوش مصنوعی متن‌باز، که به صورت آزاد در دسترس و قابل تغییر هستند، پایه آموزش سیستم‌های LawZero خواهند بود. «هدف این است که روش‌شناسی را تأیید کنیم تا بتوانیم سرمایه‌گذاران، دولت‌ها یا آزمایشگاه‌های هوش مصنوعی را قانع کنیم که منابع لازم را برای آموزش این سیستم‌ها در همان مقیاس سیستم‌های پیشرفته فعلی سرمایه‌گذاری کنند. ضروری است که هوش مصنوعی امنیتی حداقل به اندازه هوش مصنوعی که قرار است نظارت و کنترل کند، هوشمند باشد»، او گفت. بنگیو، استاد دانشگاه مونترال، پس از به اشتراک گذاشتن جایزه توریگ در سال ۲۰۱۸—که معادل جایزه نوبل در دنیای محاسبات است—کلمه «پدرخوانده» به او داده شد، این جایزه را با جفری هینتون، که بعدها برنده جایزه نوبل شد، و یان لکون، دانشمند ارشد هوش مصنوعی متا، مشترکاً دریافت کرد. او به عنوان یکی از حامیان برجسته ایمنی AI، ریاست گزارش ایمنی بین‌المللی هوش مصنوعی اخیر را بر عهده داشت، گزارشی که هشدار داد عوامل خودمختار در صورت توانایی انجام زنجیره‌های طولانی مأموریت‌ها بدون نظارت انسان می‌توانند منجر به «اختلالات جدی» شوند.