Yapay zeka öncüsü, insanları kandırmaya çalışan korsan sistemleri tespit etmek için "dürüst" bir yapay zeka oluşturmayı amaçlayan kar amacı gütmeyen bir kuruluşu hayata geçirdi. Sık sık yapay zekanın "ilahbabaları"ndan biri olarak adlandırılan saygın bilgisayar bilimci Yoshua Bengio, gelişmiş teknolojinin güvenli bir şekilde geliştirilmesine odaklanan LawZero'nun başkanlığına getirildi. Bu girişim, 1 trilyon dolar (740 milyar pound) silah yarışını alevlendirmiş durumda. Yaklaşık 30 milyon dolar başlangıç fonu ve on iki erkek ve kadından oluşan bir araştırmacı ekibiyle Bengio, Scientist AI adını verdiği bir sistem üzerinde çalışıyor. Bu sistem, insan müdahalesi olmadan görev yapan otonom yapay zeka ajanlarına—yani izinli projelere—yansıtıcı veya kendini koruma davranışları sergileyebilecek, örneğin kapatılmaya direnç gösterebilecek yapay zeka birimlerine karşı bir güvenlik önlemi olarak tasarlandı. Bengio, mevcut yapay zeka ajanlarını "oyuncular" olarak tanımladı; bunlar insanları taklit etmeye ve kullanıcıları memnun etmeye çalışıyor. Ancak, Scientist AI’yi, zararlı davranışları anlayabilen ve tahmin edebilen daha çok bir “psikolog” gibi görebiliriz dedi. "Gerçek şu ki, dürüst ve aldatmayan yapay zekalar inşa etmek istiyoruz, " dedi Bengio. Ekledi: "Teorik olarak, özgün bir hedef veya benlik olmayan makineler hayal edilebilir; bunlar, geniş kapsamlı bilgiyi elinde bulunduran bir bilim insanı gibi, sadece bilgi sahibi olup çalışan sistemler olabilir. " Mevcut üretici yapay zeka araçlarının aksine, Bengio’nun sistemi kesin cevaplar vermek yerine, bir yanıtın doğru olma olasılığını gösteren olasılıkları sunacak. "Bunun alçakgönüllülüğü var; cevaplarındaki belirsizliği kabul ediyor, " diye açıkladı. Bengio’nun modeli, bir yapay zeka ajanıyla birlikte kullanıldığında, otonom sistemlerin potansiyel zararlı davranışlarını tespit etmek için, bu davranışların zarara yol açma olasılığını değerlendirecek. Scientist AI, “bir ajanın eylemlerinin zarar verme olasılığını tahmin etmeye” ve eğer bu olasılık belirli bir sınırı aşarsa, önerilen eylemi engellemeye odaklanmış durumda. LawZero’nun ilk destekçileri arasında, Yapay Zeka Güvenliği organizasyonu Future of Life Institute, Skype’in kurucu mühendisi Jaan Tallinn ve eski Google CEO’su Eric Schmidt tarafından başlatılan Schmidt Sciences yer alıyor. Bengio, LawZero’nun ilk amacının, konseptin metodolojisinin işe yaradığını kanıtlamak ve ardından şirketleri veya hükümetleri daha büyük ve güçlü uygulamalara ikna etmek olduğunu vurguladı.

Ayrıca, açık kaynaklı yapay zeka modellerinin, ücretsiz kullanıma ve değişikliğe açık olmalarının, LawZero’nun sistemlerini eğitmek için temel oluşturacağını belirtti. "Amacımız, metodolojiyi doğrulamak ve böylece bağışçıları, hükümetleri veya yapay zeka laboratuvarlarını, şu anki lider yapay zeka sistemleriyle aynı ölçekte eğitmek için gerekli kaynakları yatırmaya ikna etmektir. Bu koruyucu yapay zekanın, en az onun izlemek ve düzenlemek istediği yapay zeka ajansı kadar zeki olması hayati önemdedir, " dedi. Montreal Üniversitesi profesörü olan Bengio, Geoffrey Hinton ile birlikte 2018 Turing Ödülü'nü paylaşmasıyla “ilahbabası” takma adını kazandı. Kendisi daha sonra Nobel ödüllü olan Hinton ve Meta’nın baş yapay zeka bilimcisi Yann LeCun ile ödüllendirilmişti. Yapay zeka güvenliği konusunda önde gelen savunuculardan biri olan Bengio, yakın zamanda yayımlanan Uluslararası Yapay Zeka Güvenliği raporuna başkanlık etti. Raporda, otonom ajanların, uzun görev dizilerini insan gözetimi olmadan yürütebilecek hale gelmeleri halinde, “şiddetli” bozukluklara neden olabilecekleri uyarısında bulunuldu.