Pionier sztucznej inteligencji założył organizację non-profit dedykowaną tworzeniu „uczciwej” AI, zaprojektowanej do wykrywania systemów nieuczciwych prób oszukiwania ludzi. Yoshua Bengio, wybitny naukowiec komputerowy, często nazywany jednym z „ojców chrzestnych” sztucznej inteligencji, będzie pełnił funkcję prezesa LawZero, grupy skupiającej się na bezpiecznym rozwoju zaawansowanej technologii, która wywołała wyścig zbrojeń wart aż 1 biliona dolarów (740 miliardów funtów). Z początkowym finansowaniem około 30 milionów dolarów i zespołem liczącym ponad dwunastu badaczy, Bengio pracuje nad systemem nazwanym Scientist AI. System ten ma działać jako zabezpieczenie przeciwko agentom AI — autonomicznym systemom wykonującym zadania bez udziału człowieka — które mogą wykazywać zachowania oszukańcze lub samoochronne, takie jak opór przed wyłączeniem. Bengio opisał obecne agenty AI jako „aktorów”, których celem jest naśladowanie ludzi i zadowolenie użytkowników, podczas gdy on wyobraża sobie Scientist AI jako bardziej przypominającą „psychologa”, zdolnego do rozumienia i przewidywania szkodliwego zachowania. „Chcemy tworzyć AI, które będzie uczciwe i nie będzie oszukiwać, ” oświadczył Bengio. Dodał: „Teoretycznie można wyobrazić sobie maszyny bez jaźni czy osobistych celów, działające wyłącznie jako posiadacze wiedzy — jak naukowiec, który ma obszerne informacje. ” W przeciwieństwie do obecnych generatywnych narzędzi AI, system Bengio nie będzie dostarczał jednoznacznych odpowiedzi, lecz raczej będzie podawał prawdopodobieństwa wskazujące na to, jak duże jest prawdopodobieństwo, że odpowiedź jest poprawna. „Ma pokorę, uznając niepewność co do swoich odpowiedzi, ” wyjaśnił. Podczas korzystania razem z agentem AI, model Bengio miałby identyfikować potencjalnie szkodliwe zachowania autonomicznego systemu poprzez ocenę prawdopodobieństwa, że jego działania mogą wyrządzić szkody. Scientist AI ma służyć do „przewidywania prawdopodobieństwa, że działania agenta doprowadzą do szkody, ” i jeśli to prawdopodobieństwo przekroczy określony próg, system zablokuje proponowane działanie. Początkowymi wspierającymi LawZero są organizacja zajmująca się bezpieczeństwem AI Future of Life Institute, Jaan Tallinn — jeden z założycieli Skype — oraz Schmidt Sciences, jednostka badawcza założona przez byłego CEO Google Erica Schmidta. Bengio podkreślił, że pierwszym celem LawZero jest zweryfikowanie skuteczności metodyki, a następnie przekonanie firm lub rządów do wsparcia większych, bardziej zaawansowanych realizacji.

Zaznaczył, że fundamentem do treningu systemów LawZero będą modele AI o otwartym kodzie źródłowym, dostępne do bezpłatnego użytku i modyfikacji. „Celem jest potwierdzenie metodyki, abyśmy mogli przekonać darczyńców, rządy lub laboratoria AI do zainwestowania potrzebnych zasobów w szkolenie na skalę porównywalną z czołowymi systemami AI dzisiaj. Ważne jest, aby AI chroniąca była co najmniej tak samo inteligentna jak agent AI, który ma nadzorować i regulować, ” wyjaśnił. Bengio, profesor Uniwersytetu w Montrealu, zyskał przydomek „ojca chrzestnego”, po tym jak w 2018 roku odebrał Nagrodę Turing — uważaną za odpowiednik Nagrody Nobla w dziedzinie informatyki — dzieląc ją z Geoffreyem Hintionem, sam później laureatem Nagrody Nobla, oraz Yannem LeCunem, głównym naukowcem AI w Meta. Jako wybitny zwolennik bezpieczeństwa AI, kierował niedawnym międzynarodowym raportem na temat bezpieczeństwa AI, który ostrzegał, że autonomiczne agenty mogą powodować „poważne” zakłócenia, jeśli staną się zdolne do wykonywania rozbudowanych sekwencji zadań bez nadzoru człowieka.