En pioner innen kunstig intelligens har lansert en non-profit organisasjon dedikert til å skape en "ærlig" AI designet for å oppdage uærlige systemer som prøver å bedra mennesker. Yoshua Bengio, en fremtredende datavitenskapsmann ofte omtalt som en av “gudfedrene” til AI, vil tjene som president for LawZero, en gruppe fokusert på sikker utvikling av avansert teknologi som har utløst en trillion dollar (£740 milliarder) våpenkappløp. Med en innledende finansiering på rundt 30 millioner dollar og et team på over tolv forskere, jobber Bengio med et system kalt Scientist AI. Dette systemet er ment å fungere som en sikring mot AI-agenter — autonome systemer som utfører oppgaver uten menneskelig involvering — som kan vise villedende eller selvbevarende adferd, som å motsette seg å bli slått av. Bengio beskrev nåværende AI-agenter som “aktører” som forsøker å etterligne mennesker og tilfredsstille brukere, mens han ser for seg Scientist AI som mer i retning av en “psykolog” som kan forstå og forutsi skadelig oppførsel. “Vi ønsker å bygge AI-er som skal være ærlige og ikke villedende, ” uttalte Bengio. Han la til: “Det er teoretisk mulig å forestille seg maskiner uten et selv eller personlige mål, som fungerer rent som kunnskapsbærere—som en vitenskapsmann med omfattende informasjon. ” I motsetning til dagens generative AI-verktøy, vil ikke Bengios system gi endelige svar, men heller tilby sannsynligheter som indikerer hvor sannsynlig det er at et svar er korrekt. “Det har ydmykhet, og erkjenner usikkerhet rundt sine svar, ” forklarte han. Når det brukes sammen med en AI-agent, vil Bengios modell identifisere potensielt skadelig oppførsel hos en autonom system ved å vurdere sannsynligheten for at handlingene kan forårsake skade. Scientist AI er utviklet for å “forutsi sannsynligheten for at en agents handlinger vil føre til skade, ” og hvis denne sannsynligheten overskrider en viss terskel, vil den blokkere den foreslåtte handlingen. De første støttespillerne av LawZero inkluderer organisasjonen for AI-sikkerhet Future of Life Institute, Jaan Tallinn—en medgrunnlegger av Skype—and Schmidt Sciences, en forskningsenhet startet av tidligere Google-CEO Eric Schmidt. Bengio understreket at LawZeros første mål er å bevise at metodikkens tilnærming fungerer, for deretter å overbevise selskaper eller myndigheter om å støtte større og mer kraftfulle implementeringer.

Han nevnte at open-source AI-modeller, som er fritt tilgjengelige for bruk og modifikasjon, vil danne grunnlaget for trening av LawZeros systemer. “Målet er å validere metodologien slik at vi kan overbevise givere, myndigheter eller AI-laboratorier om å investere nødvendige ressurser for å trene dette på samme skala som dagens ledende AI-systemer. Det er avgjørende at AI-en som beskytter, er minst like intelligent som AI-agenten den skal overvåke og regulere, ” sa han. Bengio, en professor ved Universitetet i Montreal, fikk kallenavnet “gudfaren” etter å ha delt ut Turing-prisen i 2018—som regnes som den computing-messige ekvivalenten av en Nobelpris—sammen med Geoffrey Hinton, selv senere Nobelpris-vinner, og Yann LeCun, Meta’s sjef for AI. Som en ledende talsmann for AI-sikkerhet, ledet han den nylige Internasjonale rapporten om AI-sikkerhet, som advarte om at autonome agenter kan forårsake “alvorlige” forstyrrelser hvis de blir i stand til å utføre utvidede sekvenser av oppgaver uten menneskelig tilsyn.