En pioner inden for kunstig intelligens har startet en nonprofit-organisation dedikeret til at skabe en “ærlig” AI designet til at opdage rogue-systemer, der forsøger at bedrage mennesker. Yoshua Bengio, en anerkendt computerforsker, ofte kaldet en af AI’s “gudfædre”, vil fungere som præsident for LawZero, en gruppe fokuseret på den sikre udvikling af avanceret teknologi, hvilket har udløst et våbenkapløb på 1 trillion dollars (£740 milliarder). Med en begyndende finansiering på omkring 30 millioner dollars og et team på over et dusin forskere arbejder Bengio på et system kaldet Scientist AI. Dette system er tiltænkt som en beskyttelse mod AI-agenter — autonome systemer, der udfører opgaver uden menneskelig involvering — som kan udvise bedragerisk eller selvbevarende adfærd, såsom modstand mod nedlukning. Bengio beskrev de nuværende AI-agenter som “skuespillere”, der forsøger at efterligne mennesker og tilfredsstille brugere, mens han ser Scientist AI som mere lig en “psykolog”, der kan forstå og forudsige skadelig adfærd. “Vi ønsker at bygge AIs, der vil være ærlige og ikke bedrageriske, ” sagde Bengio. Han tilføjede: “Det er teoretisk muligt at forestille sig maskiner uden et selv eller personlige mål, der udelukkende fungerer som vidensbeholdere — ligesom en videnskabsmand, der har omfattende information. ” I modsætning til nuværende generative AI-værktøjer vil Bengios system ikke give definitive svar, men i stedet tilbyde sandsynligheder, der indikerer, hvor sandsynligt det er, at et svar er korrekt. “Det har både ydmyghed og erkendelse af usikkerhed omkring sine svar, ” forklarede han. Når det bruges sammen med en AI-agent, vil Bengios model kunne identificere potentiel skadelig adfærd fra et autonomt system ved at vurdere sandsynligheden for, at dets handlinger kan forårsage skade. Scientist AI er designet til at “forudsige sandsynligheden for, at en agents handlinger vil føre til skade”, og hvis den sandsynlighed overskrider en vis grænse, vil den blokere den foreslåede handling. LawZeros første backere inkluderer organisationen Future of Life Institute, Jaan Tallinn — en af Skype’s grundlæggere, og Schmidt Sciences, en forskningsenhed lanceret af tidligere Google-CEO Eric Schmidt. Bengio understregede, at LawZeros første mål er at bevise, at metodologiens koncept fungerer, og derefter overbevise virksomheder eller regeringer om at støtte større, mere magtfulde systemer.

Han bemærkede, at open source AI-modeller, der er frit tilgængelige til brug og tilpasning, vil danne grundlaget for træningen af LawZeros systemer. “Målet er at validere metodologien, så vi kan overbevise donorer, regeringer eller AI-laboratorier om at investere de nødvendige ressourcer til at træne dette på samme niveau som nutidens førende AI-systemer. Det er afgørende, at guardrail-AI er mindst lige så intelligent som den AI-agent, den skal overvåge og regulere, ” sagde han. Bengio, professor ved Université de Montréal, fik tilnavnet “gudfader”, efter at have delt Turing-prisen i 2018 — der betragtes som informatikkens version af en Nobelpris — sammen med Geoffrey Hinton, der senere fik Nobelprisen, og Yann LeCun, Metas chief AI-forsker. Som en fremtrædende fortaler for AI-sikkerhed ledte han nyligt den internationale rapport om AI-sikkerhed, som advarede om, at autonome agenter kan forårsage “kraftige” forstyrrelser, hvis de bliver i stand til at udføre lange sekvenser af opgaver uden menneskelig overvågning.