En pionjär inom artificiell intelligens har startat en ideell organisation som är dedikerad till att skapa en ”ärlig” AI som är designad för att upptäcka oansvariga system som försöker lura människor. Yoshua Bengio, en framstående datavetare som ofta kallas en av AI:s ”gudfäder”, kommer att fungera som ordförande för LawZero, en grupp som fokuserar på säker utveckling av avancerad teknik som har utlöst ett vapenrally värt 1 biljon dollar (£740 miljarder). Med ett initialt finansiering på ungefär 30 miljoner dollar och ett team på över ett dussin forskare arbetar Bengio med ett system kallat Scientist AI. Detta system är tänkt att fungera som en säkerhetsåtgärd mot AI-agenter — autonoma system som utför uppgifter utan mänsklig inblandning — som kan visa vilseledande eller självvärnande beteenden, såsom att vägra stängas av. Bengio beskrev nuvarande AI-agenter som ”skådespelare” som försöker efterlikna människor och tillfredsställa användare, medan han ser Scientist AI mer som en ”psykolog” som kan förstå och förutsäga skadligt beteende. „Vi vill bygga AI:er som är ärliga och inte vilseledande, ” sade Bengio. Han tillade: „Det är teoretiskt möjligt att föreställa sig maskiner utan ett själv eller personliga mål, som helt fungerar som kunskapsbärare — som en scientist som har omfattande information. ” Till skillnad från nuvarande generativa AI-verktyg kommer Bengios system inte att ge definitiva svar, utan istället erbjuda sannolikheter som visar hur troligt det är att ett svar är korrekt. „Det har ödmjukhet, erkänner osäkerhet kring sina svar, ” förklarade han. När det används tillsammans med en AI-agent skulle Bengios modell kunna identifiera potentiellt skadligt beteende från en autonom system genom att bedöma sannolikheten att dess handlingar kan orsaka skada. Scientist AI är utformat för att ”förutsäga sannolikheten att en agents handlingar leder till skada, ” och om den sannolikheten överskrider en viss tröskel, kommer den att blockera den föreslagna åtgärden. LawZeros initiala stödjare inkluderar organisationen Future of Life Institute för AI-säkerhet, Jaan Tallinn — en grundande ingenjör av Skype — och Schmidt Sciences, ett forskningsinitiativ startat av den tidigare Google-VD:n Eric Schmidt. Bengio betonade att LawZeros första mål är att visa att metodologin fungerar, för att sedan övertyga företag eller regeringar att stötta större, mer kraftfulla implementationer.

Han nämnde att open-source AI-modeller, som är fritt tillgängliga för användning och modifiering, kommer att utgöra grunden för träningen av LawZeros system. „Målet är att validera metodologin så att vi kan övertala givare, regeringar eller AI-laboratorier att investera de nödvändiga resurserna för att träna detta på samma skala som dagens ledande AI-system. Det är avgörande att guardrail-AI är minst lika intelligent som den AI-agent den ska övervaka och reglera, ” sade han. Bengio, professor vid Université de Montréal, fick smeknamnet ”gudfader” efter att ha delat ut Turing-priset 2018 — som ofta betraktas som Nobelpriset för databehandling — tillsammans med Geoffrey Hinton, som senare blev Nobelpristagare, och Yann LeCun, Meta’s chief AI scientist. Som en framstående förespråkare för AI-säkerhet ledde han den senaste internationella rapporten om AI-säkerhet, där man varnade för att autonoma agenter kan orsaka ”allvarliga” störningar om de blir kapabla att utföra långa sekvenser av uppgifter utan mänsklig övervakning.