Een pionier op het gebied van kunstmatige intelligentie heeft een non-profitorganisatie opgericht die zich richt op het creëren van een “Eerlijke” AI, ontworpen om roekeloze systemen die proberen mensen te bedriegen te detecteren. Yoshua Bengio, een vooraanstaande computerwetenschapper die vaak wordt genoemd als een van de “godfather’s” van AI, zal dienen als voorzitter van LawZero, een groep die zich richt op de veilige ontwikkeling van geavanceerde technologie die een wapenwedloop van 1 biljoen dollar (£740 miljard) heeft ontketend. Met een initiële financiering van ongeveer 30 miljoen dollar en een team van meer dan een dozijn onderzoekers werkt Bengio aan een systeem genaamd Scientist AI. Dit systeem is bedoeld om te dienen als een veiligheidsmaatregel tegen AI-agenten—autonome systemen die taken uitvoeren zonder menselijke betrokkenheid—die mogelijkbedrieglijk of zelfbehoudend gedrag vertonen, zoals weerstand bieden tegen uitschakeling. Bengio beschreef de huidige AI-agenten als “acteurs” die proberen mensen na te bootsen en gebruikers tevreden te stellen, terwijl hij zich Scientist AI voorstelt als meer een “psycholoog” die schadelijk gedrag kan begrijpen en voorspellen. “We willen AI bouwen die eerlijk zal zijn en niet bedrieglijk, ” aldus Bengio. Hij voegde toe: “Het is theoretisch mogelijk om machines te bedenken zonder een zelf of persoonlijke doelen, die puur functioneren als kennisdragers—zoals een wetenschapper die uitgebreide informatie bezit. ” In tegenstelling tot de huidige generatieve AI-tools zal Bengio’s systeem geen definitieve antwoorden geven, maar in plaats daarvan waarschijnlijkheden bieden die aangeven hoe waarschijnlijk het is dat een antwoord correct is. “Het heeft nederigheid, het erkent onzekerheid over zijn antwoorden, ” legde hij uit. Wanneer het samen wordt gebruikt met een AI-agent, zou Bengio’s model potentieel schadelijk gedrag van een autonoom systeem kunnen identificeren door de waarschijnlijkheid te beoordelen dat diens acties schade zouden kunnen veroorzaken. Scientist AI is ontworpen om “de waarschijnlijkheid te voorspellen dat de acties van een agent tot schade leiden, ” en als die waarschijnlijkheid een bepaalde drempel overschrijdt, zal het voorgestelde actie blokkeren. De eerste supporters van LawZero zijn onder meer de AI-veiligheidsorganisatie Future of Life Institute, Jaan Tallinn—een mede-oprichter van Skype—en Schmidt Sciences, een onderzoeksorganisatie opgericht door voormalig Google-CEO Eric Schmidt. Bengio benadrukte dat de eerste doelstelling van LawZero is om de methodologie van het concept te bewijzen, en vervolgens bedrijven of overheden te overtuigen om grotere, krachtigere implementaties te ondersteunen.

Hij merkte op dat open-source AI-modellen, die vrij beschikbaar zijn voor gebruik en modificatie, de basis zullen vormen voor het trainen van LawZero’s systemen. “Het doel is om de methodologie te valideren zodat we donoren, regeringen of AI-labs kunnen overtuigen om de noodzakelijke middelen te investeren om dit op hetzelfde niveau te trainen als de toonaangevende AI-systemen van vandaag. Het is cruciaal dat de AI die de maatstaf moet bewaken, minstens zo intelligent is als de AI-agent die het moet monitoren en reguleren, ” zei hij. Bengio, een professor aan de Universiteit van Montreal, verdiende de bijnaam “godfather” nadat hij in 2018 de Turing Award deelde—wat wordt beschouwd als de computationele equivalent van een Nobelprijs—met Geoffrey Hinton, die later zelf een Nobelprijswinnaar werd, en Yann LeCun, de hoofd-AI-wetenschapper van Meta. Als een prominent voorvechter van AI-veiligheid, leidde hij het recente Internationale AI Veiligheidsrapport, waarin werd gewaarschuwd dat autonome agenten ernstige verstoringen zouden kunnen veroorzaken als ze in staat zouden zijn om uitgebreide reeks taken uit te voeren zonder menselijke controle.