OpenAI investerer i akademisk forskning for å utvikle algoritmer som kan forutsi menneskers moralske vurderinger. I en IRS-registrering avslørte OpenAI Inc. , den ideelle delen av OpenAI, at de har tildelt et forskningsstipend til forskere ved Duke University for et prosjekt med tittelen "Research AI Morality. " Ifølge en talsperson for OpenAI er dette stipendet en del av en bredere treårig initiativ på 1 million dollar, rettet mot å "skape moralsk AI. " Detaljer om denne moralske forskningen er knappe, og stipendet er satt til å avsluttes i 2025. Walter Sinnott-Armstrong, hovedforskeren og professor ved Duke med spesialisering i praktisk etikk, nevnte i en e-post til TechCrunch at han ikke kunne diskutere prosjektet. Sinnott-Armstrong og Jana Borg, medforsker, har tidligere utforsket AI sin rolle som en "moral GPS" for å hjelpe menneskelig beslutningstaking. Deres tidligere arbeid inkluderer utvikling av en "moralsk tilpasset" algoritme for beslutninger om nyredonasjon og undersøkelse av situasjoner der folk foretrekker AI sine moralske beslutninger. Pressemeldingen sier at målet med den OpenAI-finansierte forskningen er å designe algoritmer som kan forutsi menneskers moralske vurderinger i situasjoner som involverer konflikter blant moralsk relevante faktorer innen medisin, jus og forretningsliv. Likevel forblir det en betydelig utfordring for dagens teknologi å fange komplekse moralspørsmål. I 2021 skapte Allen Institute for AI Ask Delphi, et verktøy ment å gi etiske anbefalinger. Selv om det gjorde det bra med enkle dilemmaer, kunne små endringer i formuleringen føre til at Delphi tillot nærmest hva som helst, til og med å kvele spedbarn. Dette problemet oppstår fra hvordan moderne AI-systemer fungerer. Maskinlæringsmodeller er i hovedsak statistiske verktøy.

Ved å analysere et stort antall eksempler fra nettet, lærer de mønstre for å gjøre forutsigelser, som å knytte "til hvem" med "det måtte angå. " Disse modellene mangler forståelse av etiske konsepter og resonnementene og følelsene involvert i moralske avgjørelser. Følgelig reflekterer AI ofte verdiene til vestlige, utdannede, industrialiserte samfunn, siden treningsdataene hovedsakelig består av slike synspunkter. Ikke alle verdier er representert i AI-utganger, spesielt hvis menneskene som har disse verdiene ikke bidrar til nettinnhold brukt til trening. AI-systemer innlemmer også en rekke fordommer utover vestlige perspektiver. For eksempel anså Delphi at det å være streit var mer "moralsk akseptabelt" enn å være homofil. Oppgaven som møter OpenAI og deres forskere kompliseres av moralens iboende subjektivitet. Filosofer har debattert etiske teorier i århundrer uten å nå en universell rammeverk. Claude favoriserer kantianisme og understreker absolutte moralske regler, mens ChatGPT lener seg litt mot utilitarisme og fokuserer på det største gode for det største antallet. Hvilken tilnærming som er overlegen, er subjektiv. Å skape en algoritme for å forutsi menneskelige moralske vurderinger må ta hensyn til alle disse faktorene. Å oppnå dette målet er eksepsjonelt utfordrende—forutsatt at det i det hele tatt er mulig.