OpenAI er að fjárfesta í fræðilegri rannsókn til að þróa reiknirit sem geta spáð fyrir um siðferðisdóma manna. Í skýrslu IRS, opinberaði OpenAI Inc. , sjálfseignarstofnun OpenAI, að hún hafi veitt styrk til rannsakenda við háskólann í Duke fyrir verkefni sem kallast "Rannsókn á siðfræði AI. " Samkvæmt talsmanni OpenAI er þessi styrkur hluti af víðtækri, þriggja ára áætlun að upphæð 1 milljón dollara sem miðar að því að "búa til siðferðilega AI. " Upplýsingar um þessa siðferðisrannsókn eru takmarkaðar, en styrkurinn á að ljúka árið 2025. Walter Sinnott-Armstrong, aðalrannsakandinn og prófessor í hagnýttri siðfræði við Duke, sagði í tölvupósti til TechCrunch að hann gæti ekki rætt verkefnið. Sinnott-Armstrong og Jana Borg, meðrannsakandi, hafa áður skoðað hlutverk AI sem "siðferðis GPS" til að aðstoða mannlega ákvarðanatöku. Fyrri rannsóknir þeirra hafa meðal annars snúið að því að þróa "siðferðislega stillt" reiknirit fyrir nýrnagjafaákvarðanir og rannsakað aðstæður þar sem fólk kýs siðferðislegar ákvarðanir AI. Fréttatilkynningin segir að markmið rannsóknarinnar sem OpenAI fjármagnar sé að hanna reiknirit sem geta spáð fyrir um siðferðisdóma manna við aðstæður þar sem árekstrar koma upp á milli siðferðislega mikilvægra þátta í læknisfræði, lögum og viðskiptum. Hins vegar er gríðarlega erfitt að fanga flækjustig siðferðis með nútímatækni. Árið 2021 bjó Allen-stofnunin til AI, Ask Delphi, verkfæri sem ætlað var að veita siðferðislegar ráðleggingar. Þó það hafi staðið sig vel með einföldum úrlausnarefnum, gátu smávægilegar breytingar á orðalagi leitt til þess að Delphi samþykkti nánast hvað sem er, jafnvel að kæfa smábörn. Þetta vandamál stafar af því hvernig nútíma AI kerfi starfa. Vélrænt nám módela eru að mestu leyti tölfræðileg verkfæri.

Með því að greina gríðarlegan fjölda dæma frá netinu læra þau mynstur til að gera spár, eins og að tengja "hverjum" við "þetta varðar. " Þessi módel skortir skilning á siðferðislegum hugtökum og rökhugsun og tilfinningum sem tengjast siðferðisákvörðunum. Þess vegna endurspeglar AI oft gildi vestrænna, menntaðra, iðnvæddra samfélaga, þar sem þjálfunargögn þess eru að mestu í slíkum sjónarmiðum. Ekki eru öll gildi endurspegluð í úttaki AI, sérstaklega ef einstaklingar sem halda þessum gildum leggja ekki sitt af mörkum til netsins sem er notað til þjálfunar. AI kerfi taka einnig inn fjölbreytta hlutdrægni fyrir utan vesturlanda sjónarmið. Til dæmis taldi Delphi að vera beinn væri meira "siðferðislega ásættanlegt" en að vera samkynhneigður. Verkefni OpenAI og rannsakenda þess er flækt af þeim innbyggða huglægni sem siðferði hefur. Heimspekingar hafa deilt um siðfræðikenningar í aldanna rás án þess að nálgast algilda ramma. Claude styður Kantisma, sem leggur áherslu á algild siðferðisreglur, á meðan ChatGPT hallar örlítið að nytjahyggju, sem leggur áherslu á mestu hagsæld fyrir mestu fjöldann. Hvort að ein nálgun sé betri en önnur er huglægt. Að skapa reiknirit sem getur spáð fyrir um siðferðisdóma manna þarf að taka mið af öllum þessum þáttum. Að ná þessu markmiði er afar krefjandi—ef það er yfirhöfuð framkvæmanlegt.