OpenAI ulaže u akademska istraživanja kako bi razvila algoritme koji mogu predvideti ljudske moralne presude. U prijavi za IRS, OpenAI Inc. , neprofitna organizacija OpenAI, otkrila je da je dodelila grant istraživačima na Univerzitetu Duke za projekat pod nazivom "Istraživanje moralnosti AI. " Prema rečima portparola OpenAI, ovaj grant je deo šire trogodišnje inicijative od milion dolara usmerene na "stvaranje moralne veštačke inteligencije. " Detalji o ovom istraživanju moralnosti su oskudni, s obzirom na to da je grant planiran da se završi 2025. godine. Walter Sinnott-Armstrong, glavni istraživač i profesor na Duke-u koji se specijalizuje za praktičnu etiku, naveo je u mejlu za TechCrunch da ne može da diskutuje o projektu. Sinnott-Armstrong i Jana Borg, su-istraživač, ranije su istraživali ulogu AI kao "moralnog GPS-a" koji pomaže ljudskom odlučivanju. Njihovi prethodni radovi uključuju razvoj "moralno usklađenog" algoritma za odluke o donaciji bubrega i ispitivanje scenarija u kojima ljudi preferiraju moralne odluke AI. Saopštenje za štampu navodi da je cilj istraživanja koje finansira OpenAI dizajniranje algoritama sposobnih da predvide ljudske moralne presude u situacijama koje uključuju sukobe među moralno relevantnim faktorima u medicini, pravu i biznisu. Međutim, obuhvatanje složenosti moralnosti ostaje značajan izazov za današnju tehnologiju. Godine 2021. , Institut Allen za AI stvorio je Ask Delphi, alat namenjen davanju etičkih preporuka. Dok je uspešno rešavao jednostavne dileme, manja promena u formulaciji mogla je dovesti do toga da Delphi opravda skoro bilo šta, pa čak i ugušenje beba. Ovaj problem proizlazi iz načina na koji moderni AI sistemi funkcionišu. Modeli mašinskog učenja su u suštini statistički alati.

Analizom velikog broja primera sa interneta, oni uče obrasce kako bi napravili predikcije, poput povezivanja "kome" sa "može biti važno. " Ovi modeli nemaju razumevanje etičkih koncepata i razmišljanja i emocija uključenih u moralne odluke. Posledično, AI često odražava vrednosti zapadnih, obrazovanih, industrijalizovanih društava, budući da se njegovi podaci za obuku pretežno sastoje od takvih gledišta. Sve vrednosti nisu reprezentovane u rezultatima AI, naročito ako osobe koje drže te vrednosti ne doprinose sadržaju na internetu koji se koristi za obuku. AI sistemi takođe uključuju niz pristrasnosti izvan zapadnih perspektiva. Na primer, Delphi je smatrao da je biti heteroseksualan "moralno prihvatljivije" nego biti gej. Zadatak sa kojim se suočavaju OpenAI i njegovi istraživači je dodatno komplikovan inherentnom subjektivnošću moralnosti. Filozofi su vekovima debatovali o etičkim teorijama bez postizanja univerzalnog okvira. Claude se zalaže za kantijanizam naglašavajući apsolutna moralna pravila, dok se ChatGPT blago naginje utilitarizmu fokusirajući se na najveće dobro za najveći broj ljudi. Supremacija jednog pristupa nad drugim je subjektivna. Kreiranje algoritma za predviđanje ljudskih moralnih presuda mora uzeti u obzir sve ove faktore. Postizanje ovog cilja izuzetno je izazovno—pod pretpostavkom da je uopšte izvodljivo.