OpenAI està invertint en la recerca acadèmica per desenvolupar algorismes que puguin predir els judicis morals humans. En una declaració a l'IRS, OpenAI Inc. , la branca sense ànim de lucre d'OpenAI, va revelar que havia atorgat una beca a investigadors de la Universitat de Duke per a un projecte titulat "Investigació en Moralitat de la IA". Segons un portaveu d'OpenAI, aquesta beca forma part d'una iniciativa més àmplia de 1 milió de dòlars durant tres anys destinada a "fer IA moral". Els detalls sobre aquesta investigació de moralitat són escassos, amb la beca prevista per finalitzar el 2025. Walter Sinnott-Armstrong, l'investigador principal i professor de la Universitat de Duke especialitzat en ètica pràctica, va mencionar en un correu electrònic a TechCrunch que no podia discutir el projecte. Sinnott-Armstrong i Jana Borg, la co-investigadora, han explorat prèviament el paper de la IA com un "GPS moral" per ajudar en la presa de decisions humanes. El seu treball anterior inclou el desenvolupament d'un algorisme "alineat moralment" per a decisions de donació de ronyó i l'examen de situacions on les persones prefereixen les decisions morals de la IA. El comunicat de premsa indica que l'objectiu de la recerca finançada per OpenAI és dissenyar algorismes capaços de predir els judicis morals humans en situacions de conflicte entre factors moralment rellevants en la medicina, el dret i els negocis. No obstant això, captar la complexitat de la moralitat continua sent un desafiament significatiu per a la tecnologia actual. El 2021, l'Institut Allen per a la IA va crear Ask Delphi, una eina destinada a oferir recomanacions ètiques. Tot i que funcionava bé amb dilemes senzills, petits canvis en la redacció podien portar Delphi a acceptar gairebé qualsevol cosa, fins i tot sufocar infants. Aquest problema sorgeix de com operen els sistemes d'IA moderns. Els models d'aprenentatge automàtic són essencialment eines estadístiques.

Analitzant un gran nombre d'exemples de la web, aprenen patrons per fer prediccions, com associar "a qui" amb "pugui interessar". Aquests models no tenen comprensió dels conceptes ètics ni del raonament i les emocions implicades en les decisions morals. Conseqüentment, la IA sovint reflecteix els valors de les societats occidentals, educades i industrialitzades, ja que les seves dades d'entrenament tenen predominantment aquests punts de vista. No tots els valors estan representats en les sortides de la IA, especialment si les persones amb aquests valors no contribueixen al contingut en línia utilitzat per a l'entrenament. Els sistemes d'IA també incorporen una varietat de biaixos més enllà de les perspectives occidentals. Per exemple, Delphi va considerar ser heterosexual com més "moralment acceptable" que ser homosexual. La tasca que afronten OpenAI i els seus investigadors es veu complicat per la naturalesa inherentment subjectiva de la moralitat. Els filòsofs han debatut sobre teories ètiques durant segles sense arribar a un marc universal. Claude defensa el kantianisme, ressaltant regles morals absolutes, mentre que ChatGPT s'inclina lleugerament cap al utilitarisme, enfocant-se en el major bé per al major nombre. La superioritat d'un enfocament sobre l'altre és subjectiva. Crear un algorisme per predir els judicis morals humans ha de considerar tots aquests factors. Assolir aquest objectiu és excepcionalment desafiant—assumint que sigui fins i tot factible.