OpenAI інвестує в академічні дослідження для розробки алгоритмів, здатних передбачати людські моральні судження. У IRS-документі OpenAI Inc. , некомерційний підрозділ OpenAI, розкриває, що надав грант дослідникам з Університету Дьюка для проекту під назвою "Дослідження моралі ШІ". За словами представника OpenAI, цей грант є частиною ширшої трирічної ініціативи на суму $1 мільйон, спрямованої на створення "морального ШІ". Деталей про дослідження моралі мало, грант заплановано завершити у 2025 році. Волтер Сіннот-Армстронг, головний дослідник і професор з практичної етики в Дьюці, згадує у електронному листі до TechCrunch, що не може обговорювати проект. Сіннот-Армстронг і Джана Борг, співдослідник, раніше досліджували роль ШІ як "морального GPS" для допомоги у прийнятті людських рішень. Їхня минула робота включає розробку "морально-узгодженого" алгоритму для рішень про пожертву нирок і вивчення ситуацій, де люди віддають перевагу моральним рішенням ШІ. У прес-релізі зазначено, що метою дослідження, яке фінансується OpenAI, є створення алгоритмів, здатних передбачати людські моральні судження в ситуаціях конфліктів між морально значимими факторами в медицині, праві та бізнесі. Проте, вловлення складності моральності лишається значним викликом для сучасних технологій. У 2021 році Інститут AI Аллена створив Ask Delphi, інструмент, призначений для надання етичних рекомендацій. Хоча він добре показав себе у простих дилемах, незначні зміни у формулюванні могли призвести до того, що Delphi схвалював майже все, навіть задушення немовлят. Це питання виникає від принципу роботи сучасних систем ШІ. Моделі машинного навчання є по суті статистичними інструментами.

Аналізуючи величезну кількість прикладів з вебу, вони вчаться знаходити патерни для прогнозів, як-от асоціювати "кому" з "це може стосуватися". Ці моделі не мають розуміння етичних концепцій, а також міркувань і емоцій, пов'язаних з моральними рішеннями. Отже, ШІ часто відображає цінності західних, освічених, індустріалізованих суспільств, оскільки дані для навчання переважно містять саме такі погляди. Не всі цінності представлені у виходах ШІ, особливо якщо особи, що дотримуються цих цінностей, не беруть участі в онлайн-контенті, використовуваному для навчання. Системи ШІ також включають ряд упереджень, крім західних перспектив. Наприклад, Delphi вважав, що бути гетеросексуальним більш "морально прийнятно", ніж бути геєм. Завдання, що стоїть перед OpenAI і його дослідниками, ускладнюється суб'єктивністю моральності. Філософи століттями обговорювали етичні теорії, не досягши універсальної основи. Клод захищає кантіанство, підкреслюючи абсолютні моральні правила, тоді як ChatGPT трохи тяжіє до утилітаризму, зосередженого на найбільшому добрі для найбільшої кількості людей. Перевага одного підходу над іншим суб'єктивна. Створення алгоритму для передбачення людських моральних суджень має враховувати всі ці фактори. Досягнення цієї мети є винятково складним завданням, якщо це взагалі можливо.