A OpenAI está investindo em pesquisa acadêmica para desenvolver algoritmos que possam prever julgamentos morais humanos. Em um documento apresentado ao IRS, a OpenAI Inc. , o braço sem fins lucrativos da OpenAI, revelou que concedeu uma bolsa a pesquisadores da Universidade de Duke para um projeto intitulado "Pesquisa em Moralidade da IA. " Segundo um porta-voz da OpenAI, essa bolsa é parte de uma iniciativa mais ampla de três anos e US$ 1 milhão destinada a "criar uma IA moral. " Os detalhes sobre essa pesquisa de moralidade são escassos, com a bolsa prevista para concluir em 2025. Walter Sinnott-Armstrong, o investigador principal e professor de ética prática em Duke, mencionou em um e-mail ao TechCrunch que não poderia discutir o projeto. Sinnott-Armstrong e Jana Borg, a co-investigadora, exploraram anteriormente o papel da IA como um "GPS moral" para auxiliar na tomada de decisões humanas. Seus trabalhos anteriores incluem o desenvolvimento de um algoritmo "moralmente alinhado" para decisões de doação de rins e a análise de cenários onde as pessoas preferem as decisões morais da IA. O comunicado de imprensa afirma que o objetivo da pesquisa financiada pela OpenAI é projetar algoritmos capazes de prever julgamentos morais humanos em situações que envolvam conflitos entre fatores moralmente relevantes na medicina, direito e negócios. No entanto, capturar a complexidade da moralidade continua sendo um desafio significativo para a tecnologia atual. Em 2021, o Instituto Allen para IA criou o Ask Delphi, uma ferramenta destinada a fornecer recomendações éticas. Embora tenha se saído bem com dilemas diretos, pequenas mudanças na redação poderiam levar Delphi a justificar quase qualquer coisa, até mesmo sufocar bebês. Este problema surge de como os sistemas de IA modernos operam. Os modelos de aprendizado de máquina são essencialmente ferramentas estatísticas.

Analisando um vasto número de exemplos da web, eles aprendem padrões para fazer previsões, como associar "a quem" com "possa interessar. " Esses modelos não têm compreensão dos conceitos éticos e do raciocínio e emoções envolvidos nas decisões morais. Consequentemente, a IA frequentemente reflete os valores das sociedades ocidentais, educadas e industrializadas, uma vez que seus dados de treinamento compreendem predominantemente tais pontos de vista. Nem todos os valores estão representados nos resultados da IA, especialmente se as pessoas com esses valores não contribuem para o conteúdo online usado no treinamento. Os sistemas de IA também incorporam uma gama de vieses além das perspectivas ocidentais. Por exemplo, Delphi considerou ser heterossexual mais "moralmente aceitável" do que ser gay. A tarefa enfrentada pela OpenAI e seus pesquisadores é complicada pela subjetividade inerente da moralidade. Filósofos debatem teorias éticas há séculos sem alcançar um quadro universal. Claude defende o kantianismo, enfatizando regras morais absolutas, enquanto ChatGPT inclina-se ligeiramente para o utilitarismo, focando no maior bem para o maior número. A superioridade de uma abordagem sobre a outra é subjetiva. Criar um algoritmo para prever julgamentos morais humanos deve considerar todos esses fatores. Alcançar esse objetivo é excepcionalmente desafiador — assumindo que seja viável.