OpenAI investit dans la recherche académique pour développer des algorithmes capables de prédire les jugements moraux humains. Dans un dépôt auprès de l'IRS, OpenAI Inc. , le bras à but non lucratif d'OpenAI, a révélé avoir octroyé une subvention à des chercheurs de l'Université Duke pour un projet intitulé "Research AI Morality. " Selon un porte-parole d'OpenAI, cette subvention fait partie d'une initiative plus large de trois ans dotée d'un million de dollars, visant à "créer une IA morale. " Les détails sur cette recherche de moralité sont rares, la subvention devant se conclure en 2025. Walter Sinnott-Armstrong, l'investigateur principal et professeur à Duke spécialisé en éthique pratique, a mentionné dans un e-mail à TechCrunch qu'il ne pouvait pas discuter du projet. Sinnott-Armstrong et Jana Borg, la co-investigatrice, ont déjà exploré le rôle de l'IA en tant que "GPS moral" pour aider à la prise de décision humaine. Leur travail passé inclut le développement d'un algorithme "moralement aligné" pour les décisions de don de rein et l'examen de scénarios où les gens préfèrent les décisions morales de l'IA. Le communiqué de presse indique que le but de la recherche financée par OpenAI est de concevoir des algorithmes capables de prédire les jugements moraux humains dans des situations impliquant des conflits entre des facteurs moralement pertinents en médecine, droit et affaires. Cependant, capturer la complexité de la moralité demeure un défi majeur pour la technologie actuelle. En 2021, l'Allen Institute for AI a créé Ask Delphi, un outil destiné à fournir des recommandations éthiques. Bien qu'il se soit bien comporté avec des dilemmes simples, de légers changements de formulation pouvaient amener Delphi à justifier presque n'importe quoi, même l'étouffement d'enfants. Ce problème découle du mode de fonctionnement des systèmes d'IA modernes. Les modèles d'apprentissage automatique sont essentiellement des outils statistiques.

En analysant un grand nombre d'exemples provenant du web, ils apprennent des schémas pour faire des prédictions, comme associer "à qui" avec "cela peut concerner. " Ces modèles n'ont pas une compréhension des concepts éthiques ni du raisonnement et des émotions impliqués dans les décisions morales. Par conséquent, l'IA reflète souvent les valeurs des sociétés occidentales, éduquées et industrialisées, puisque ses données d'entraînement proviennent en grande majorité de ces points de vue. Toutes les valeurs ne sont pas représentées dans les résultats des IA, surtout si les individus portant ces valeurs ne contribuent pas au contenu en ligne utilisé pour l'entraînement. Les systèmes d'IA intègrent également une gamme de biais au-delà des perspectives occidentales. Par exemple, Delphi a jugé que le fait d'être hétérosexuel était plus "moralement acceptable" que d'être gay. La tâche d'OpenAI et de ses chercheurs est compliquée par la subjectivité inhérente à la moralité. Les philosophes ont débattu de théories éthiques pendant des siècles sans parvenir à un cadre universel. Claude plaide pour le kantisme, soulignant des règles morales absolues, tandis que ChatGPT penche légèrement vers l'utilitarisme, se concentrant sur le plus grand bien pour le plus grand nombre. La supériorité d'une approche sur l'autre est subjective. Pour créer un algorithme capable de prédire les jugements moraux humains, il faut prendre en compte tous ces facteurs. Atteindre cet objectif est extrêmement difficile—à supposer que ce soit même réalisable.