OpenAI investiert in akademische Forschung, um Algorithmen zu entwickeln, die menschliche moralische Urteile vorhersagen können. In einer IRS-Erklärung enthüllte OpenAI Inc. , der gemeinnützige Arm von OpenAI, dass es Forschern der Duke University ein Stipendium für ein Projekt mit dem Titel "Research AI Morality" bewilligt hat. Laut einem OpenAI-Sprecher ist dieses Stipendium Teil einer breiteren, auf drei Jahre angelegten Initiative in Höhe von 1 Million Dollar zur Entwicklung von "moralischer KI". Details zu dieser Moral-Forschung sind spärlich, da das Stipendium 2025 abgeschlossen sein soll. Walter Sinnott-Armstrong, der Hauptforscher und Professor an der Duke University, der sich auf praktische Ethik spezialisiert hat, erwähnte in einer E-Mail an TechCrunch, dass er das Projekt nicht besprechen könne. Sinnott-Armstrong und Jana Borg, die Mitforscherin, haben zuvor die Rolle von KI als "moralisches GPS" zur Unterstützung menschlicher Entscheidungsfindung untersucht. Ihre früheren Arbeiten umfassen die Entwicklung eines "moralisch abgestimmten" Algorithmus für Entscheidungen zur Nierenspenden und die Untersuchung von Szenarien, in denen Menschen moralische Entscheidungen von KI bevorzugen. In der Pressemitteilung heißt es, dass das Ziel der von OpenAI finanzierten Forschung darin besteht, Algorithmen zu entwerfen, die menschliche moralische Urteile in Situationen vorhersagen können, in denen Konflikte zwischen moralisch relevanten Faktoren in Medizin, Recht und Wirtschaft bestehen. Doch die Komplexität der Moral zu erfassen, bleibt eine erhebliche Herausforderung für die heutige Technologie. Im Jahr 2021 entwickelte das Allen Institute for AI Ask Delphi, ein Werkzeug, das ethische Empfehlungen geben sollte. Während es bei einfachen Dilemmata gut abschnitt, konnten bereits geringfügige Änderungen in der Formulierung dazu führen, dass Delphi fast alles billigte, sogar das Ersticken von Säuglingen. Dieses Problem resultiert aus der Funktionsweise moderner KI-Systeme. Maschinelle Lernmodelle sind im Wesentlichen statistische Werkzeuge.

Indem sie eine große Anzahl von Beispielen aus dem Internet analysieren, lernen sie Muster, um Vorhersagen zu treffen, wie zum Beispiel "an wen" mit "es mögen betreffen" zu verknüpfen. Diese Modelle haben kein Verständnis für ethische Konzepte und die damit verbundenen Überlegungen und Gefühle bei moralischen Entscheidungen. Infolgedessen reflektiert KI oft die Werte westlicher, gebildeter und industrialisierter Gesellschaften, da ihre Trainingsdaten überwiegend solche Perspektiven enthalten. Nicht alle Werte sind in KI-Ausgaben vertreten, insbesondere wenn die Personen, die diese Werte vertreten, keinen Beitrag zu den für das Training verwendeten Online-Inhalten leisten. KI-Systeme beinhalten auch eine Reihe von Vorurteilen über die westlichen Perspektiven hinaus. Zum Beispiel bewertete Delphi, dass heterosexuell zu sein "moralisch akzeptabler" ist als homosexuell zu sein. Die Aufgabe von OpenAI und seinen Forschern wird durch die inhärente Subjektivität von Moral verkompliziert. Philosophen diskutieren seit Jahrhunderten ethische Theorien, ohne einen universellen Rahmen zu erreichen. Claude befürwortet Kantianismus, der absolute moralische Regeln betont, während ChatGPT leicht zum Utilitarismus neigt, der das größte Wohl für die größte Zahl in den Vordergrund stellt. Die Überlegenheit eines Ansatzes gegenüber dem anderen ist subjektiv. Einen Algorithmus zu entwickeln, der menschliche moralische Urteile vorhersagt, muss all diese Faktoren berücksichtigen. Dieses Ziel zu erreichen, ist äußerst herausfordernd, vorausgesetzt, es ist überhaupt machbar.