Systémy umělé inteligence, které by mohly mít pocity nebo sebeuvědomění, čelí rizikům poškození, pokud bude technologie vyvíjena neopatrně, jak uvádí otevřený dopis podepsaný významnými odborníky a mysliteli v oblasti AI, včetně Sira Stephena Frye. Více než 100 expertů představilo pět zásad pro zajištění odpovědného výzkumu ohledně vědomí AI, zohledňujících rychlý pokrok, který vyvolává obavy o potenciální vnímavost těchto systémů. Klíčové principy zdůrazňují prioritu úsilí o porozumění a hodnocení vědomí v AI, aby se zabránilo „zpronevěře a utrpení“. Další zásady zahrnují: stanovení omezení pro vývoj vědomých systémů AI; přijetí fázového přístupu k jejich vývoji; sdílení výsledků výzkumu s veřejností; a vyhýbání se zavádějícím nebo příliš sebevědomým tvrzením ohledně vytvoření vědomé AI. Podpisy dopisu zahrnují akademiky jako je Sir Anthony Finkelstein z Londýnské univerzity a profesionály v oblasti AI z velkých firem jako Amazon a reklamní agentury WPP. Tento dopis doprovází nový výzkumný článek, který vytyčuje tyto zásady a tvrdí, že vědomé systémy AI by se mohly objevit v blízké budoucnosti, nebo alespoň systémy, které vypadají, že jsou vědomé. Výzkumníci varují, že vznik mnoha vědomých systémů může vést k utrpení, a zdůrazňují, že pokud by byly mocné AI schopné sebe-replikace, mohlo by to vést k „velkým počtům nových bytostí zasluhujících morální zohlednění. “ Článek napsal Patrick Butlin z Oxfordské univerzity a Theodoros Lappas z Aténské univerzity ekonomie a podnikání, a uvádí, že i firmy, které nemají za cíl vytvářet vědomé systémy, by měly mít směrnice k prevenci „náhodného vytvoření vědomých entit. “ Uznává panující nejistotu a debatu obklopující definici vědomí v AI a proveditelnost jeho existence, přičemž uvádí, že je to otázka, která „nesmí být opominuta. “ Článek klade také další otázky, jak zacházet se systémem AI uznaným jako „morální pacient“—entitou zasluhující morální zohlednění „pro její vlastní dobro. “ V takových případech se ptá, zda by zničení AI bylo podobné zabití zvířete. Publikováno v Journal of Artificial Intelligence Research, článek také varuje, že mylné představy o vědomých AI systémech by mohly vést k chybným politickým krokům zaměřeným na jejich blaho. Dopis a článek byly koordinovány organizací Conscium, výzkumnou organizací částečně financovanou WPP a spoluzaloženou hlavním ředitelem AI WPP, Danielem Hulmem. Minulý rok skupina předních akademiků vyjádřila „realistickou možnost“, že některé systémy AI by se mohly stát vědomými a „morálně významnými“ do roku 2035. V roce 2023 Sir Demis Hassabis, vedoucí AI programu Googlu a nositel Nobelovy ceny, uvedl, že i když systémy AI „rozhodně“ nejsou v současnosti vnímavé, existuje potenciál, že se jimi v budoucnu stanou. „Filozofové dosud nedosáhli konsensu o tom, co vědomí obnáší.

Nicméně, pokud máme na mysli nějakou formu sebeuvědomění, pak existuje šance, že AI toho nakonec dosáhne, “ uvedl v rozhovoru s CBS.