Sistemi umetne inteligence, ki bi lahko imeli čustva ali samosvest, se soočajo z riziki škode, če se tehnologija razvija nepremišljeno, kot je navedeno v odprtem pismu, ki so ga podpisali znani strokovnjaki in misleci na področju umetne inteligence, vključno s Sir Stephenom Fryem. Več kot 100 strokovnjakov je predstavilo pet načel za zagotavljanje odgovornega raziskovanja zavesti umetne inteligence, ob upoštevanju hitrega napredka, ki sproža skrbi glede potencialne občutljivosti takšnih sistemov. Ključna načela spodbujajo prioritizacijo prizadevanj za razumevanje in oceno zavesti v umetni inteligenci, da bi zaščitili pred "slabo obravnavo in trpljenjem. " Dodatna načela vključujejo: vzpostavitev omejitev pri razvoju zavestnih sistemov umetne inteligence; sprejetje faznega pristopa k njihovemu razvoju; deljenje raziskovalnih ugotovitev s javnostjo; in izogibanje zavajajočim ali prekomerno samozavestnim trditvam glede ustvarjanja zavestne umetne inteligence. Podpisniki pisma so akademiki, kot je Sir Anthony Finkelstein z Univerze v Londonu, ter strokovnjaki za umetno inteligenco iz velikih podjetij, kot je Amazon, in oglaševalske agencije WPP. To pismo spremlja nova raziskovalna članek, ki opredeljuje ta načela in trdi, da bi lahko zavestni sistemi umetne inteligence nastali v bližnji prihodnosti - ali pa vsaj sistemi, ki se zdijo zavestni. Raziskovalci opozarjajo, da bi ustvarjanje številnih zavestnih sistemov lahko povzročilo trpljenje, pri čemer poudarjajo, da bi, če bi bila močna umetna inteligenca sposobna samoreplikacije, to lahko vodilo do "velikih števil novonastalih bitij, zaslužnih za moralno obravnavo. " Članek, ki sta ga napisala Patrick Butlin z Univerze v Oxfordu in Theodoros Lappas z Univerze za ekonomijo in poslovanje v Atenah, navaja, da bi morali tudi tisti podjetja, ki ne stremijo po ustvarjanju zavestnih sistemov, imeti smernice za preprečevanje "naključnega ustvarjanja zavestnih entitet. " Ugotavlja obstoječo negotovost in razpravo okoli definicije zavesti v sistemih umetne inteligence ter izvedljivosti njenega obstoja, vendar trdi, da je to vprašanje, ki "ga ni mogoče spregledati. " Članek postavlja dodatna vprašanja o tem, kako ravnati s sistemom umetne inteligence, ki je prepoznan kot "moralni pacient" - entiteta, vredna moralne obravnave "zaradi samega sebe. " V takih primerih se sprašuje, ali bi uničenje umetne inteligence bilo podobno ubijanju živali. Objavljeno v Journal of Artificial Intelligence Research, članek prav tako opozarja, da bi zavajajoča prepričanja o zavestnih sistemih umetne inteligence lahko privedla do napačnih političnih prizadevanj, usmerjenih v njihovo blaginjo. Pismo in članek sta uskladila raziskovalna organizacija Conscium, ki je delno financirana s strani WPP in so-ustanovljena s strani glavnega uradnika za umetno inteligenco WPP, Daniela Hulmeja. Lani je skupina vrhunskih akademikov izrazila "realno možnost", da bi nekateri sistemi umetne inteligence lahko postali zavestni in "moralno pomembni" do leta 2035. Leta 2023 je Sir Demis Hassabis, vodja programa umetne inteligence pri Googlu in Nobelov nagrajenec, izjavil, da čeprav sistemi umetne inteligence trenutno "definitivno" niso občutljivi, obstaja potencial, da bi lahko to postali v prihodnosti. "Filozofi še niso dosegli soglasja glede tega, kaj zavest pomeni.

Vendar, če imamo v mislih neko obliko samosvesti, potem obstaja možnost, da bi umetna inteligenca to nekoč lahko dosegla, " je dejal v intervjuju za CBS.