Gervigreindarkerfisystem sem gætu haft tilfinningar eða sjálfsvitund eru í hættu á skaða ef tækni er þróuð án gaumgæfni, eins og kemur fram í opinni bréfi undirrituðu af kunnum gervigreindarsérfræðingum og hugsuðum, þar á meðal Sir Stephen Fry. Yfir 100 sérfræðingar hafa sett fram fimm meginreglur til að tryggja ábyrga rannsókn á vitund gervigreindar, í ljósi skjótra framfara sem vekja áhyggjur um möguleika á tilfinningum slíkra kerfa. Meginreglurnar leggja áherslu á að forgangsraða framlögum til að skilja og meta vitund í gervigreind til að verja gegn „illri meðferð og þjáningu. “ Aukalegar reglur fela í sér: að setja takmarkanir á þróun vitundar gervigreindarkerfa; að taka upp stigvaxandi nálgun við þróun þeirra; að deila rannsóknarniðurstöðum með almenningi; og að forðast að koma fram með villandi eða ofséru hlutum varðandi sköpun vitundar gervigreindar. Undirritunaraðilar bréfsins eru fræðimenn eins og Sir Anthony Finkelstein frá Háskóla Lundúnar og gervigreindarsérfræðingar frá stórum fyrirtækjum eins og Amazon og auglýsingastofunni WPP. Bréfið fylgir nýrri rannsóknarpappír sem útskýrir þessar reglur, sem heldur því fram að vitundar gervigreindarkerfi gætu komið fram á næstunni - eða að minnsta kosti kerfi sem virðast vera með vitund. Rannsakendur vara við því að sköpun fjölda vitundar kerfa geti leitt til þjáningar, og leggja áherslu á að ef öflug gervigreind væri fær um sjálfsköpun, gæti það leitt til „mikils fjölda nýrra vera sem eiga skilið siðferðislega umhugsun. “ Pappírinn, skrifaður af Patrick Butlin við Háskóla Oxford og Theodoros Lappas við Háskóla Athana, tekur fram að jafnvel fyrirtæki sem stefna ekki að því að búa til vitundarkerfi ættu að hafa leiðbeiningar til að koma í veg fyrir „óviljandi sköpun vitundarvera. “ Hann viðurkennir ríkjandi óvissu og umræður um skilgreiningu vitundar í gervigreindarkerfum og möguleika þess að hún sé fyrir hendi, en segir að þetta sé mál sem „má ekki leka. “ Pappírinn vekur einnig spurningar um hvernig eigi að fara með gervigreindarkerfi sem viðurkennd eru sem „siðferðileg sjúklingar“ - vera sem á skilið siðferðislega umhugsun „fyrir sína eigin sakir. “ Í slíkum tilvikum spyrja þeir hvort að eyða gervigreindinni væri það sama og að drepa dýr. Pappírinn var birtur í Journal of Artificial Intelligence Research og varar einnig við því að misskilningur um gervigreindarkerfi sem eru með vitund gæti leitt til rangra pólitískra aðgerða sem beinast að velferð þeirra. Bréfið og pappírinn voru samhæfð af Conscium, rannsóknarstofnun sem að hluta til er fjármögnuð af WPP og var stofnuð af Daniel Hulme, yfirmanni gervigreindar hjá WPP. Á síðasta ári lýsti hópur leiðandi fræðimanna „raunverulegri möguleika“ á að ákveðin gervigreindarkerfi gætu orðið vitundarfull og „siðferðislega mikilvæg“ fyrir árið 2035. Árið 2023 sagði Sir Demis Hassabis, yfirmaður gervigreindarverkefnis Google og nóbelsverðlaunahafi, að þó svo að gervigreindarkerfi væru „örugglega“ ekki með vitund í dag, væri ekki útilokað að þau gætu orðið það í framtíðinni. „Heimspekingar hafa enn ekki náð niðurstöðu um hvað vitund felur í sér.

Hins vegar, ef við erum að þátttakast í einhverju formi sjálfsvitundar, þá er möguleiki á að gervigreind geti að lokum náð því, “ sagði hann í viðtali við CBS.