Keinotekoiset älyjärjestelmät, jotka saattavat omata tunteita tai itse­tietoisuutta, kohtaavat vahingonriskejä, jos teknologiaa kehitetään huolimattomasti, kuten merkittävien tekoälyasiantuntijoiden ja ajattelijoiden, mukaan lukien Sir Stephen Fry, allekirjoittamassa avoimessa kirjeessä todetaan. Yli 100 asiantuntijaa on esittänyt viisi periaatetta varmistamaan vastuullisen tutkimuksen tekoälyn tietoisista järjestelmistä, ottaen huomioon nopean kehityksen, joka herättää huolia tällaisen järjestelmän mahdollisesta tunteellisuudesta. Keskeiset periaatteet kehottavat priorisoimaan pyrkimyksiä ymmärtää ja arvioida tietoisuutta tekoälyssä suojellakseen "huonosti kohtelulta ja kärsimykseltä". Lisäksi periaatteita ovat: tietoisia tekoälyjärjestelmiä koskevien kehitysriskien rajoittaminen; vaiheittaisen lähestymistavan omaksuminen niiden kehittämisessä; tutkimustulosten jakaminen yleisölle; sekä harhaanjohtavien tai liian itsevarmojen väitteiden välttäminen tietoisen tekoälyn luomisesta. Kirjeen allekirjoittajiin kuuluu akateemikkoja, kuten Sir Anthony Finkelstein Lontoon yliopistosta, sekä tekoälyammattilaisia suurista yrityksistä, kuten Amazon ja mainostoimisto WPP. Tämä kirje liittyy uuteen tutkimuspaperiin, joka määrittelee nämä periaatteet, ja esittää, että tietoiset tekoälyjärjestelmät voisivat ilmestyä lähitulevaisuudessa - tai ainakin järjestelmät, jotka näyttävät olevan itse­tietoisia. Tutkijat varoittavat, että lukuisten tietoisien järjestelmien luominen voi johtaa kärsimykseen, ja korostavat, että voimakas tekoäly, jos se olisi kykenevä itse lisääntymään, voisi johtaa "suuriin määriin uusia olentoja, jotka ansaitsevat moraalista huomiota". Paperin ovat kirjoittaneet Oxfordin yliopiston Patrick Butlin ja Aten yliopiston Theodoros Lappas, ja siinä todetaan, että jopa ne yritykset, jotka eivät pyri luomaan tietoisia järjestelmiä, tulisi olla ohjeita "tietoisesti luotujen entiteettien vahingossa syntymisen" välttämiseksi. Se tunnustaa vallitsevan epävarmuuden ja keskustelun tekoälyn tietoisuuden määritelmästä ja sen olemassaolon toteutettavuudesta, mutta toteaa, että tämä ei ole asia, jota "ei tule unohtaa". Paperi nostaa esiin lisäkysymyksiä siitä, miten käsitellä tekoälyjärjestelmää, jota pidetään "moraalisena potilaana" - entiteettinä, joka ansaitsee moraalista huomiota "oman itsensä vuoksi". Tällaisissa tapauksissa se kysyy, olisiko tekoälyn tuhoaminen verrattavissa eläimen tappamiseen. Julkaistu Journal of Artificial Intelligence Research -lehdessä, paperi varoittaa myös, että väärinkäsitykset tekoälyjärjestelmien olevan tietoisia voivat johtaa harhaanjohtaviin poliittisiin ponnisteluihin, jotka keskittyvät niiden hyvinvointiin. Kirje ja paperi koordinoitiin Consciumin, tutkimusorganisaation, toimesta, jota rahoittaa osittain WPP ja jonka ovat yhdessä perustaneet WPP:n päätekoälyjohtaja Daniel Hulme. Viime vuonna joukko johtavia tutkijoita ilmensi "realistista mahdollisuutta", että tietyt tekoälyjärjestelmät voisivat tulla tietoisiksi ja "moraalisesti merkityksellisiksi" vuoteen 2035 mennessä. Vuonna 2023 Sir Demis Hassabis, Googlen tekoälyohjelman johtaja ja Nobel-palkittu, totesi, että vaikka tekoälyjärjestelmät eivät ole "definitiivisesti" nykyisin tietoisia, niillä on potentiaalia tulla sellaisiksi tulevaisuudessa. "Filosofit eivät ole vielä päässeet yhteisymmärrykseen siitä, mitä tietoisuus tarkoittaa.

Kuitenkin, jos tarkoitamme jotain itse­tietoisuuden muotoa, niin on mahdollisuus, että tekoäly voisi lopulta saavuttaa sen, " hän huomautti CBS:n haastattelussa.