Ang mga sistema ng artipisyal na katalinuhan na maaaring magtaglay ng damdamin o sarili ay nahaharap sa mga panganib kung ang teknolohiya ay paunlarin ng walang pag-iingat, ayon sa isang bukas na liham na nilagdaan ng mga kilalang praktisyoner at pilosopo ng AI, kabilang si Sir Stephen Fry. Higit sa 100 eksperto ang naglatag ng limang prinsipyo para sa pagtiyak ng responsable na pananaliksik sa kamalayan ng AI, given ang mabilis na pag-unlad na nagdudulot ng mga alalahanin tungkol sa potensyal na pagiging may pakiramdam ng mga ganitong sistema. Ang mga pangunahing prinsipyo ay nagsusulong ng pagtutok sa mga pagsisikap na maunawaan at suriin ang kamalayan sa mga AI upang maprotektahan laban sa "maling pagtrato at pagdurusa. " Kabilang sa mga karagdagang prinsipyo ang: pagtatatag ng mga limitasyon sa pagbuo ng mga may kamalayang sistema ng AI; pag-adopt ng phased approach sa kanilang pag-unlad; pagbabahagi ng mga natuklasan sa pananaliksik sa publiko; at pag-iwas sa mapanlinlang o labis na tiwala na mga pahayag kaugnay sa paglikha ng may kamalayang AI. Ang mga lumagda sa liham ay binubuo ng mga akademiko tulad ni Sir Anthony Finkelstein mula sa University of London at mga propesyonal sa AI mula sa mga pangunahing kumpanya tulad ng Amazon at ahensyang pang-ads na WPP. Kasama ng liham na ito ang isang bagong papel sa pananaliksik na naglalarawan ng mga prinsipyong ito, na nagpapahayag na ang mga may kamalayang sistema ng AI ay maaaring lumitaw sa lalong madaling panahon—o hindi bababa sa mga sistema na tila may kamalayan. Pinapaalalahanan ng mga mananaliksik na ang paglikha ng maraming may kamalayang sistema ay maaaring magdulot ng pagdurusa, pinapansin na kung ang makapangyarihang AI ay kaya ng sariling pag-uulit, maaaring resulta ito ng "malaking bilang ng mga bagong nilalang na karapat-dapat sa moral na pagsasaalang-alang. " Isinulat nina Patrick Butlin ng Oxford University at Theodoros Lappas ng Athens University of Economics and Business, binanggit ng papel na kahit ang mga kumpanya na hindi naglalayong lumikha ng mga may kamalayang sistema ay dapat magkaroon ng mga alituntunin upang maiwasan ang "di-sadyang paglikha ng mga may kamalayang nilalang. " Recognizes nito ang umiiral na kawalang-katiyakan at debate sa paligid ng depinisyon ng kamalayan sa mga sistema ng AI at ang posibilidad ng pagkakaroon nito, ngunit sinasabi na ito ay isang isyung "hindi dapat balewalain. " Itinataas ng papel ang karagdagang mga tanong kung paano dapat ihandog ang isang sistema ng AI na kinilala bilang "moral na pasyente"—isang entidad na karapat-dapat sa moral na pagsasaalang-alang "para sa kanyang sariling kapakanan. " Sa ganitong mga kaso, tinatanong nito kung ang pagwasak sa AI ay katulad ng pagpatay sa isang hayop. Nai-publish sa Journal of Artificial Intelligence Research, nagbabala rin ang papel na ang mga maling akala tungkol sa mga sistema ng AI na may kamalayan ay maaaring humantong sa maling pagkaunawa sa mga politikal na hakbang na nakatuon sa kanilang kapakanan. Ang liham at papel ay incoordina ni Conscium, isang organisasyon sa pananaliksik na pinondohan nang bahagya ng WPP at co-founded ng chief AI officer ng WPP, si Daniel Hulme. Noong nakaraang taon, isang grupo ng mga nangungunang akademiko ang nagpahayag ng "realistic possibility" na ang ilang sistema ng AI ay maaaring maging may kamalayan at "moral na makabuluhan" pagsapit ng 2035. Noong 2023, sinabi ni Sir Demis Hassabis, pinuno ng AI program ng Google at Nobel laureate, na bagamat ang mga sistema ng AI ay "tiyak" na hindi may pakiramdam sa kasalukuyan, may posibilidad na mayroon itong kakayahang maging ganito sa hinaharap. "Ang mga pilosopo ay hindi pa nagkakaroon ng consensus kung ano ang kahulugan ng kamalayan.

Gayunpaman, kung ang ibig nating sabihin ay ilang anyo ng sariling kamalayan, kung gayon may pagkakataon na ang AI ay maaaring makamit iyon, " sinabi niya sa isang panayam sa CBS.