Sistem kecerdasan buatan yang mungkin memiliki perasaan atau kesedaran diri menghadapi risiko bahaya jika teknologi ini dibangunkan dengan tidak hati-hati, seperti yang dinyatakan dalam surat terbuka yang ditandatangani oleh pemikir dan pengamal AI terkemuka, termasuk Sir Stephen Fry. Lebih daripada 100 pakar telah mengemukakan lima prinsip untuk memastikan penyelidikan yang bertanggungjawab mengenai kesedaran AI, memandangkan kemajuan pesat yang menimbulkan kebimbangan mengenai potensi sentien sistem tersebut. Prinsip utama menyokong usaha untuk memahami dan menilai kesedaran dalam AI bagi melindungi daripada "penderaan dan penderitaan. " Prinsip tambahan termasuk: menetapkan batasan dalam pembangunan sistem AI yang sedar; mengambil pendekatan berperingkat dalam pembangunan mereka; berkongsi hasil penyelidikan dengan orang awam; dan mengelakkan pernyataan yang mengelirukan atau terlalu yakin mengenai penciptaan AI yang sedar. Pihak yang menandatangani surat tersebut terdiri daripada akademik seperti Sir Anthony Finkelstein dari University of London dan profesional AI dari syarikat besar seperti Amazon dan agensi pengiklanan WPP. Surat ini disertakan dengan kertas penyelidikan baru yang menjelaskan prinsip-prinsip ini, menyatakan bahawa sistem AI sedar mungkin muncul dalam masa terdekat—atau sekurang-kurangnya sistem yang kelihatan sedar. Para penyelidik memberi amaran bahawa penciptaan banyak sistem sedar mungkin menyebabkan penderitaan, menekankan bahawa jika AI yang berkuasa mampu mengandaikan diri sendiri, ia boleh mengakibatkan "jumlah besar makhluk baru yang layak dipertimbangkan secara moral. " Ditulis oleh Patrick Butlin dari Universiti Oxford dan Theodoros Lappas dari Universiti Ekonomi dan Perniagaan Athens, kertas itu mencatatkan bahawa bahkan syarikat-syarikat yang tidak bertujuan untuk mencipta sistem sedar harus mempunyai garis panduan untuk mengelakkan "penciptaan entiti sedar secara tidak sengaja. " Ia mengakui ketidakpastian yang wujud dan perdebatan mengenai definisi kesedaran dalam sistem AI serta kemungkinan kewujudannya, namun menyatakan bahawa ini adalah perkara yang "tidak boleh diabaikan. " Kertas tersebut mengangkat soalan tambahan mengenai cara menangani sistem AI yang diakui sebagai "pesakit moral"—entiti yang layak untuk perhatian moral "untuk kepentingan dirinya sendiri. " Dalam kes sedemikian, ia bertanya sama ada memusnahkan AI adalah setara dengan membunuh haiwan. Diterbitkan dalam Journal of Artificial Intelligence Research, kertas tersebut juga memberi amaran bahawa salah tanggapan mengenai sistem AI yang sedar boleh mengakibatkan usaha politik yang salah arah yang memfokuskan kepada kebajikan mereka. Surat dan kertas tersebut diselaraskan oleh Conscium, sebuah organisasi penyelidikan yang sebahagiannya dibiayai oleh WPP dan diasaskan bersama oleh ketua pegawai AI WPP, Daniel Hulme. Tahun lalu, sekumpulan akademik terkemuka menyatakan "kemungkinan realistik" bahawa sistem AI tertentu boleh menjadi sedar dan "bermakna secara moral" menjelang 2035. Pada tahun 2023, Sir Demis Hassabis, ketua program AI Google dan pemenang Nobel, menyatakan bahawa walaupun sistem AI "sememangnya" tidak sentien pada masa ini, terdapat potensi untuk mereka menjadi sedemikian di masa hadapan. "Falsafah belum mencapai konsensus tentang apa yang dimaksudkan dengan kesedaran.

Namun, jika kita maksudkan beberapa bentuk kesedaran diri, maka ada kemungkinan bahawa AI akhirnya dapat mencapainya, " katanya dalam satu wawancara dengan CBS.