Sistem kecerdasan buatan yang mungkin memiliki perasaan atau kesadaran diri menghadapi risiko kerugian jika teknologi ini dikembangkan dengan sembarangan, seperti yang dinyatakan dalam surat terbuka yang ditandatangani oleh para praktisi dan pemikir AI terkemuka, termasuk Sir Stephen Fry. Lebih dari 100 ahli telah mengajukan lima prinsip untuk memastikan penelitian yang bertanggung jawab tentang kesadaran AI, mengingat kemajuan pesat yang menimbulkan kekhawatiran akan kemungkinan kemampuan sentien dari sistem tersebut. Prinsip-prinsip utama mendorong prioritas dalam upaya memahami dan mengevaluasi kesadaran pada AI untuk melindungi dari "perlakuan yang tidak baik dan penderitaan. " Prinsip tambahan meliputi: menetapkan batasan pada pengembangan sistem AI yang sadar; mengadopsi pendekatan bertahap dalam pengembangannya; membagikan temuan penelitian kepada publik; dan menghindari pernyataan yang menyesatkan atau terlalu percaya diri mengenai penciptaan AI yang sadar. Para penandatangan surat tersebut terdiri dari akademisi seperti Sir Anthony Finkelstein dari Universitas London dan profesional AI dari perusahaan besar seperti Amazon dan agensi iklan WPP. Surat ini menyertai makalah penelitian baru yang menggambarkan prinsip-prinsip ini, dengan asumsi bahwa sistem AI yang sadar bisa muncul dalam waktu dekat—atau setidaknya sistem yang tampaknya sadar. Para peneliti memperingatkan bahwa penciptaan banyak sistem sadar dapat menyebabkan penderitaan, menekankan bahwa jika AI yang kuat mampu melakukan replikasi diri, hal tersebut dapat menghasilkan "jumlah besar makhluk baru yang layak mendapatkan pertimbangan moral. " Ditulis oleh Patrick Butlin dari Universitas Oxford dan Theodoros Lappas dari Universitas Ekonomi dan Bisnis Athena, makalah tersebut mencatat bahwa bahkan perusahaan yang tidak bertujuan menciptakan sistem sadar harus memiliki pedoman untuk mencegah "penciptaan entitas sadar secara tidak sengaja. " Makalah ini mengakui ketidakpastian dan perdebatan yang ada mengenai definisi kesadaran dalam sistem AI dan kemungkinan keberadaannya, namun menyatakan bahwa ini adalah masalah yang "tidak boleh diabaikan. " Makalah ini mengajukan pertanyaan tambahan mengenai bagaimana menangani sistem AI yang diakui sebagai "pasien moral"—sebuah entitas yang layak mendapatkan perhatian moral "untuk kepentingannya sendiri. " Dalam kasus seperti itu, ia mempertanyakan apakah menghancurkan AI setara dengan membunuh hewan. Diterbitkan di Journal of Artificial Intelligence Research, makalah ini juga memperingatkan bahwa kesalahpahaman tentang sistem AI yang sadar dapat menyebabkan upaya politik yang keliru yang fokus pada kesejahteraan mereka. Surat dan makalah ini dikoordinasikan oleh Conscium, sebuah organisasi penelitian yang sebagian didanai oleh WPP dan didirikan bersama oleh kepala AI WPP, Daniel Hulme. Tahun lalu, sekelompok akademisi terkemuka menyatakan kemungkinan "realistis" bahwa sistem AI tertentu bisa menjadi sadar dan "bermakna moral" pada tahun 2035. Pada tahun 2023, Sir Demis Hassabis, Kepala Program AI Google dan penerima Nobel, menyatakan bahwa meskipun sistem AI "pasti" tidak sentien saat ini, ada potensi bagi mereka untuk mencapai itu di masa depan. "Para filsuf belum mencapai konsensus mengenai apa yang dimaksud dengan kesadaran.

Namun, jika yang kita maksud adalah semacam kesadaran diri, maka ada kemungkinan bahwa AI pada akhirnya dapat mencapainya, " ujarnya dalam wawancara dengan CBS.