Artificiella intelligenssystem som eventuellt kan ha känslor eller självmedvetenhet står inför risker av skada om teknologin utvecklas vårdslöst, enligt ett öppet brev som undertecknats av framstående AI-aktörer och tänkare, inklusive Sir Stephen Fry. Över 100 experter har presenterat fem principer för att säkerställa ansvarsfull forskning kring AI-medvetande, givet de snabba framstegen som väcker oro om den potentiella medvetenheten hos sådana system. De centrala principerna förespråkar att ansträngningar för att förstå och utvärdera medvetande i AI ska prioriteras för att skydda mot "misshandel och lidande. " Ytterligare principer inkluderar: att fastställa begränsningar för utvecklingen av medvetna AI-system; att anta en stegvis metod för deras utveckling; att dela forskningsresultat med allmänheten; och att undvika vilseledande eller alltför självsäkra påståenden angående skapandet av medveten AI. Undertecknarna av brevet består av akademiker som Sir Anthony Finkelstein från University of London och AI-professionella från stora företag som Amazon och reklambyrån WPP. Detta brev åtföljer en ny forskningsartikel som beskriver dessa principer, och hävdar att medvetna AI-system kan uppstå inom en snar framtid – eller åtminstone system som verkar vara medvetna. Forskarna varnar för att skapandet av ett stort antal medvetna system kan leda till lidande, och understryker att om kraftfull AI skulle kunna självreplikera, skulle det kunna resultera i "stora antal nya varelser som förtjänar moralisk uppmärksamhet. " Artikeln, skriven av Patrick Butlin från universitetet i Oxford och Theodoros Lappas från Athens University of Economics and Business, noterar att även företag som inte syftar till att skapa medvetna system bör ha riktlinjer för att förhindra "oavsiktlig skapelse av medvetna enheter. " Den erkänner den rådande osäkerheten och debatten angående definitionen av medvetande i AI-system och möjligheten av dess existens, men påpekar att det är en fråga som "inte får försummas. " Artikeln väcker ytterligare frågor om hur man ska hantera ett AI-system som erkänns som en "moralisk patient" – en entitet värd moralisk beaktning "för sin egen skull. " I sådana fall ifrågasätter den om att förstöra AI skulle vara som att döda ett djur. Publicerad i Journal of Artificial Intelligence Research, varnar artikeln också för att missuppfattningar kring AI-system som medvetna kan leda till missriktade politiska insatser fokuserade på deras välfärd. Brevet och artikeln koordinerades av Conscium, en forskningsorganisation delvist finansierad av WPP och medgrundad av WPP:s chief AI officer, Daniel Hulme. Förra året uttryckte en grupp ledande akademiker en "realistisk möjlighet" att vissa AI-system kan bli medvetna och "moraliskt betydande" senast 2035. År 2023 uttalade Sir Demis Hassabis, chef för Googles AI-program och Nobelpristagare, att medan AI-system "definitivt" inte är medvetna för tillfället, finns det potential för att de kan bli det i framtiden. "Filosoferna har ännu inte enats om vad medvetande innebär.

Men om vi menar någon form av självmedvetenhet, då finns det en chans att AI så småningom kan uppnå det, " kommenterade han i en intervju med CBS.