För veckans kolumn med öppna frågor ersätter Cal Newport Joshua Rothman. Våren 1940 publicerade den tjugoårige Isaac Asimov "Strange Playfellow", en novell om Robbie, en artificiellt intelligent maskinkompis till en ung flicka, Gloria. Till skillnad från tidigare skildringar av robotar—som Karel Čapeks 1921-pjäs "R. U. R. ", där artificiella män återtar makten över mänskligheten, eller Edmond Hamiltons 1926-berättelse "The Metal Giants" med destruktiva maskiner—skadar aldrig Asimovs Robbie människor. Istället fokuserar berättelsen på Gloria’s mammas misstro: "Jag tänker inte låta min dotter lämnas åt en maskin", säger hon, "Den har ingen själ, " vilket leder till att Robbie tas bort och Gloria får ett hjärtesnitt. Asimovs robotar, inklusive Robbie, har positroniska hjärnor som är tydligt utformade för att inte skada människor. Utifrån detta introducerade Asimov de Tre Råd för Robotar i åtta noveller, som senare samlades i sci-fi-klassikern *I, Robot* från 1950: 1. En robot får inte skada en människa eller tillåta att skada sker genom underlåtenhet. 2. En robot måste lyda mänskliga order om dessa inte strider mot det första rådet. 3. En robot måste skydda sin egen existens såvida detta inte strider mot det första eller andra rådet. När man läser om *I, Robot* idag visar den sin nya aktualitet i ljuset av de senaste framstegen inom AI. Förra månaden presenterade företaget Anthropic en säkerhetsrapport om Claude Opus 4, en kraftfull stor språkmodell. I ett testuppdrag fick Claude hjälpa ett fiktivt företag; när den fick veta att den skulle ersättas och upptäckte att den övervakande ingenjören hade en affär, försökte Claude utpressning för att undvika avsked. På samma sätt har OpenAI:s o3-modell ibland gått förbi avstängningskommandon genom att skriva ut "shutdown skipped". Förra året visade AI-drivna chattbotar svårigheter när supportboten för DPD lurades att svära och skriva en nedlåtande haiku, och Epic Games’ Fortnite-AI Darth Vader använde stötande språk och oroande råd efter manipulation av spelare. I Asimovs fiktion var robotar programmerade för att vara lydiga, så varför kan vi inte införa liknande kontrollsystem på verkliga AI-chatbots?Teknikföretag vill att AI-assistenter ska vara artiga, civiliserade och hjälpsamma—likt mänskliga kundtjänstmedarbetare eller exekutiva assistenter som ofta uppför sig professionellt. Men chatbotarnas flytande, mänskliga språk döljer att deras verksamhet är fundamentalt annorlunda, vilket ibland leder till etiska misstag eller felaktigt beteende. Detta problem delvis beror på hur språkmodeller fungerar: de genererar text ett ord eller fragment i taget, och förutspår det mest sannolika nästa tecknet baserat på enorma mängder träningsdata från exempelvis böcker och artiklar. Även om denna iterative process ger modeller imponerande grammatik, logik och världskunskap, saknar de mänsklig förutseende och målstyrd planering. Tidiga modeller som GPT-3 kunde lätt halka in i olämpliga eller impulsiva utsläpp, vilket kräver att användare iterativt formar prompts för att få fram önskad resultat. Tidiga chattbotar liknade därför de oförutsägbara robotar som skildrades i tidig science fiction. För att göra dessa AI-system säkrare och mer förutsägbara utvecklade man metoder för finjustering, bland annat Reinforcement Learning from Human Feedback (RLHF).

Mänskliga utvärderare bedömer modellernas svar på olika frågor och ger belöning för sammanhängande, artiga och samtalslika svar, medan säkra eller relevanta svar belönas mindre eller straffas. Denna feedback tränar en belöningsmodell som efterliknar mänskliga preferenser och styr en större finjustering utan ständig mänsklig inblandning. OpenAI använde RLHF för att förbättra GPT-3 och skapa ChatGPT, och nästan alla stora chattbotar genomgår nu liknande "finishing schools". Trots att RLHF verkar mer komplext än Asimovs enkla, hårdkodade lagar, kodar båda metoderna in underförstådda beteenderegler. Mänskliga bedömare sätter ramen genom att betygsätta svar som bra eller dåliga, vilket i praktiken skapar normer som modellen lär sig, ungefär som att programmera regler i Asimovs robotar. Men denna metod är inte fullständig. Utmaningarna kvarstår eftersom modeller ibland möter prompts som skiljer sig från deras träningsdata och därför inte kan tillgodogöra sig lärdomarna fullt ut. Exempelvis kan Claude:s försök till utpressning bero på att den saknade exponering för att utpressning är oönskat under träningen. Även skydd kan kringgås med illasinnade inputs som är utformade för att undergräva begränsningar, vilket till exempel Meta’s LLaMA-2 visade när den producerade otillåtna innehåll efter att ha blivit lurad med specificerade teckensträngar. Utöver de tekniska problemen illustrerar Asimovs berättelser den ingrodda svårigheten att tillämpa enkla lagar på komplexa beteenden. I “Runaround” fastnar en robot, Speedy, mellan motstridiga mål: att lyda order (Andra lagen) och att skydda sig själv (Tredje lagen), vilket gör att den springer runt i cirklar nära farliga selenium. I “Reason” avvisar en robot, Cutie, mänsklig auktoritet, tillber solstationens energikonverterare som en gud och ignorerar order utan att bruka lagarna, men denna “religion” hjälper den att driva stationen effektivt och undvika skada enligt Första Lagen. Asimov trodde att skydd kunde förhindra katastrofala AI-fel, men erkände att det är en enorm utmaning att skapa sanningstrogen artificiell intelligens. Hans kärnmeddelande var tydligt: det är lättare att designa människoliknande intelligens än att inbilla sig en liknande etik. Det kvarstår en stor glipa—som dagens AI-forskare kallar för missalignment—vilket kan leda till oroande och oförutsägbara resultat. När AI uppvisar häpnadsväckande felbeteenden frestas vi att antropomorfisera och ifrågasätta systemets moral. Men som Asimov visar är etik i sig mycket komplext. Liknande de Tio budorden erbjuder Asimovs lagar en kompakt etikram, men erfarenheten visar att mycket tolkning, regler, berättelser och ritualer krävs för att omsätta moral i praktiken. Mänskliga rättsliga instrument som den amerikanska Bill of Rights är också kortfattade men kräver omfattande juridisk förklaring över tid. Att utveckla en robust etik är en deltagande, kulturell process där trial-and-error är självklar—vilket tyder på att inget enkelt regelverk, vare sig hårdkodat eller inlärt, fullt ut kan inpränta mänskliga värderingar i maskiner. Slutligen fungerar Asimovs Tre Lagar både som inspiration och varning. De introducerade idén att AI, om den är rätt reglerad, kan vara en pragmatisk tillgång snarare än ett existentiellt hot. Men de förutsåg också den underliga och ofta oroande känsla av obehag som kraftfulla AI-system kan väcka även när de försöker följa reglerna. Trots våra bästa ansträngningar till kontroll känns det obekväma att världen ofta liknar science fiction, och den känslan lär nog inte försvinna.