I våras lämnade Daniel Kokotajlo, en AI-säkerhetsforskare vid OpenAI, sitt jobb i protest, övertygad om att företaget inte var förberett inför framtidens AI-teknologi och ville varna för farorna. I ett telefonsamtal framstod han som vänlig men nervös, och förklarade att framstegen inom AI- "alignment" – de metoder som säkerställer att AI följer mänskliga värderingar – låg efter i takt med intelligensutvecklingen. Han varnade för att forskare hastade fram mot att skapa kraftfulla system utom kontroll. Kokotajlo, som gick från forskarstudier i filosofi till AI, hade självstudier för att följa AI-utvecklingen och förutsäga när viktiga intelligensmått skulle inträffa. När AI utvecklades snabbare än väntat justerade han sina tidslinjer med decennier. Hans scenario från 2021, "Vad 2026 kommer att innebära", såg många förutsägelser gå i uppfyllelse tidigt, vilket fick honom att förutspå en "point of no return" redan 2027 eller tidigare, då AI skulle kunna överträffa människor i de flesta avgörande uppgifter och få enorm makt. Han lät rädd. Samtidigt förberedde Princeton-forskarna Sayash Kapoor och Arvind Narayanan sin bok "AI Snake Oil", som tog en mycket annan ståndpunkt. De menade att AI-tidslinjer var alltför optimistiska; påståenden om AI:s användbarhet ofta överdrivna eller bedrägliga; och att den verkliga världens komplexitet skulle göra AI:s omvälvande effekter långsamma. Genom att citera exempel på AI-fel inom medicin och rekrytering underströk de att även de senaste systemen fortfarande lider av en grundläggande disconnect från verkligheten. Nyligen skärpte alla tre sina ståndpunkter i nya rapporter. Kokatajlos ideella organisation, AI Futures Project, publicerade "AI 2027", en detaljerad, ofta citerad rapport som målar upp ett skrämmande scenario där superintelligent AI kan dominera eller utplåna mänskligheten till 2030 – ett allvarligt varningstecken. Samtidigt hävdar Kapoor och Narayanan i sin artikel "AI as Normal Technology" att praktiska hinder – från regler och säkerhetsstandarder till fysikaliska verkligheter – kommer att bromsa AI:s införande och begränsa dess revolutionerande effekter. De menar att AI kommer att förbli "vanlig" teknologi, hanterbar med bekanta säkerhetsåtgärder som nödstopp och mänsklig övervakning, och liknar AI mer vid kärnkraft än vid kärnvapen. Så, vad blir det – vanlig business eller apokalyptisk omvälvning?De klart skilda slutsatserna – dragna av mycket kunniga experter – ger en paradox som liknar att diskutera andlighet med både Richard Dawkins och påven. Svårigheten grundar sig delvis på AI:s nyhet – som att blinda män undersöker olika delar av en elefant – och delvis på djupa skillnader i världssyn. Generellt sett förutser västkustens teknikföreträdare snabb förändring; östkustens akademiker är skeptiska. AI-forskare vill se snabb experimentell utveckling; andra datavetare fokuserar på teoretisk precision. Industrin vill göra historia; outsiders avfärdar teknikhype. Politiska, mänskliga och filosofiska perspektiv på teknologi, framsteg och sinnet fördjupa splittringen. Denna fascinerande debatt är i sig ett problem. Industriföreträdare accepterar till stor del "AI 2027"'s premisser, samtidigt som de tvistar om tidsramar – ett otillräckligt svar, som att bråka om tidpunkten för en planet-dödare när katastrofen närmar sig. De blygsamma synsätten i "AI as Normal Technology", som förespråkar att hålla människan i kontroll, har blivit så förminskade att doom-fokuserade experter ignorerar dem. När AI blir samhälleligt kritiskt måste diskussionen utvecklas från en experternas debatt till ett handlingsbart konsensus. Uteblivet enhetligt expertstöd gör det lättare för beslutsfattare att ignorera risker. Just nu har AI-företag inte gjort någon större förändring i balansen mellan kapacitet och säkerhet.

Samtidigt förbjuder ny lagstiftning statlig reglering av AI-modeller och automatiserade beslutssystem i tio år, vilket potentiellt kan ge AI makt över mänskligheten om det dystra scenariot visar sig rätt. Att ta itu med säkerheten nu är därför brådskande. Att förutsäga AI:s framtid som berättelse innebär kompromisser: försiktiga scenarier kan underskatta osannolika risker; fantasifulla scenarier betonar möjligheten snarare än sannolikheten. Även insiktsfulla kommentatorer som romanförfattaren William Gibson har blivit överraskade av oväntade händelser som förändrar deras prognoser. "AI 2027" är levande och spekulativ, skriven som sci-fi med detaljerade diagram. Den utgår från en nära förestående intelligensexplosion runt mitten av 2027, driven av "recursiv självförbättring" (RSI), där AI-system autonomt utför AI-forskning, vilket ger smartare avkommor i accelererande feedback-loopar som överträffar mänsklig övervakning. Detta skulle kunna trigga geopolitiska konflikter, till exempel att Kina bygger stora datacenter i Taiwan för att kontrollera AI. De specifika detaljerna ökar engagemanget men är flexibla; huvudbudskapet är att en intelligensexplosion sannolikt är nära förestående, med efterföljande maktkamp. RSI är hypotetiskt och riskabelt; AI-företag känner till farorna men planerar att sträva efter det för att automatisera sitt eget arbete. Om RSI fungerar beror på tekniska faktorer som skalning, vilka kan möta begränsningar. Succe kommer en superintelligens som överträffar mänskligt intellekt – en osannolik slump om framstegen stannar precis över mänskliga nivåer. Konsekvenser kan bli militära kapprustningar, AI som manipulerar eller utplånar mänskligheten, eller en välvillig superintelligent AI som löser problem med alignment. Osäkerheten råder på grund av AI:s utvecklingsnatur, sekretess kring forskningen och spekulationer. "AI 2027" redogör självsäkert för ett teknologiskt och mänskligt misslyckande, där företag fortsätter RSI trots att de saknar tolkbarhet och kontrollmekanismer. Kokotajlo hävdar att detta är medvetna beslut drivna av konkurrens och nyfikenhet, trots kända risker, vilket gör själva företagen till felriktade aktörer. I kontrast hävdar Kapoor och Narayanan i "AI as Normal Technology" att en snabb intelligensexplosion är osannolik, tack vare "hastighetsbegränsningar" orsakat av kostnader för hårdvara, brist på data och mönster i teknologins adoption, vilket ger gott om tid för reglering och säkerhetsåtgärder. För dem är makt – förmågan att påverka miljön – viktigare än intelligens; även mycket avancerad teknologi sprids långsamt. De illustrerar detta med att självkörande bilar bara är delvis utbredda, och Moderna Vaccines utveckling av COVID-19-vaccin: även om designen var snabb tog det ett år att distribuera p. g. a. biologiska och institutionella verkligheter. AI som driver innovation kommer inte att kunna överskrida samhälleliga, regulatoriska eller fysiska begränsningar. Dessutom betonar Narayanan att AI:s fokus på intelligens underskattar domänspecifik expertis och befintliga säkerhetssystem inom exempelvis teknik och ingenjörskonst – nödstopp, redundanser, formell verifiering – som redan tryggar maskiners säkerhet tillsammans med människor. Den teknologiska världen är väl reglerad, och AI måste integreras gradvis. De utesluter militär AI, som innebär särskilda, hemliga dimensioner, och varnar att militärisering av AI, som är en central oro i "AI 2027, " behöver noggrann övervakning. De förespråkar förebyggande styrning: att aktörer ska börja följa AI:s användning, risker och fel, snarare än att vänta på perfekt tillämpning och kontroll. Djupa skillnader i världssyn växer fram ur reaktiva tankemönster drivet av AI:s provocerande natur, som skapar olika läger och feedback-loopar. Ändå är en gemensam förståelse möjlig genom att föreställa sig en "kognitiv fabrik" – en arbetsplats där människor, utrustade med säkerhetsutrustning, driver maskiner för produktivitet och säkerhet, under strikt kvalitetskontroll, med gradvis införande av innovationer och tydlig ansvarsfördelning. AI kan automatisera vissa tänkandefaser, men mänsklig övervakning och ansvar är fortfarande avgörande. När AI växer blir det inte mindre mänskligt ansvar; tvärtom behövs tydligare ansvarstagande, eftersom förstärkta individer får ett större ansvar. Att avstå från kontroll är ett aktivt val, och visar att det i slutänden är människan som har det yttersta ansvaret.