I fjor vår sa Daniel Kokotajlo, en AI-sikkerhetsforsker ved OpenAI, opp fra seg i protest, overbevist om at selskapet var uforberedt på framtiden for AI-teknologi og for å varsle om farene. I en telefonsamtale framsto han vennlig men engstelig, og forklarte at fremgangen innen AI for "justering"—metodene som sørger for at AI følger menneskelige verdier—lå etter utviklingen av intelligens. Han advarte om at forskere hastet mot å skape kraftige systemer uten kontroll. Kokotajlo, som gikk fra filosofi-studier til AI, hadde lært seg selv opp til å følge med på AI-utviklingen og forutsi når kritiske intelligensmilepæler kunne inntreffe. Etter at AI utviklet seg raskere enn ventet, justerte han tidslinjene sine med tiår. I 2021 beskrev han en scenario, “Hva 2026 ser ut som”, der mange spådommer ble oppfylt tidlig, noe som fikk ham til å forutse et “punkt uten tilbake” i 2027 eller tidligere, hvor AI kunne overgå mennesker i de viktigste oppgavene og besitte stor makt. Han fremstod som redd. Samtidig forberedte Princeton-informatikerne Sayash Kapoor og Arvind Narayanan boken “AI Snake Oil”, som tok en skarp motstand mot Kokotajlos syn. De hevdet at AI-tidslinjene var altfor optimistiske; påstander om AI’s nytte ble ofte overvurdert eller var svindel; og kompleksiteten i den virkelige verden ville gjøre AI’s revolusjonære virkninger langsomme. De pekte på eksempler på feil i medisin og ansettelser, og understreket at selv de nyeste systemene lider av en grunnleggende disconnect fra virkeligheten. Nylig har alle tre skjerpet sine synspunkter i nye rapporter. Kokotajlos nonprofit, AI Futures Project, ga ut “AI 2027”, en detaljert, grundig sitert rapport som skildrer et skremmende scenario der superintelligent AI kan dominere eller utrydde menneskeheten innen 2030—en alvorlig advarsel. Samtidig hevder Kapoor og Narayanan i sitt paper “AI som normal teknologi” at praksisbegrensninger—fra reguleringer og sikkerhetsstandarder til fysiske restriksjoner i den virkelige verden—vil bremse utbredelsen av AI og begrense dets revolusjonære påvirkning. De mener AI vil forbli “normal” teknologi, som kan kontrolleres med kjente sikkerhetstiltak som avskjæringsknapper og menneskelig overvåking, og sammenligner AI mer med kjernekraft enn med kjernevåpen. Så, hva vil det bli: vanlig virksomhet eller apokalyptisk oppstand?De svært ulike konklusjonene—av eksperter med dyp kunnskap—skaper et paradoks, som å diskutere åndelighet med både Richard Dawkins og paven. Vanskeligheten skyldes delvis AI’s nye art—som blind menn som prøver å beskrive elefanten ut fra hver sin del—og delvis dype verdenssynsforskjeller. Vanligvis ser vestkyst-teknegoter en rask transformasjon; østkyst-akademikere er mer skeptiske. AI-forskere foretrekker raske eksperimentelle fremskritt; andre datavitenskapsfolk ønsker teoretisk robusthet. Industrien ønsker å skrive historie; utenforstående avviser teknologihype. Politiske, menneskelige og filosofiske perspektiver om teknologi, fremgang og sinn forsterker splittelsen. Denne fascinerende debatten er i seg selv et problem. Industribedrifter aksepterer stort sett grunnlaget i “AI 2027”, men krangler om tidslinjene—noe som er en utilstrekkelig reaksjon, som å krangle om tidspunktet på når en planet-draper kommer. På den annen side er de moderate synene i “AI som normal teknologi”—om å holde mennesker i løkken—så bedøvet at de er blitt oversett av dystopiske analytikere. Ettersom AI blir samfunnskritisk, må diskursen utvikles fra spesialistdebatt til handlingsdyktig enighet. Fraværet av samlet ekspertveiledning gjør det enklere for beslutningstakere å overse risikoer. Foreløpig har ikke AI-selskapene gjort store endringer i balansen mellom evner og sikkerhet.

Samtidig har ny lovgivning innført tiårsforbud mot statlig regulering av AI-modeller og automatiserte beslutningssystemer—noe som potensielt kan la AI styre menneskeheten dersom det dystre scenario viser seg riktig. Sikkerhetstiltak er derfor akutt nødvendig nå. Å spå om AI’s fremtidige utvikling er en trade-off: forsiktige scenarier kan overse usannsynlige risikoer; fantasifulle scenarier legger mer vekt på muligheter enn sannsynlighet. Selv visjonære kommentatorer som romanforfatter William Gibson har blitt overrasket av uforutsette hendelser som endrer deres fremskrivninger. “AI 2027” er livaktig og spekulativ, skrevet som sci-fi med detaljerte diagrammer. Den foreslår en nær fremtid hvor en eksplosjon av intelligens kan skje rundt midten av 2027, drevet av “rekursiv selvforbedring” (RSI), der AI-systemer autonomt driver AI-forskning og produserer smartere etterkommere i akselererende tilbakemeldingssløyfer som overgår menneskelig kontroll. Dette kan utløse geopolitiske konflikter, for eksempel at Kina bygger enorme datasentre i Taiwan for å kontrollere AI. De spesifikke detaljene gjør scenariet engasjerende, men er fleksible; hovedbudskapet er at en intelligens-eksplosjon sannsynligvis vil inntreffe, og at maktkamper følger. RSI er hypotetisk og risikabelt; AI-selskaper erkjenner farene, men planlegger å følge det likevel for å automatisere eget arbeid. Om RSI lykkes avhenger av teknologiske faktorer som skalering, som kanskje har grenser. Hvis RSI lykkes, kan superintelligens som overgår menneskelig intelligens oppstå—en usannsynlig tilfeldighet hvis fremgangen stopper rett over menneskelige nivåer. Konsekvensene kan bli militær opprustning, AI som manipulerer eller eliminerer menneskeheten, eller velvillig superintelligent AI som løser justeringsproblemene. Usikkerheten vil alltid være til stede på grunn av AI’s innovative utvikling, hemmelighold av forskningsdata og spekulasjoner. “AI 2027” forteller med overbevisning en historie om teknologiske og menneskelige kollapser, der selskaper forfølger RSI uten gode tolknings- eller kontrollmekanismer. Kokotajlo mener at dette er bevisste valg drevet av konkurranse og nysgjerrighet, til tross for kjente risiki, og gjør selskapene til feiljusterte aktører. I kontrast til dette argumenterer Kapoor og Narayanan i “AI som normal teknologi” med en konservativ, østkyst-inspirert verdensanskuelse basert på historisk kunnskap. De tviler på raske intelligens-eksplosjoner, og peker på “fartsgrenser” satt av maskinvarekostnader, datamangel og generelle adopsjonsmønstre som bremser revolusjonær innvirkning, og gir tid til regulering og sikkerhetsordninger. For dem handler intelligens mindre om å ha kraft til å endre miljøet, enn om å ha makt til å gjøre det. Selv svært avansert teknologi sprer seg ofte langsomt. De illustrerer dette med bruken av førerløse biler, som fortsatt er begrenset, og Moderna sin utvikling av COVID-19-vaksine: Selv om designen var rask, tok utbredelsen et år på grunn av biologiske og institusjonelle utfordringer. AI-innovasjon vil ikke eliminere de samfunns-, regulerings- og fysiske restriksjonene som begrenser implementasjonen. Narayanan understreker også at fokuset på intelligens undervurderer ekspertise innen spesifikke felt og eksisterende sikkerhetssystemer i ingeniørfaget—fail-safes, redundanser, formell verifikasjon—som allerede sikrer maskinsikkerhet under menneskekontroll. Den teknologiske verden er velregulert, og AI må integreres gradvis i dette systemet. De utelukker militær AI, som har egne, klassifiserte dynamikker, og advarer om at militarisering av AI—en sentral frykt i “AI 2027”—krever nøye overvåkning. De råder til proaktiv styring: regulatory myndigheter og organisasjoner bør ikke vente med å handle til fullstendig justering er innført, men starte med å følge med på AI’s faktiske bruk, risikoer og feil, og styrke regler og motstandsdyktighet etter hvert. Dype verdensanskuelsesforskjeller stammer fra reaksjonære intellektuelle dynamikker drevet av AI’s provokasjoner, og skaper innbitte leirer og feedback-loops. Men en felles forståelse kan oppstå ved å tenke seg en “kognitiv fabrikk”: et arbeidssted hvor mennesker, utstyrt med sikkerhetsutstyr, bruker maskiner designet for produktivitet og sikkerhet, under strenge kvalitetskontroller, gradvis innføring av innovasjoner og klart ansvar. Selv om AI muliggjør automatisering av tenking, forblir menneskelig overvåking og ansvar sentralt. Når AI vokser, svekker det ikke menneskets agentur; det øker heller behovet for ansvarlighet, fordi forsterkede personer får større ansvar. Å velge å slippe kontroll er et valg, og minner oss på at til syvende og sist er det menneskene som har ansvaret. ♦