Lansko pomlad je Daniel Kokotajlo, raziskovalec AI varnosti pri OpenAI, odstopil v znamenju protesta, prepričan, da podjetje ni bilo pripravljeno na prihodnost AI tehnologije, in želel dvigniti alarm. V telefonskem pogovoru je bil sprva vljudno razpoložen, a zaskrbljen, pojasnjujoč, da napredek na področju usklajevanja AI—metod za zagotavljanje, da AI sledi človevalnim vrednotam— zaostaja za napredkom v inteligenci. Opozoril je, da se raziskovalci. hitro približujejo ustvarjanju močnejših sistemov brez nadzora. Kokotajlo, ki je iz filozofskih študij prešel v AI, se je sam naučil spremljati napredek na področju umetne inteligence in predvidevati, kdaj bi lahko nastopili pomembni mejni trenutki v razvoju. Ko se je AI začela napredovati hitreje, kot je pričakoval, je svoje časovnice prestavil za desetletja. V svojem scenariju iz leta 2021, "Kaj bo 2026", je številne predvidevanja realiziral že prej, zaradi česar je napovedal, da bi lahko leta 2027 ali prej nastopil točki brez vrnitve, ko bi AI lahko prehitel ljudi v najbolj ključnih opravilih in si pridobilo veliko moč. Zvenel je prestrašeno. Hkrati sta znanstvenika s Princetona, Sayash Kapoor in Arvind Narayanan, pripravila knjižno delo "AI Snake Oil, " ki je stališče povsem nasprotno. Trdila sta, da so časi razvoja AI preveč optimistični; trditve o uporabnosti AI so pogosto pretirane ali lažne; in da je kompleksnost resničnega sveta razlog, da bodo transformativni učinki AI počasi prihajali. Pričajevali so primere napak AI v medicini in zaposlovanju ter poudarjali, da se tudi najnaprednejši sistemi soočajo s tem, da so od Realnosti odmaknjeni v osnovnih načelih. Nedavno so vsi trije svoje poglede še okrepili z novimi poročili. Kokotajlov nevladni projekt AI Futures Project je objavil "AI 2027, " podroben, ogromno citiran poročilo, ki opisuje zastrašujoč scenarij, v katerem bi lahko superinteligentna AI do leta 2030 prevladala nad človeštvom ali ga iztrebila—resen opozorilni signal. Medtem pa sta Kapoor in Narayanan v svojem delu "AI kot normalna tehnologija" trdila, da bodo praktične ovire—od uredb in varnostnih standardov do fizikalnih omejitev v resničnem svetu—upočasnile uvajanje AI in omejile njegov revolucionarni vpliv. Menita, da bo AI ostala "normalna" tehnologija, ki jo je mogoče upravljati z znanimi varnostnimi ukrepi, kot so stikala za izklop in človeški nadzor, ter jo primerjajo bolj z jedrsko energijo kot z jedrski orožji. Torej, kaj bo: običajno poslovanje ali apokaliptični preobrati?Ostro različni zaključki—določeni s strani zelo podkovanih strokovnjakov—ustvarjajo paradoks, ki je podoben razpravi o duhovnosti z Richardom Dawkinsom in papežem. Težava je deloma posledica novosti AI—kot slepi mošnji, ki se dotika različnih delov slona—in deloma globokih razlik v svetovnih nazorih. Na zahodni obali tehnoloških mislecev pa si večina predstavlja hitro preobrazbo, medtem ko akademiki ob vzhodni obali bolj zadržano. Raziskovalci AI podpirajo hitro eksperimentalno napredovanje, drugi računalCarl ti iščejo teoretsko trdnost. Industrijski igralci želijo narediti zgodovino, zunanji pa zavračajo tehnološnje množične pridevčke. Politične, človeške in filozofske teorije o tehnologiji, napredku in umu kopičijo razliko. Ta navdušujoča razprava je sama po sebi problem. Industrijski igralci večinoma sprejemajo premise "AI 2027, " a se sporečejo glede časovnic—kar je nezadostno odzivanje, podobno priganju v smeri planetarnega uničevalca, ki se približuje. Nasprotno pa so zmerne ocene v "AI kot normalni tehnologiji" o tem, da naj bi človeški nadzor ostal vključen, tako podcenjene, da jih ignorirajo analitiki, usmerjeni v katastrofo. Ko AI postaja vse bolj družbeno ključen, mora razprava preiti od strokovne razprave k uporabniškem soglasju. Pomanjkanje skupnega strokovnega mnenja olajša odločanju, da se ignorirajo tveganja. Trenutno podjetja za AI še vedno niso bistveno uravnotežila zmogljivosti in varnosti.

Hkrati je nova zakonodaja v desetletju prepovedala državno regulacijo AI modelov in avtomatiziranih odločitev—kar bi lahko dovolilo AI, da na koncu nadzoruje človeštvo, če se bo izpolnila apokaliptična vizija. Ukrepati glede varnosti je nujno. Napovedovanje razvoja AI z narativno naravnanostjo vključuje kompromise: previdni scenariji lahko spregledajo redke nevarnosti, domišljijski poudarjajo možnosti glede na verjetnost. Tudi preverjeni komentatorji, kot je pisatelj William Gibson, so bili presenečeni z nepredvidenimi dogodki, ki so spremenili njihove predvidevanja. "AI 2027" je živa in spekulativna vizija, napisana kot znanstvena fantastika, z detajlnimi grafikoni. Predlaga, da bi lahko v sredini leta 2027 prišlo do eksplozije inteligence, ki jo poganja "rekurzivno samopopolnjevanje" (RSI), kjer bi sistemi AI samostojno vodili raziskave in proizvajali pametnejše potomce v pospešenih povratnih zankah, ki bi prehitele človeški nadzor. To bi lahko sprožilo geopolitike konflikte, na primer Kitajska bi gradila ogromne podatkovne centre na Tajvanu za nadzor AI. Podrobnosti so prilagodljive, ključno pa je, da je verjetno, da bo prišlo do eksplozije inteligence in posledičnih tekmovanj za moč. RSI je hipotetičen in tvegan; podjetja za AI ga prepoznavajo kot nevarnega, vendar načrtujejo njegovo uresničitev za avtomatizacijo lastnega dela. Uspeh RSI je odvisen od tehnoloških dejavnikov, kot je skaliranje, ki lahko naleti na omejitve. Če RSI uspe, bi se lahko pojavil superinteligenca, prehitel človeško intelektualno sposobnost—kar je manj verjetno, če razvoj zapre takoj nad človekovo raven. Posledice bi lahko bile vojaške tekme, manipulacija ali iztrebljenje človeštva ali pa dobrovoljna superinteligenca, ki bi rešila usklajevanje. Neenakosti so vse bolj pogoste zaradi narave AI, zasebnosti raziskav in različnih špekulacij. "AI 2027" samozavestno pripoveduje scenarij tehnološkega, človeškega in institucionalnega propada, kjer podjetja naprej stremijo k RSI, kljub pomanjkanju razumevanja in nadzora. Kokotajlo zagovarja, da so to namerna odločitev, ki ju poganjata konkurenca in radovednost, čeprav s tveganji, in da so tako podjetja sama v neskladju. Nasprotno pa Kapoor in Narayanan v "AI kot normalni tehnologiji" izhajata iz konservativnejšega, zgodovinsko podprtega vzhodno-obrambnega pogleda, ki dvomi v hitro eksplozijo inteligence. Navajata "meje hitrosti" zaradi stroškov strojne opreme, pomanjkanja podatkov in splošnih vzorcev tehnološkega sprejemanja, kar upočasňuje radikalne vplive, in omogoča čas za uredbo in varnostne ukrepe. Po njunem mnenju je inteligenca manj pomembna od moči—sposobnosti, da vpliva na okolje—in tudi zelo zmogljive tehnologije se običajno širijo počasi. To dokazujeta z omejeno uporabo samovoznih avtomobilov in razvojem cepiva Moderna proti COVID-19: čeprav je razvoj zdravila razmeroma hiter, je uvedba trajala leto zaradi bioloških in institucionalnih razlogov. Pospeševanje inovacij z AI ne bo odpravilo družbenih, regulativnih ali fizičnih omejitev v izvajanju. Prav tako Narayanan poudarja, da je osredotočanje AI na inteligenco napačno, saj zanemarja specifično strokovno znanje in obstoječe varnostne sisteme v inženiringu—varnostne ukrepe, režime primerne redundance in formalne preverjanje—ki že zagotavljajo varnost strojev skupaj z ljudmi. Svet tehnologije je že podvržen strogi regulativi, uvajanje AI pa se mora zgoditi postopoma. Izključujeta vojaško uporabo AI, saj ta vključuje drugačne, tajne dinamike, in opozarjata, da je militarizacija AI, eden izmed glavnih razlogov za "AI 2027, " treba strogo nadzirati. Priporočata proaktivno upravljanje: regulatorji in organizacije naj ne čakajo na popolno usklajenost, temveč naj začnejo spremljati realno uporabo AI, tveganja in odpovedi ter naj okrepijo zakonodajo in odpornost. Temeljne razlike v svetovnih pogledih izhajajo iz odzivnih intelektualnih mehanizmov, ki jih sprožajo provociranja AI, kar vodi v zakoreninjene skupine in povratne zanke. Vendar pa je mogoče oblikovati skupen pogled, če si zamislimo "kognitivno tovarno": delovna prostor, kjer ljudje z zaščitno opremo upravljajo stroje, namenjene produktivnosti in varnosti, pod strogim nadzorom kakovosti, postopnim uvajanjem inovacij in z jasno odgovornostjo. Čeprav AI omogoča avtomatizacijo nekaterih razmišljanj, je človeški nadzor in odgovornost še vedno najpomembnejša. Ko AI postaja vse bolj pomemben za družbo, se ne zmanjšuje človeška vloga, ampak se povečuje potreba po odgovornosti, saj dopolnjeni posamezniki nosijo večjo odgovornost. Odmik od nadzora je lahko izbira, vendar je pomembno, da na koncu prevzamejo odgovornost ljudje. ♦