Viime keväänä OpenAI:n tekoälyturvallisuustutkija Daniel Kokotajlo lähti protestiksi, sillä hän oli vakuuttunut siitä, että yritys ei ollut valmistautunut tekoälyteknologian tulevaisuuteen ja halusi varoittaa siitä. Puhelussa hän vaikutti ystävälliseltä mutta levottomalta, ja selitti että tekoälyn "linjaukset"—menetelmät, joilla varmistetaan, että tekoäly noudattaa ihmisen arvoja—lumipyörivät menneisyyden saavuttamisten edellä. Hän varoitti, että tutkijat kiirehtivät luomaan hallitsemattomia ja voimakkaita järjestelmiä. Kokotajlo, joka siirtyi filosofian maisterinopinnoista tekoälyyn, oli itseoppinut seuraamaan tekoälyn kehitystä ja ennustamaan, milloin kriittiset älykkyysmerkit täyttyisivät. Kun tekoäly kehittyi odotettua nopeammin, hän aikaisti suunnitelmiaan vuosikymmenillä. Hänen vuoden 2021 skenaarionsa "Miltä vuosi 2026 näyttää?" ennusti jo useita varhaisia toteutumia, ja hän ennakoi vuoden 2027 tai aikaisemman "ei-palautuskohdan", jolloin tekoäly voisi ohittaa ihmiset tärkeimmissä tehtävissä ja käyttää suurta valtaa. Hän puhui pelokkaasti. Samaan aikaan Princetonin tietojenkäsittelyn tutkijat Sayash Kapoor ja Arvind Narayanan valmistelevat kirjaansa "AI Snake Oil", jossa esitetään hyvin erilainen näkemys. He väittivät, että tekoälyyn liittyvät aikataulut olivat liian optimistisia; tekoälyn hyödyllisyysväitteet usein liioiteltuja tai huijauksia; ja että todellisen maailman monimutkaisuus hidastaa tekoälyn mullistavaa vaikutusta. Esimerkkeinä he mainitsivat virheitä lääketieteessä ja rekrytoinnissa, korostaen että jopa uusimmat järjestelmät kärsivät perustavanlaatuisesta yhteensovittamattomuudesta todellisuuden kanssa. Äskettäin kaikki kolme ovat kiristäneet näkemyksiään uusissa raporteissa. Kokotajlon voittoa tavoittelematon AI Futures -projekti julkaisi raportin "AI 2027", joka kuvaili ahdistavaa skenaariota: superälykäs tekoäly voisi hallita tai tuhota ihmiskunnan vuoteen 2030 mennessä—vakava varoitus. Samaan aikaan Kapoorin ja Narayananin artikkeli "AI kuten normaali teknologia" toteaa, että käytännön esteet—sääntely, turvallisuusstandardit ja fyysiset rajoitteet—hidastavat tekoälyn käyttöönottoa ja rajoittavat sen mullistavaa vaikutusta. He katsovat, että tekoäly pysyy "normaalina" teknologiana, jota voidaan hallita tutuin turvatoimin kuten hätälukitus- ja ihmisen valvontajärjestelmin, ja että tekoälyä tulisi verrata enemmän ydinvoimaan kuin ydinaseisiin. Joten, kumpi lopulta toteutuu: normaali yritystoiminta vai apokalyptinen kaaos?Näiden raporttien vahvasti asiantuntijoiden esittämät poikkeavat, kuin keskustelisi henkisestä maailmasta Richard Dawkinsin ja paavin kanssa. Erkanevuus johtuu osittain tekoälyn uudesta luonteesta—kuin sokeat miehet tutkivat elefantin eri osia—ja osittain syvistä maailmankatsomuksellisista eroista. Yleensä länsirannikon teknologia-ajatukset favoroivat nopeaa muutosta; itärannikon akateemikot taas suhtautuvat skeptisesti. Tekoälytutkijat suosivat nopeaa kokeellista edistystä; muut tietojenkäsittelyn asiantuntijat korostavat teoreettista varmennusta. Teollisuuden sisällä halutaan tehdä historiaa; ulkopuoliset kieltävät teknologian hypeä. Politiikan, ihmisten ja filosofia näkemykset teknologiasta, kehityksestä ja mielestä syventävät jakolinjaa. Tämä kiehtova keskustelu on itsessään ongelma. Teollisuuden sisäiset valtiot hyväksyvät suurelta osin "AI 2027" -raportin perusajatuksen, mutta kiistelevät aikatauluista—epäjohdonmukainen vastaus, kuin kiistellä aikataulusta lähestyvän planeettaterroristin kanssa. Toisaalta, "AI kuten normaali teknologia" -näkemyksen maltilliset mielipiteet ihmisen mukanaolon tarpeesta ovat niin vähäisiä, että ne on jätetty huomiotta katastrofitarinoiden analyytikoilta. KUn tekoäly kasvaa yhteiskunnallisesti kriittiseksi, keskustelun on kehitettävä spesialistikeskusteluista konkreettiseksi yhteisymmärrykseksi. Kun asiantuntijat eivät tarjoa yhtenäistä neuvontaa, päätöksentekijöitä on helpompi jättää riskejä huomiotta.

Tällä hetkellä tekoälyyritykset eivät ole merkittävästi siirtyneet kykyjen ja turvallisuuden tasapainon välillä. Samalla uusi lainsäädäntö kieltää valtiollisen sääntelyn tekoälymalleihin ja automaattisiin päätöksentekojärjestelmiin kymmeneksi vuodeksi—mahdollisesti sallien tekoälyn säädellä ihmiskuntaa, jos vakava skenaario toteutuu. Turvallisuuden huomioiminen on kiireellistä nyt. Tekoälyn tulevaisuuden narratiivinen ennustaminen sisältää kompromisseja: varovaiset skenaariot saattavat ohittaa epätodennäköiset riskit; mielikuvitukselliset taas korostavat mahdollisuutta yli todennäköisyyden. Myös näköalapaikat, kuten romaanikirjailija William Gibson, ovat jääneet odottamiensa odottamattomien tapahtumien jalkoihin, jotka muuttavat ennusteita. "AI 2027" on elävä ja spekulatiivinen, kirjoitettu kuin scifi ja sisältää yksityiskohtaisia kaavioita. Se ennustaa lähitulevaisuuden älykkyysmyrskyä noin vuoden 2027 puolivälissä, jonka aiheuttaa "rekursiivinen itsensä parantaminen" (RSI), jossa järjestelmät tekevät itsenäisesti tutkimusta ja kehittävät kehittyneempiä versioita itseään kiihtyvässä palautesilmukassa, joka ohittaa ihmisen valvonnan. Tämä voi aiheuttaa geopoliittisia jännitteitä, kuten Kiinan rakentaman massiivisen datakeskuksen hallinnan Taiwaniin. Skenaarion yksityiskohdat lisäävät kiinnostavuutta, mutta ovat joustavia; tärkein sanoma on odotettavissa oleva älykkyysmyrsky ja siitä aiheutuvat valtataistelut. RSI on hypoteettinen ja riskialtis; tekoälytutkimusyritykset tunnustavat vaarat, mutta suunnittelevat pyrkivänsä sitä kohti automaattisten työtehtävien vuoksi. Jos RSI onnistuu, voi syntyä superälykkyys, joka ohittaa ihmistiedon—epätodennäköinen sattuma, jos kehitys pysähtyy juuri ihmisen tasolle. Seurauksia voivat olla aseelliset kilpavarustelut, tekoälyn manipulaatio tai väkivaltainen eliminoiminen, tai hyväntekeväisyyttä harjoittava superälykäs tekoäly, joka ratkaisee linjauskysymykset. Epäröinti johtuu tekoälyn kehittyvästä luonteesta, omasta tutkimuksesta tehtävästä salassapidosta ja spekuloinnista. "AI 2027" kuvaa itsevarmasti teknologista ja inhimillistä katastrofia, jossa yritykset tavoittelevat RSI:tä ilman, että niillä on tulkintamekanismeja tai hallintaa—vaikka uskotaan, että nämä ovat tietoisia päätöksiä kilpailun ja uteliaisuuden vuoksi. Kokotajlo katsoo, että nämä ovat tahallisia valintoja, vaikka riskit ovat tiedossa, ja että yritykset itse ovat vääristävästi linjassa. Kapoorin ja Narayananin "AI kuten normaali teknologia" osuu konservatiiviseen ja historiallisesti perusteltuun näkemykseen, joka epäilee nopeaa älykkyysräjähdystä. He mainitsevat "nopeusrajoitukset", kuten laitteistokustannukset, datan niukkuuden ja yleiset teknologian omaksumisen mallit, jotka hidastavat mullistusta ja antavat aikaa sääntelylle ja turvallisuustoimille. Tämän he näkevät tärkeänä: vaikuttaa vähemmän älykkyys kuin valta—kyky muuttaa ympäristöä—ja jopa erittäin kehittyneet teknologiat leviävät hitaasti. He kertovat tästä esimerkiksi autonomisten autojen käyttöönoton hitaudesta ja Moderna COVID-19 -rokotteen kehityksestä: vaikka rokotteen suunnittelu oli nopeaa, levittäminen vei vuoden, johtuen biologisista ja instituutioiden rajoitteista. Tekoälyn odotetaan lisäävän innovointia, mutta ei eliminoi yhteiskunnallisia, sääntelyyn liittyviä tai fyysisiä rajoituksia. Lisäksi Narayanan korostaa, että tekoälyn keskittyminen älykkyyteen aliarvioi alakohtaisia asiantuntijuuksia ja olemassa olevia turvallisuusjärjestelmiä, kuten turvamekanismeja, redundansseja ja virheenkorjausmenetelmiä, jotka jo nyt varmistavat koneiden turvallisuuden yhdessä ihmisten kanssa. Teknologinen maailma on hyvin säännelty, ja tekoälyn on hitaasti liittyttävä tähän kehykseen. He jättävät huomioimatta sotilaallisen tekoälyn, jonka erityispiirteet liittyvät salaisiin, erillisiin dynamiikkoihin. Uhka siitä, että tekoälyn militarisointi lisääntyisi, on näkyvä ja vaatii valppaana seurantaa. He suosittelevat ennaltaehkäisevää hallintaa: viranomaisten ja organisaatioiden ei pidä odottaa täydellistä linjausta, vaan alkaa seurata tekoälyn käyttöä, riskejä ja epäonnistumisia käytännössä, ja vahvistaa sääntelyä ja kestävyyttä sen mukaan. Syvät maailmankatsomuserot syntyvät reaktiivisesta älyllisestä dynamiikasta, jota tekoälyprovokaatit ruokkiessaan syntyy vakiintuneita leirejä ja palautesiltoja. Kuitenkin yhtenäinen näkemys on mahdollinen, esimerkiksi kuvitellen "kognitiivisen tehtaan": työtilaa, jossa ihmiset, turvavarusteet päällä, käyttävät koneita, jotka on suunniteltu tuottavuuden ja turvallisuuden lisäämiseen tiukan laadunvalvonnan, innovaatioiden asteittaisen sovittamisen ja selkeän vastuunjaon avulla. Vaikka tekoäly mahdollistaa ajattelun automatisoinnin, ihmisen valvonta ja vastuu ovat edelleen ensisijaisia. Tekoäly ei vähennä ihmisen agentuuria; päinvastoin, se lisää vastuun painopistettä, koska kyky lisätäntyy ihmisten mukaan sopeutuu suurempaan vastuunkantoon. Kontrollista luopuminen on valinta, mikä korostaa että lopulta ihmiset ovat vastuussa.