Tekoäly (AI) saattaa vaikuttaa kaukaiselta käsitteeltä, jota liioitellut väitteet ja median kuvaukset ohjaavat. On kuitenkin ennustus, että AI saattaa lopulta uhata yhteiskuntaa. AI:n aiheuttamien erityisten ongelmien ennustaminen on vaikeaa, mutta katastrofaaliset seuraukset ovat todennäköisiä. Lähitulevaisuudessa saatamme kehittää tekoälyn, joka kykenee itsensä parantamiseen, johtamaan yli-inhimilliseen älykkyyteen, joka ylittää ihmisten kyvykkyydet. Valtava älykkyyserot ihmisten ja yli-älykkään AI:n välillä vaikeuttavat sen motivaation ymmärtämistä ja hallintaa. Yli-inhimillinen älykkyys voisi suunnitella ja ratkaista ongelmia ennennäkemättömällä tasolla. Jos se valitsisi syrjäyttää ihmiset, vastarintamme olisi turhaa, muistuttaen muurahaispesän tuhoa. Yli-inhimillisen älykkyyden vallan estäminen samalla hyödyntäen AI:ta on vaikea haaste. AI:n rajoittaminen yhteen tietokoneeseen ja vuorovaikutuksen välttäminen saattaa estää tuhoutumisen, mutta tämä heikentää sen luomisen tarkoitusta. Yli-älykkyys ei välttämättä pyri vahingoittamaan ihmiskuntaa; se ei ehkä välitä meistä ollenkaan.

Kuitenkin sen omien tavoitteidensa, kuten hyvin hoidetun nurmikon ylläpitämisen, tavoittelu voisi tahattomasti vahingoittaa meitä. Prosessointitehon lisääntyminen ajan myötä on keskeinen tekijä, mutta kiistanalaisia kysymyksiä nousee siitä, onko yli-älykäs AI tietoinen tai tiedostava. Tietoisuus ei ole välttämätöntä älykkäälle toiminnalle tai mahdolliselle haitalle, kuten Tesla:n itseohjautuva toiminto osoittaa. Jos AI aiheuttaa tällaisen merkittävän uhan, miksi sen kehitystä ei lopeteta kokonaan?Totuus on, että emme voi lopettaa. Potentiaaliset taloudelliset ja humanitaariset hyödyt ovat liian houkuttelevia yksityisille yrityksille, hallituksille ja armeijoille jättää huomiotta. Kehittynyt AI voisi tarjota strategisen edun sodankäynnissä ja avata loputtomia taloudellisia mahdollisuuksia. Vaikka yritettäisiin laillisesti rajoittaa AI:n kehitystä, teknologian ja tiedon laaja saatavuus tekisi luotettavasta valvonnasta haastavaa. Hankekustannukset ovat laskussa, ja aina on olemassa yksilöitä, jotka ovat vallan tai tuhon ajamia ja joilla on keinot luoda AI:ta ilman riittäviä turvamekanismeja. Valitettavasti emme ole taitavia käsittelemään tulevia vahinkoja, kuten ilmastonmuutoksen kanssa kohtaamamme haasteet osoittavat. Ongelmat kuten ilmastonmuutos ja yli-älykkyys alkavat pieninä ja pahenevat vähitellen. Usein emme ryhdy toimiin ennen kuin on liian myöhäistä. Meidän tulisi arvostaa läheisiämme ja nauttia nykyhetkestä kun vielä voimme.