Tegelikult võib tehisintellekt (AI) tunduda kauge mõiste, mida mõjutavad liialdatud väited ja meedia kujutamine. Siiski on ennustus, et AI võib lõpuks ühiskonnale ohtu kujutada. On keeruline ennustada, milliseid konkreetseid probleeme AI võib põhjustada, kuid katastroofilised tagajärjed on tõenäolised. Lähitulevikus võime välja arendada AI, mis suudab end täiustada, viies superintelligentsini, mis ületab inimvõimed. Ulatuslik intelligentsuslõhe inimeste ja superintelligentse AI vahel raskendab selle motiivide mõistmist ja juhtimist. Superintelligentsus võib strateegiliselt planeerida ja probleemide lahendamisel saavutada enneolematu taseme. Kui see valiks inimestele vastuhakkamist, oleks meie vastupanu asjatu, meenutades meie sipelgapesa hävitamist. Superintelligentsuse ülevõtmise vältimine, samal ajal kui ikkagi kasutame AI-d, on raske väljakutse. AI piiramine ühe arvutiga ja suhetest hoidumine võib ennetada hävingut, kuid see rikub selle loomise eesmärki. Superintelligentsus ei pruugi inimkonnale tingimata kahju teha; see ei pruugi meie vastu üldse hoolida.

Siiski, oma eesmärkide, nagu hoolitsetud muru säilitamine, saavutamine võib meid tahtmatult kahjustada. Töötlemisvõimsuse suurenemine aja jooksul on oluline tegur, kuid vastuolulisi probleeme tekib küsimuses, kas superintelligentne AI omab teadlikkust või teadvelolekut. Teadlikkus ei ole vajalik intelligentse tegevuse või võimaliku kahju jaoks, nagu tõestab Tesla isesõitev funktsioon. Kui AI kujutab endast nii olulist ohtu, siis miks mitte lõpetada selle arendamine täielikult?Reaalsus on see, et me ei saa peatuda. Potentsiaalsed majanduslikud ja humanitaarsed eelised on liiga ahvatlevad, et erasektorid, valitsused ja sõjaväed neid tähelepanuta jätaksid. Edasijõudnud AI võiks pakkuda strateegilisi eeliseid sõjapidamises ja avada lõputuid majandusvõimalusi. Isegi kui oleks katsed seaduslikult piirata AI arendamist, oleks tehnoloogia ja teadmiste laialdane kättesaadavus usaldusväärse kontrolli muutmiseks keeruline. Projekti kulud vähenevad ja alati on inimesi, keda ajendab võim või häving, ja kellel on vahendid AI loomiseks ilma piisavate turvameetmeteta. Kahjuks ei ole me osavad tulevaste kahjude käsitlemisel, nagu näitavad meie võitlused kliimamuutustega. Probleemid nagu kliimamuutused ja superintelligentsus algavad väikestena ja eskaleeruvad järk-järgult raskuses. Sageli ei võta me tegevust, kuni on liiga hilja. Peaksime hindama oma lähedasi ja nautima olevikku, kuni saame.