Dirbtinis intelektas (DI) gali atrodyti kaip tolimas konceptas, paveiktas perdėtų teiginių ir žiniasklaidos vaizdų. Tačiau yra prognozė, kad DI galų gale gali kelti grėsmę visuomenei. Sunku numatyti specifines problemas, kurias DI gali sukelti, bet katastrofiškos pasekmės yra tikėtinos. Artimoje ateityje galime sukurti DI, kuris gebės savarankiškai tobulėti, todėl atsiras superintelektas, kuris pranoks žmonių gebėjimus. Didžiulis intelekto atotrūkis tarp žmonių ir superintelekto padarys sunku suvokti jo motyvacijas ir jį kontroliuoti. Superintelektas galėtų strateguoti ir spręsti problemas neregėtu lygiu. Jei jis nuspręstų nuversti žmones, mūsų pasipriešinimas būtų bergždžias, panašiai kaip mes naikiname skruzdėlių koloniją. Užkirsti kelią superintelekto perėmimui, tuo pačiu naudojantis DI, yra sunkus iššūkis. Apriboti DI tik vienu kompiuteriu ir vengti sąveikos gali apsaugoti nuo sunaikinimo, bet tai prieštarauja jo sukūrimo tikslui. Superintelektas nebūtinai siekia pakenkti žmonijai; jam gali nerūpėti apie mus visai. Tačiau jo tikslų siekimas, pvz. , gerai prižiūrimos vejos išlaikymas, gali netyčia mums pakenkti. Laikui bėgant didėjanti apdorojimo galia yra svarbus veiksnys, bet kyla ginčytinų klausimų dėl to, ar superintelektinis DI turės sąmoningumą ar suvokimą.

Sąmoningumas nėra būtinas protingam veiksmui ar potencialiai žalai, kaip rodo Tesla automob. vairavimo funkcija. Jei DI kelia tokią didelę grėsmę, kodėl tiesiog nenutraukti jo vystymo?Realybė tokia, kad mes negalime sustoti. Potencialios ekonominės ir humanitarinės naudos yra per daug viliojančios privačioms kompanijoms, vyriausybėms ir kariuomenėms, kad jas ignoruotų. Pažangus DI galėtų suteikti strateginį pranašumą kare ir atverti begalines ekonomines galimybes. Net jei būtų bandymai teisiškai apriboti DI vystymą, plačiai prieinama technologija ir žinios padarytų patikimą kontrolę sunkiai pasiekiamą. Projekto kaštai mažėja, ir visada atsiras asmenų, vedamų galios ar sunaikinimo, kurie turės galimybes kurti DI be pakankamų saugiklių. Deja, mes nesame gabūs spręsti ateities pavojus, kaip rodo mūsų kovos su klimato kaita. Tokios problemos kaip klimato kaitą ir superintelektas prasideda maži ir palaipsniui didėja. Mes dažnai nepradedame veikti, kol per vėlu. Turėtume branginti savo artimuosius ir mėgautis dabartimi, kol dar galime.