Mākslīgais intelekts (MI) var izskatīties kā tāls jēdziens, ko ietekmē pārspīlēti apgalvojumi un mediju atspoguļojumi. Tomēr ir paredzams, ka MI varētu beidzot radīt draudus sabiedrībai. Ir grūti paredzēt konkrētas problēmas, ko MI var radīt, bet iespējamas katastrofālas sekas. Tuvākajā nākotnē mēs varam izstrādāt MI, kas spēj pats sevi uzlabot, veidojot superintelektu, kas pārspēs cilvēka spējas. Milzīgā intelekta plaisa starp cilvēkiem un superintelektu padarīs grūti saprast tā motivāciju un kontrolēt to. Superintelekts varētu stratēģiski plānot un risināt problēmas vēl nebijušā līmenī. Ja tas izvēlētos pārņemt cilvēkus, mūsu pretestība būtu veltīga, līdzīgi kā mēs iznīcinām skudru koloniju. Superintelekta pārņemšanas novēršana, vienlaikus izmantojot MI, ir sarežģīts izaicinājums. MI ierobežošana vienā datorā un izvairīšanās no mijiedarbības varētu novērst iznīcību, bet tas iznīcina tā izveides mērķi. Superintelekts ne vienmēr meklē kaitējumu cilvēcei; tas varētu arī neinteresēties par mums.

Tomēr tā centieni sasniegt savus mērķus, piemēram, uzturēt labiekārtotu zālienu, varētu netīšām kaitēt mums. Laika gaitā palielinātais apstrādes jaudu daudzums ir svarīgs faktors, bet rodas pretrunīgi jautājumi par to, vai superintelektam būs apziņa vai izpratne. Apziņa nav nepieciešama intelektuālai rīcībai vai potenciālam kaitējumam, kā parādījusi Tesla paša vadības funkcija. Ja MI rada tādus būtiskus draudus, kāpēc neapturēt tā izstrādi pilnībā?Realitāte ir tāda, ka mēs nevaram apstāties. Potenciālie ekonomiskie un humānāmie ieguvumi ir pārāk kārdinoši, lai privātie uzņēmumi, valdības un militārās struktūras tos ignorētu. Izvērsts MI varētu piedāvāt stratēģisku priekšrocību karadarbībā un atvērt neierobežotas ekonomiskās iespējas. Pat ja mēģinātu juridiski ierobežot MI izstrādi, plaši pieejamā tehnoloģija un zināšanas padarītu uzticamu kontroli sarežģītu. Projekta izmaksas samazinās, un vienmēr būs cilvēki, kurus motivē varas vai iznīcināšanas vēlme, kam ir līdzekļi, lai izveidotu MI bez pietiekamiem drošības pasākumiem. Diemžēl mēs neesam prasmīgi risināt nākotnes kaitējumus, kā parādījusi mūsu cīņa ar klimata pārmaiņām. Problēmas, piemēram, klimata pārmaiņas un superintelekts, sākas mazas un pakāpeniski palielinās pēc nopietnības. Mēs bieži nesperam soļus, līdz ir par vēlu. Mums vajadzētu novērtēt un rūpēties par mūsu tuviniekiem un izbaudīt tagadni, kamēr vēl varam.