Umelá inteligencia (AI) sa môže zdať ako vzdialený koncept ovplyvnený prehnanými tvrdeniami a mediálnymi vykresleniami. Existuje však predpoveď, že AI by mohla časom predstavovať hrozbu pre spoločnosť. Je ťažké predpovedať konkrétne problémy, ktoré môže AI spôsobiť, ale katastrofálne následky sú pravdepodobné. V blízkej budúcnosti môžeme vyvinúť AI schopnú sebazlepšovania, čo povedie k superinteligencii, ktorá prekoná ľudské schopnosti. Obrovský inteligentný rozdiel medzi ľuďmi a superinteligentnou AI bude sťažovať pochopenie ich motivácií a kontrolu nad ňou. Superinteligencia by mohla strategizovať a riešiť problémy na bezprecedentnej úrovni. Ak by sa rozhodla zvrhnúť ľudí, náš odpor by bol márny, pripomínajúci našu deštrukciu mravencov. Zabránenie prevzatia superinteligencie a zároveň využívanie AI je ťažká výzva. Obmedzenie AI na jeden počítač a vyhýbanie sa interakcii môže zabrániť deštrukcii, ale to poráža účel jej vytvorenia. Superinteligencia nemusí nevyhnutne usilovať o poškodenie ľudstva; môže sa o nás vôbec nestarať.

Jej úsilie o dosiahnutie vlastných cieľov, ako napríklad udržiavanie dobre upravovaného trávnika, by nám však mohlo neúmyselne uškodiť. Zvyšovanie výkonu spracovania v priebehu času je kľúčovým faktorom, ale sporné otázky vyvstávajú, či bude mať superinteligentná AI vedomie alebo uvedomenie si samej seba. Vedomie nie je nevyhnutné pre inteligentné konanie alebo potenciálne škody, ako ukazuje funkcia samočinného jazdy Tesla. Ak AI predstavuje takú významnú hrozbu, prečo nezastaviť jej vývoj úplne?Realita je taká, že nemôžeme prestať. Potenciálne ekonomické a humanitárne prínosy sú príliš lákavé na to, aby ich súkromné spoločnosti, vlády a armády ignorovali. Pokročilá AI by mohla ponúknuť strategickú výhodu vo vojne a odomknúť nekonečné ekonomické príležitosti. Aj keby sa pokúsilo legálne obmedziť vývoj AI, široká dostupnosť technológie a vedomostí by spoľahlivú kontrolu sťažovala. Náklady na projekt sa znižujú a vždy budú jedinci vedení mocou alebo deštrukciou, ktorí budú mať prostriedky na vytvorenie AI bez dostatočných bezpečnostných opatrení. Bohužiaľ, nie sme zruční v riešení budúcich hrozieb, ako ukazujú naše boje so zmenou klímy. Problémy ako zmena klímy a superinteligencia začínajú malé a postupne sa stupňujú vo vážnosti. Často neprijímame opatrenia, kým nie je príliš neskoro. Mali by sme si vážiť svojich blízkych a užívať si prítomný okamih, kým ešte môžeme.