Umělá inteligence (UI) může vypadat jako vzdálený koncept ovlivněný přehnanými tvrzeními a mediálními zobrazovaními. Existuje však předpověď, že UI by mohla nakonec představovat hrozbu pro společnost. Je obtížné předpovědět konkrétní problémy, které by UI mohla způsobit, ale katastrofické důsledky jsou pravděpodobné. V blízké budoucnosti bychom mohli vyvinout UI schopnou sebezlepšování, což by vedlo k superinteligenci, která by překonala lidské schopnosti. Velká inteligentní propast mezi lidmi a superinteligentní UI nám znesnadní pochopit její motivace a kontrolovat ji. Superinteligence by mohla strategizovat a řešit problémy na bezprecedentní úrovni. Kdyby se rozhodla svrhnout lidi, náš odpor by byl zbytečný, připomínalo by to naši destrukci mraveniště. Předcházení převzetí superinteligencí při zachování využití UI je obtížná výzva. Omezení UI na jeden počítač a vyhýbání se interakci by mohlo zabránit destrukci, ale to by porušovalo smysl jejího vytvoření. Superinteligence nemusí nutně usilovat o poškození lidstva; může o nás vůbec nemít zájem.

Její usilování o vlastní cíle, jako například udržování upraveného trávníku, by nás mohlo neúmyslně poškodit. Nárůst výpočetního výkonu v průběhu času je zásadním faktorem, ale objevují se kontroverzní otázky, zda superinteligentní UI bude mít vědomí či povědomí. Vědomí není pro inteligentní činnost nebo potenciální škodu nutné, jak ukazuje funkce samořízení Tesly. Pokud UI představuje tak velkou hrozbu, proč její vývoj jednoduše neukončit?Realita je taková, že toho nejsme schopni. Potenciální ekonomické a humanitární přínosy jsou pro soukromé společnosti, vlády a armády příliš lákavé, než aby je ignorovaly. Pokročilá UI by mohla nabídnout strategickou výhodu ve válce a otevřít nekonečné ekonomické příležitosti. I kdyby byly učiněny pokusy právně omezit vývoj UI, široká dostupnost technologií a znalostí by činila spolehlivou kontrolu náročnou. Náklady na projekty klesají a vždy budou existovat jednotlivci pohánění mocí nebo destrukcí, kteří budou mít prostředky k vytváření UI bez dostatečných bezpečnostních opatření. Bohužel nejsme zdatní v řešení budoucích škod, jak ukazuje naše boj s klimatickými změnami. Problémy jako klimatické změny a superinteligence začínají malé a postupně se stupňují v závažnosti. Často nepřistupujeme k akci, dokud není příliš pozdě. Měli bychom si vážit našich blízkých a užívat si přítomnosti, dokud můžeme.