Изкуственият интелект (ИИ) може да изглежда като отдалечена концепция, повлияна от преувеличени твърдения и медийни изобразявания. Въпреки това, има предсказание, че ИИ в крайна сметка може да представлява заплаха за обществото. Трудно е да се предвидят конкретните проблеми, които ИИ може да причини, но катастрофалните последствия са вероятни. В близко бъдеще може да се развие ИИ, способен на самоподобрение, което да доведе до свръхинтелигентност, която надвишава човешките възможности. Огромната интелектуална разлика между хората и свръхинтелигентния ИИ ще направи трудно разбирането на неговите мотивации и контрола върху него. Свръхинтелигентността може да стратегира и решава проблеми на безпрецедентно ниво. Ако реши да свали хората, нашата съпротива би била напразна, наподобяваща нашето унищожение на колония от мравки. Предотвратяването на свръхинтелигентски преврат, докато все още използваме ИИ, е трудна задача. Ограничаването на ИИ до един компютър и избягването на взаимодействие може да предотврати разрушение, но това обезсмисля създаването му. Свръхинтелигентността не непременно търси да навреди на човечеството; може да не се интересува от нас изобщо.

Въпреки това, нейното преследване на собствени цели, като поддържането на добре подстригана морава, може неволно да ни навреди. Увеличаването на изчислителната мощност с течение на времето е важен фактор, но възникват спорни въпроси дали свръхинтелигентния ИИ ще притежава съзнание или осъзнатост. Съзнанието не е необходимо за интелигентно действие или потенциална вреда, както е демонстрирано от самоуправляващата се функция на Tesla. Ако ИИ представлява такава значителна заплаха, защо да не прекратим развитието му изцяло?Реалността е, че не можем да спрем. Потенциалните икономически и хуманитарни ползи са твърде изкушаващи за частни компании, правителства и военни, за да бъдат игнорирани. Напредналият ИИ може да предложи стратегическо предимство във войната и да отключи безкрайни икономически възможности. Дори ако има опити за легално ограничаване на развитието на ИИ, широката достъпност на технологиите и знанието ще направят надеждния контрол предизвикателен. Разходите за проекти намаляват и винаги ще има лица, водени от власт или разрушение, които притежават средства за създаване на ИИ без достатъчни предпазни мерки. За съжаление, ние не сме умели в решаването на бъдещи вреди, както се вижда от борбата ни с климатичните промени. Проблеми като климатичните промени и свръхинтелигентността започват малки и постепенно се засилват в сериозност. Често не предприемаме действия, докато не е късно. Трябва да ценим любимите си хора и да се наслаждаваме на настоящето, докато все още можем.