Штучний інтелект (ШІ) може здаватися віддаленою концепцією, під впливом перебільшених заяв і медійних зображень. Однак існує прогноз, що ШІ врешті-решт може становити загрозу для суспільства. Важко передбачити конкретні проблеми, які може спричинити ШІ, але катастрофічні наслідки ймовірні. У найближчому майбутньому ми можемо розробити ШІ, здатний до самовдосконалення, що призведе до суперінтелекту, який перевищує людські можливості. Величезна різниця в інтелекті між людьми та суперінтелектуальним ШІ ускладнить розуміння його мотивів і контроль над ним. Суперінтелект може стратегічно розв'язувати проблеми на безпрецедентному рівні. Якщо він вирішить повалити людей, наш опір буде марним, як і наше знищення мурахої колонії. Уникнення захоплення суперінтелектом, використовуючи при цьому ШІ, є складним завданням. Обмеження ШІ одним комп'ютером і відмова від взаємодії може запобігти руйнуванню, але це порушує мету його створення. Суперінтелект не обов'язково прагне нашкодити людству; він може взагалі не зважати на нас.

Однак його переслідування власних цілей, таких як підтримка добре доглянутого газону, може ненароком нашкодити нам. Збільшення обчислювальної потужності з часом є важливим фактором, але суперечливі питання виникають щодо того, чи буде суперінтелектуальний ШІ мати свідомість або самосвідомість. Свідомість не є необхідною для інтелектуальних дій або потенційної шкоди, як демонструє функція самопілотування Tesla. Якщо ШІ становить таку значну загрозу, чому б зовсім не припинити його розвиток?Насправді ми не можемо зупинитися. Потенційні економічні та гуманітарні вигоди занадто спокусливі, щоб їх ігнорували приватні компанії, уряди та військові. Розвинений ШІ може забезпечити стратегічну перевагу у війні та відкрити нескінченні економічні можливості. Навіть якщо будуть спроби юридично обмежити розвиток ШІ, широка доступність технологій і знань ускладнить надійний контроль. Витрати на проекти зменшуються, і завжди будуть люди, які з власної волі або для знищення мають засоби створити ШІ без достатніх запобіжних заходів. На жаль, ми не вміємо вирішувати майбутні загрози, як демонструє наша боротьба зі зміною клімату. Проблеми, такі як зміна клімату та суперінтелект, починаються з малого і поступово погіршуються. Ми часто не вживаємо заходів, поки не стане пізно. Ми повинні цінувати своїх близьких і насолоджуватися сьогоденням, поки ще можемо.