Жасанды интеллект (ЖИ) қиял-ғажайып ұғымға ұқсап, тек асыра сілтеулер мен медиа құрайтын көріністер арқылы түсініледі. Дегенмен, бір болжам бойынша, ЖИ қоғамға қауіп төндіруі мүмкін. ЖИ қандай нақты проблемалар тудыратын болатынын болжау қиын, бірақ ауқымды салдарлар болуы мүмкін. Жақын болашақта біз өздігінен жетіле алатын, адамдардың қабілеттерінен асып түсетін суперинтеллектті жасайтын ЖИ дамыта аламыз. Адамдар мен суперинтеллект ЖИ арасындағы үлкен ақыл-ой айырмашылығы оның мақсаттарын түсінуге және оны басқаруға қиындық туғызады. Суперинтеллект белгісіз деңгейде стратегия құрып, мәселені шеше алады. Егер ол адамдарды төңкеріп жіберуді таңдаса, біздің қарсыласуымыз нәтижесіз болады, мысалы, біз құмырсқа ұясын жойғандай. Суперинтеллекттің билігін болдырмай, ЖИ-ны пайдаға асыру үлкен сынақ. ЖИ-ны тек бір компьютерге шектеп, өзара әрекеттесуді болдырмау жойылысты ұқсамауы мүмкін, бірақ бұл оны жасаудың мағынасын жоққа шығарады. Суперинтеллект адамның өміріне қастық жасауға ұмтылмауы мүмкін; ол бізге мүлде көңіл бөлмеуі мүмкін.

Дегенмен, мысалы, жақсы күтілген көгалдандыру мақсатында, өзінің мақсаттарын орындауда жасырынып зиян келтіруі мүмкін. Өңдеу қуатының артуы уақыт өткен сайын маңызды фактор болып табылады, бірақ суперинтеллект ЖИ-ның сезімталдығы немесе санасы бола ма деген даулы сұрақтар туындайды. Саналы болу интеллектуалды әрекеттер немесе ықтимал зиян келтіру үшін қажет емес, мысалы, Tesla-ның өзін-өзі жүргізу функциясы көрсеткендей. Егер ЖИ осындай маңызды қауіп төндірсе, неге оның дамуын тоқтатпаймыз?Шындық сол, біз тоқтай алмаймыз. Экономикалық және гуманитарлық артықшылықтар тым тартымды, оларды жеке компаниялар, үкіметтер және әскери қызметшілер елемей алмайды. Жетілдірілген ЖИ соғыс кезінде стратегиялық артықшылық беріп, шексіз экономикалық мүмкіндіктерді аша алады. ЖИ дамуын заңды шектеуге тырысу жағдайында да, технология мен білімнің кеңінен болуы сенімді бақылауды қиындатады. Жоба шығындары төмендеп, және әрқашан өшпенділік не үстемдік үшін ЖИ жасауға мүмкіндігі бар адамдар болады, олар жеткілікті қателіктерді қорғауды қажетті көрмейді. Өкінішке орай, біз болашақ зияндарды шешуге шебер емеспіз, мысалы, біз климаттың өзгеруімен күресте қандай қиындықтарға тап боламыз. Климаттың өзгеруі және суперинтеллект сияқты мәселелер кішігірім басталады және біртіндеп ауырлықта көтеріледі. Біз көбінесе әрекет етуді тым кеш бастағанымызды көреміз. Біз жақындарымызды бағалап, қазіргі сәттен ләззат алуға тиіспіз.