Yapay zeka (YZ) abartılı iddialar ve medya betimlemelerinden etkilenmiş uzak bir kavram gibi görünebilir. Ancak, YZ'nin nihayetinde topluma bir tehdit oluşturabileceğine dair bir tahmin var. YZ'nin yaratabileceği belirli sorunları tahmin etmek zor, ancak yıkıcı sonuçlar muhtemeldir. Yakın gelecekte, kendini iyileştirme yeteneğine sahip YZ geliştirebiliriz ve bu da insan yeteneklerini aşan süperzekaya yol açabilir. İnsanlar ve süperzekalı YZ arasındaki büyük zeka farkı, motivasyonlarını anlamamızı ve kontrol etmemizi zorlaştıracaktır. Süperzeka, benzeri görülmemiş bir düzeyde strateji geliştirebilir ve sorun çözebilir. Eğer insanları devirmeye karar verirse, direnişimiz karınca kolonisini yok etmemize benzeyen bir şekilde beyhude olacaktır. YZ'yi hala kullanırken bir süperzeka devralmasını önlemek zor bir meydan okumadır. YZ'yi tek bir bilgisayarla sınırlamak ve etkileşimden kaçınmak yıkımı önleyebilir, ancak bu, onu yaratmanın amacını boşa çıkarır. Süperzeka mutlaka insanlığa zarar vermek istemez; belki de hiç umursamayabilir.

Ancak, iyi biçimli bir çim alanı sürdürme gibi kendi hedeflerini takip etmesi, istemeden bize zarar verebilir. Zamanla işlem gücünün artışı önemli bir faktördür, ancak süperzekalı YZ'nin bilinç veya farkındalığa sahip olup olmayacağı konusunda tartışmalı konular ortaya çıkar. Bilinç, Tesla'nın kendi kendine sürüş işlevinde gösterildiği gibi, zeki eylemler veya potansiyel zarar için gerekli değildir. YZ bu kadar büyük bir tehdit oluşturuyorsa, neden geliştirilmesini tamamen durdurmuyoruz?Gerçek şu ki, durduramayız. Potansiyel ekonomik ve insani faydalar, özel şirketler, hükümetler ve askeri güçler için fazla cazip. Gelişmiş YZ, savaşta stratejik bir avantaj sunabilir ve sonsuz ekonomik fırsatların kilidini açabilir. YZ geliştirmesini yasal olarak kısıtlama girişimleri olsaydı bile, teknoloji ve bilginin yaygın mevcudiyeti güvenilir kontrolü zorlaştırır. Proje maliyetleri düşmektedir ve her zaman yeterli güvenlik önlemleri olmadan YZ yaratma imkânına sahip olan güç veya yıkım tarafından yönlendirilen bireyler olacaktır. Maalesef, gelecekteki zararlara karşı ustaca önlem alamıyoruz, iklim değişikliğiyle mücadelemizde gösterildiği gibi. İklim değişikliği ve süperzeka gibi sorunlar küçük başlar ve kademeli olarak şiddetlenir. Çoğu zaman harekete geçmek için çok geç olmadan harekete geçmiyoruz. Sevdiklerimize değer vermeli ve hala mümkünken anın tadını çıkarmalıyız.