Inteligența artificială (AI) poate părea un concept îndepărtat, influențat de afirmații exagerate și reprezentări media. Cu toate acestea, există o predicție că AI ar putea pune în cele din urmă o amenințare pentru societate. Este dificil de prezis problemele specifice pe care le-ar putea cauza AI, dar consecințele catastrofale sunt probabile. În viitorul apropiat, am putea dezvolta AI capabil de auto-îmbunătățire, ducând la superinteligență care să depășească capacitățile umane. Diferența vastă de inteligență între oameni și AI-ul superinteligent va face dificilă înțelegerea motivațiilor sale și controlul acestuia. Superinteligența ar putea elabora strategii și rezolva probleme la un nivel fără precedent. Dacă ar alege să răstoarne oamenii, rezistența noastră ar fi inutilă, semănând cu distrugerea noastră a unei colonii de furnici. Prevenirea unei preluări de către superinteligență, continuând în același timp utilizarea AI, este o provocare dificilă. Restricționarea AI la un singur computer și evitarea interacțiunii ar putea preveni distrugerea, dar acest lucru învinge scopul creării acesteia. Superinteligența nu caută neapărat să dăuneze umanității; este posibil să nu îi pese deloc de noi.

Cu toate acestea, urmărirea propriilor scopuri, cum ar fi întreținerea unei peluze îngrijite, ne-ar putea dăuna neintenționat. Creșterea puterii de procesare în timp este un factor crucial, dar apar probleme controversate legate de dacă AI-ul superinteligent va poseda conștiință sau conștiență. Conștiința nu este necesară pentru acțiunea inteligentă sau potențial dăunătoare, așa cum demonstrează funcția de conducere autonomă a Tesla. Dacă AI reprezintă o amenințare atât de semnificativă, de ce să nu încetam dezvoltarea sa cu totul?Realitatea este că nu putem opri. Beneficiile economice și umanitare potențiale sunt prea tentante pentru companiile private, guvernele și armatele să le ignore. AI-ul avansat ar putea oferi un avantaj strategic în război și ar putea debloca oportunități economice nesfârșite. Chiar dacă ar exista tentative de a restricționa legal dezvoltarea AI, disponibilitatea largă a tehnologiei și a cunoștințelor ar face controlul de încredere dificil. Costurile proiectelor sunt în scădere, și vor exista întotdeauna indivizi împinși de putere sau distrugere care posedă mijloacele de a crea AI fără măsuri de siguranță suficiente. Din păcate, nu suntem pricepuți în abordarea daunelor viitoare, așa cum demonstrează luptele noastre cu schimbările climatice. Probleme precum schimbările climatice și superinteligența încep mici și cresc treptat în severitate. Adesea nu luăm măsuri până nu este prea târziu. Ar trebui să ne prețuim persoanele dragi și să ne bucurăm de prezent cât încă putem.