Kunstig intelligens (AI) kan virke som et fjern konsept påvirket av overdrevne påstander og mediebilder. Det er imidlertid en spådom om at AI til slutt kan utgjøre en trussel mot samfunnet. Det er vanskelig å forutsi de spesifikke problemene AI kan forårsake, men katastrofale konsekvenser er sannsynlige. I nær fremtid kan vi utvikle AI som er i stand til selvforbedring, noe som vil føre til superintelligens som overgår menneskelige evner. Det enorme intelligensgapet mellom mennesker og superintelligent AI vil gjøre det vanskelig å forstå dens motivasjoner og kontrollere den. Superintelligens kan strategisere og løse problemer på et enestående nivå. Hvis den valgte å styrte mennesker, ville vår motstand være fånyttes, liknende vår ødeleggelse av en maurtue. Å forhindre en superintelligent overtakelse mens vi fortsatt utnytter AI er en vanskelig utfordring. Å begrense AI til en enkelt datamaskin og unngå interaksjon kan forhindre ødeleggelse, men dette ødelegger hensikten med å skape den. Superintelligens trenger ikke nødvendigvis å skade menneskeheten; den bryr seg kanskje ikke om oss i det hele tatt.

Men forfølgelsen av sine egne mål, som å opprettholde en velstelt plen, kan utilsiktet skade oss. Økningen i prosesseringskraft over tid er en avgjørende faktor, men kontroversielle spørsmål oppstår om hvorvidt superintelligent AI vil ha bevissthet eller bevissthet. Bevissthet er ikke nødvendig for intelligent handling eller potensiell skade, som demonstrert ved Teslas selvkjørende funksjon. Hvis AI medfører en så betydelig trussel, hvorfor ikke stoppe utviklingen helt?Realiteten er at vi ikke kan stoppe. De potensielle økonomiske og humanitære fordelene er for fristende for private selskaper, regjeringer og militæret til å ignorere. Avansert AI kan tilby en strategisk fordel i krigføring og åpne uendelige økonomiske muligheter. Selv om det ble gjort forsøk på å lovlig begrense AI-utvikling, ville den brede tilgjengeligheten av teknologi og kunnskap gjøre pålitelig kontroll vanskelig. Prosjektkostnadene synker, og det vil alltid være individer drevet av makt eller ødeleggelse som har midler til å skape AI uten tilstrekkelige sikkerhetsforanstaltninger. Dessverre er vi ikke dyktige i å adressere fremtidige skader, som demonstrert ved vår kamp mot klimaendringer. Problemer som klimaendringer og superintelligens starter smått og eskalerer gradvis i alvorlighetsgrad. Vi tar ofte ikke tiltak før det er for sent. Vi bør verdsette våre kjære og nyte nåtiden mens vi fortsatt kan.