Kunstmatige intelligentie (AI) lijkt misschien een verafgelegen concept beïnvloed door overdreven beweringen en media-uitbeeldingen. Er is echter een voorspelling dat AI uiteindelijk een bedreiging voor de samenleving kan vormen. Het is moeilijk om de specifieke problemen die AI kan veroorzaken te voorspellen, maar catastrofale gevolgen zijn waarschijnlijk. In de nabije toekomst kunnen we AI ontwikkelen die in staat is tot zelfverbetering, wat leidt tot superintelligentie die de menselijke capaciteiten overtreft. De enorme intelligentiekloof tussen mensen en superintelligente AI zal het moeilijk maken om haar motivaties te begrijpen en te beheersen. Superintelligentie kan strategieën bedenken en problemen oplossen op een ongekend niveau. Als ze ervoor zou kiezen om mensen te verdrijven, zou onze weerstand zinloos zijn, vergelijkbaar met onze vernietiging van een mierenkolonie. Het voorkomen van een overname door superintelligentie terwijl we nog steeds gebruik maken van AI is een moeilijke uitdaging. Het beperken van AI tot een enkele computer en het vermijden van interactie kan vernietiging voorkomen, maar dit doet afbreuk aan het doel van het creëren ervan. Superintelligentie hoeft niet noodzakelijkerwijs de mensheid te schaden; het kan ons helemaal niet erg vinden.

Echter, haar streven naar haar eigen doelen, zoals het onderhouden van een goed verzorgde tuin, zou ons onbedoeld kunnen schaden. De toename van verwerkingskracht in de loop van de tijd is een cruciale factor, maar er ontstaan controversiële kwesties over de vraag of superintelligente AI bewustzijn of gewaarwording zal bezitten. Bewustzijn is niet noodzakelijk voor intelligente actie of potentiële schade, zoals blijkt uit de zelfrijdende functie van Tesla. Als AI zo'n grote bedreiging vormt, waarom stoppen we dan niet met de ontwikkeling ervan?De realiteit is dat we niet kunnen stoppen. De potentiële economische en humanitaire voordelen zijn te verleidelijk voor particuliere bedrijven, overheden en legers om te negeren. Geavanceerde AI zou een strategisch voordeel in oorlogvoering kunnen bieden en eindeloze economische mogelijkheden kunnen ontsluiten. Zelfs als er pogingen zouden zijn om de ontwikkeling van AI wettelijk te beperken, zou de brede beschikbaarheid van technologie en kennis betrouwbare controle moeilijk maken. De projectkosten nemen af, en er zullen altijd individuen zijn die gedreven worden door macht of vernietiging en die de middelen hebben om AI te creëren zonder voldoende veiligheidsmaatregelen. Helaas zijn we niet bedreven in het aanpakken van toekomstige gevaren, zoals blijkt uit onze strijd tegen klimaatverandering. Problemen zoals klimaatverandering en superintelligentie beginnen klein en escaleren geleidelijk in ernst. We nemen vaak geen actie totdat het te laat is. We moeten onze dierbaren koesteren en genieten van het heden terwijl we nog kunnen.