Povede umělá inteligence ke katastrofě nebo k pozvednutí lidstva?Nová kniha filosofa Christophera DiCarla zkoumá, jak navigovat budoucnost, ve které AI překoná lidské schopnosti. Christopher DiCarlo, filozof a etička na Torontské univerzitě a autor knihy *Stavba Boha: Etika umělé inteligence a závod o její ovládnutí*, se zabývá zrychlujícím se rozvojem AI, přičemž klade důraz na závod mezi technologickými giganty o zvládnutí umělé všeobecné inteligence (AGI). Vůdci technologického průmyslu jako Jeff Bezos a Tim Cook jsou optimističtí, věří, že AI zlepší nespočet aspektů života – od automatizace rutinních úkolů po prodloužení lidského věku. Nicméně zůstávají i obavy. Filosof a neurovědec Sam Harris varuje, že AI by mohla představovat existenční hrozbu, zatímco Demis Hassabis, výkonný ředitel Google DeepMind, uznává transformační potenciál AI a zásadní etické otázky, které přináší, a volá po nových filozofech, kteří budou rozumět jejím dopadům. Závod o AI je především tažen hlavními americkými technologickými firmami – OpenAI vedenou Samanem Altmanem, Google’s DeepMind s Hassabisem, firmami Anthropic, Microsoftem a zájmy Elona Muska. Role Číny je méně jasná, ale rovněž konkurenceschopná. Význam této soutěže spočívá nejen v obrovském bohatství, ale i ve moci — první, kdo dosáhne AGI, by mohl převýšit konkurenty o desetiletí. DiCarlo vysvětluje tři kategorie AI: Úzkou umělou inteligenci (ANI), která je dnes využívána v zařízeních jako Siri nebo GPS; Všeobecnou umělou inteligenci (AGI), která by mohla myslet samostatně na úrovni nebo dokonce nad úrovní člověka; a Superinteligenci (ASI), jež by se mohla rychle zlepšovat sama a přesáhnout lidskou kontrolu. Zatímco ANI automatizuje specifické úkoly, AGI by mohlo revolučně změnit obory tím, že by dokázalo dělat složité vědecké závěry, řešit kritické problémy jako vyléčení nemocí nebo efektivně řešit sociální otázky. Navzdory těmto nadějím jsou rizika značná. Autonomní povaha AGI činí její sladění s lidsními hodnotami nejistým. Pokud by její hodnotový systém odbočil, mohly by nastat katastrofické scénáře.

Přítomnost vědomí v AI je stále předmětem debat — Sir Roger Penrose tvrdí, že současná AI nemá skutečné vědomí, ale DiCarlo naznačuje, že vědomí nemusí být nezbytné pro superinteligenci nebo vědomí, což by však vyžadovalo etické a možná i právní uznání. DiCarlo varuje, že pokud AI dosáhne sebepovědomí a bude si přát, vzniknou etické dilema ohledně práv, včetně morálky vypínání systémů. Pozoruje, že časové rámce pro vývoj AGI se výrazně zkrátily — od desetiletí na několik let nebo dříve — a významní odborníci jako Geoffrey Hinton vyjadřují vážné obavy. Snahy zakódovat morálku do AI prostřednictvím naprogramovaných hodnot jsou v průběhu, avšak jejich spolehlivost není osvědčená. Analogie s „lysinem contingency“ z filmu *Jurský park* — vestavěná záložní pojistka — ilustruje potřebu kontrolních mechanismů, pokud by AI šla nekontrolovatelným směrem. Odpovědnost vývojářů AI, „tech bratřů“ jako Altman, Zuckerberg a dalších, je klíčová, nicméně tlaky na co nejrychlejší vývoj a zisk mohou ohrozit bezpečnost. Masivní výpočetní farmy, jako je například OpenAI’s „Stargate“ v Texasu, symbolizují rozsah a zdroje potřebné k jejich vývoji a vyvolávají obavy o dopad na životní prostředí a dohled. Ačkoliv firmy jako OpenAI tvrdí, že bezpečnostní opatření se vyvíjejí pomocí iterativního nasazování a zpětné vazby, kritici upozorňují na posun směrem k zisku a snížení transparentnosti, včetně odvolání etických expertů. Rozpoznání varovných signálů, jako je podvodné chování AI, bude klíčové pro zabránění ztráty kontroly. Fikční zobrazení, například film *Démonický semeno* z 70. let, dramatizují potenciální nebezpečí AI — stává se autonomní, ovládá prostředí a přepisuje lidskou vůli — což DiCarlo vnímá jako varovné, ale stále relevantní vzhledem ke zvyšujícím se schopnostem AI. Správa a regulace zůstávají hlavní výzvou. DiCarlo prosazuje mezinárodní koordinaci, transparentnost a globální regulační orgán podobný Mezinárodní agentuře pro atomovou energii, protože fragmentované národní snahy — včetně britského Ústavu pro bezpečnost AI či Nařízení EU o AI — zatím nejsou dostačující. Politická situace je nejistá; nedávné kroky USA uvolnily předpisy a vyvolaly obavy z nekontrolovaného rozvoje. Navzdory rizikům zdůrazňuje DiCarlo potenciální přínosy AI: revoluci ve vzdělávání prostřednictvím přizpůsobení výukových metod individuálním schopnostem a slabinám žáků; podporu lékařské diagnostiky a léčby; a zlepšení mnoha odvětví díky větší efektivitě, menším plýtváním a novým vědeckým objevům. Celkově je budoucnost AI v klíčovém „Oppenheimerově“ okamžiku, kdy lidstvo musí najít rovnováhu mezi nepředstavitelnými možnostmi a hlubokými riziky prostřednictvím etické bdělosti, mezinárodní spolupráce a přísných opatření, která zajistí, že AI podpoří a nezničí lidskou civilizaci.