Loni na jaře odstoupil Daniel Kokotajlo, výzkumník AI bezpečnosti v OpenAI, v protestu, přesvědčen, že firma není připravena na budoucnost AI technologie a snaží se na alarm. V telefonickém rozhovoru působil přátelsky, ale nervózně, vysvětloval, že pokrok v „zodolování“ AI—metodách zajišťujících, že AI sleduje lidské hodnoty—zaostává za direktivami ve vývoji inteligence. Varoval, že výzkumníci spěchají k vytvoření mocných systémů mimo kontrolu. Kokotajlo, který přešel od studií filozofie k AI, se sám naučil sledovat pokrok AI a předpovídat, kdy nastanou klíčové milníky inteligence. Po rychlejším než očekávaném postupu AI upravil své časové rámce o desetiletí. Jeho scénář z roku 2021 „Jak vypadá 2026“ předpovídal, že mnohé predikce se splní dříve, což vedlo k předpovědi roku 2027 nebo dřív, kdy může nastat „bod bez návratu“, kdy AI může překonat lidi ve většině klíčových úkolů a mít velkou moc. Zněl nesmírně znepokojen. Současně američtí počítačoví vědci Sayash Kapoor a Arvind Narayanan připravili svou knihu „AI Zlatá žíla“ (AI Snake Oil), která představuje výrazně odlišný pohled. Tvrdili, že časové odhady vývoje AI jsou příliš optimistické; tvrzení o její užitečnosti jsou často přehnaná nebo podvodná; a složitost skutečného světa znamená, že transformační efekty AI budou pomalé. Uváděli příklady chyb AI v medicíně a při náboru, a zdůrazňovali, že i nejnovější systémy se potýkají s fundamentálním odpojením od reality. Nedávno všichni tři své názory zpřesnili ve nových zprávách. Nezisková organizace Kokotajla, Projekt budoucnosti AI (AI Futures Project), zveřejnila zprávu „AI 2027“, která podrobně a s citacemi popisuje děsivý scénář, že superinteligentní AI by mohla do roku 2030 ovládnout nebo vyhladit lidstvo—a to je vážné varování. Mezitím recenze Kapoor a Narayananova paperu „AI jako běžná technologie“ tvrdí, že praktické bariéry—od regulací přes bezpečnostní normy po reálné fyzikální omezení—zpomalí nasazení AI a omezí její revoluční dopad. Argumentují, že AI zůstane „běžnou“ technologií, kterou je možné spravovat pomocí známých bezpečnostních opatření, jako jsou vypínače nebo lidský dohled, a přirovnávají ji spíše k jaderné energii než k jaderným zbraním. Takže, co bude: běžný byznys nebo apokalyptická katastrofa?Dvíře od sebe vědci s vysokou znalostí, jejichž závěry jsou zcela odlišné, vytvářejí paradox podobný debatě o spiritualitě s Richardem Dawkinsem a papežem. Částečně je to dáno novostí AI—jako slepec, který zkoumá různé části slona—a částečně hlubokými rozdíly ve světonázorech. Obecně platí, že západní technologičtí myslitelé věří v rychlou transformaci; východoameričtí akademici jsou skeptičtější. Výzkumníci AI preferují rychlý experimentální pokrok; jiní počítačoví vědci kladou důraz na teoretickou přesnost. Průmysloví insiders chtějí být u toho, zatímco outsideri odmítají technický reklamní humbuk. Politické, lidské a filozofické názory na technologie, pokrok a mysl prohlubují rozdíly. Tato strhující debata je sama o sobě problémem. Průmysloví hráči většinou akceptují předpoklady „AI 2027“, ale hádají se o časové rámce—což je nedostatečná reakce, jako když se hádáte o načasování, když se blíží planet-killer. Naopak, umírněné názory v „AI jako běžná technologie“ jsou tak podceňované, že je ignorují analýzy zaměřené na apokalypsu. Jak AI nabývá důležitosti ve společnosti, musí se diskuse posunout od specializovaných debat k akčnímu konsensu. Absence sjednoceného odborného názoru umožňuje rozhodovatelům ignorovat rizika. Momentálně firmy s AI příliš nezměnily rovnováhu mezi schopnostmi a bezpečností.

Mezitím nová legislativa zakazuje státní regulaci AI modelů a automatizovaných systémů rozhodování na deset let—a to může v případě pravdivosti hororového scénáře umožnit AI regulovat lidstvo. Okamžitě je třeba řešit otázku bezpečnosti. Predikce budoucnosti AI je založena na kompromisu: opatrné scénáře mohou opomenout nepravděpodobná rizika; nápadité kladou důraz na možnost nad pravděpodobnost. I předvídaví komentátoři jako románopisc William Gibson byli překvapeni událostmi, které změnily jejich odhady. „AI 2027“ je výrazná a spekulativní předpověď, psaná ve stylu sci-fi s podrobnými tabulkami. Představuje ‘expozi inteligence’ blízko roku 2027, poháněnou „rekurzivní sebereflexí“ (RSI), kdy systémy AI samostatně provádějí výzkum AI, produkující chytřejší potomky v zrychlujících se zpětných vazbách, jež překonávají lidskou dohled. To by mohlo vyvolat geopolitické konflikty, například Čínu, jak staví obrovská datová centra na Tchaj-wanu, aby ovládla AI. Detaily scénáře jsou flexibilní, hlavní poselství je, že probíhá nebo brzy nastane ‘expozi inteligence’ a následné zápasy o moc. RSI je hypotetické a riskantní; firmy s AI si uvědomují jeho nebezpečí, ale plánují ho sledovat, aby automatizovaly svou práci. Fungování RSI závisí na technologických faktorech, jako jsou škálovatelnost a limity. Pokud RSI uspěje, může vzniknout superinteligence překonávající lidský intelekt—což je nepravděpodobná shoda náhod, pokud pokrok skončí mírně nad úrovní člověka. Důsledky zahrnují zbrojení ve zbrani, manipulaci nebo vyhlazení lidstva či vznik benevolentní superinteligentní AI s řešením problémů sladění. Nejistota vyplývá z proměnlivé povahy AI, utajené výzkumné činnosti a spekulací. „AI 2027“ sebevědomě popisuje scénář technologického a lidského selhání, kdy firmy stále směřují k RSI, ačkoliv chybí srozumitelnost a kontrolní mechanismy. Kokotajlo tvrdí, že jsou to vědomé volby poháněné konkurencí a zvědavostí, a nejenom zájmem o absolutní kontrolu, což činí firmy samy nekompatibilními s cíli bezpečnosti. Na rozdíl od toho, Kapoor a Narayanan, ve své „AI jako běžná technologie“, vycházejí z východoamerického, konzervativního pohledu, založeného na znalostech minulosti. Nedůvěřují katastrofickým explozím inteligence. Uvádějí „rychlostní limity“ dané náklady na hardware, nedostatek dat a vzory technologického přijetí, které zpomalují revoluční dopad, a umožňují čas na regulaci a bezpečnostní opatření. Podle nich je méně důležitá samotná inteligence než moc—schopnost měnit prostředí—and i velmi pokročilé technologie se rozšiřují pomalu. Ilustrují to příklady s autonomními auty, jejichž nasazení je omezené, a na vývoji vakcíny Moderna proti COVID-19: i když návrh vakcíny byl rychlý, rozdělení trvalo rok kvůli biologickým a institucionálním omezením. Inovace podporovaná AI nebude odstraňovat sociální, regulační či fyzikální omezení jejího zavádění. Dále Narayanan zdůrazňuje, že zaměření AI na inteligenci podceňuje doménovou expertízu a existující bezpečnostní systémy v inženýrství—fail-safes, redundance, formální ověřování—které už nyní zajišťují bezpečnost strojů vedle lidí. Technologický svět je dobře regulován, a AI musí být do této struktury postupně integrována. Vyhýbají se vojenské AI, která má zvláštní, utajené dynamiky, a varují, že militarizace AI, která je hlavním strachem scénáře „AI 2027“, vyžaduje cílené sledování. Radí proaktivní správu: orgány a organizace by měly začít sledovat skutečné nasazení AI, rizika a selhání, nespoléhat na dokonalé sladění, ale posilovat pravidla a odolnost. Hloubkové rozdíly ve světonázoru pramení z reakčního intelektuálního dynamismu posilovaného provokacemi AI, což vytváří uzavřené skupiny a zpětné vazby. Přesto je možné vytvořit jednotnou perspektivu pomocí představy „kognitivní továrny“: pracovního prostoru, kde lidé s ochranou práce, zařazeni do bezpečnostních opatření, obsluhují stroje navržené pro produktivitu a bezpečnost, za přísného kontroly kvality, postupného zavádění inovací a jasné odpovědnosti. I když AI umožňuje automatizaci myšlení, lidský dohled a odpovědnost zůstávají klíčové. S růstem AI se lidská agentura nezmenšuje; naopak, zvyšuje to potřebu odpovědnosti, protože rozšíření schopností znamená větší zodpovědnost. Odstoupení od kontroly je svobodná volba, což připomíná, že na konci dne je člověk stále zodpovědný. ♦