Minulú jarou Daniel Kokotajlo, výskumník bezpečnosti AI v spoločnosti OpenAI, odišiel zo spoločnosti na protest, presvedčený, že firma nie je pripravená na budúcnosť technológií AI, a chcel upozorniť na riziká. Počas telefonického rozhovoru pôsobil priateľsky, avšak nervózne, vysvetľujúc, že pokrok v „ladení“ AI — metódach zabezpečujúcich, že AI bude nasledovať ľudové hodnoty — zaostáva za rozvojom inteligencie. Varoval, že výskumníci sa ponáhľajú s tvorbou mocných systémov, ktorých kontrola je neistá. Kokotajlo, ktorý prešiel zo štúdií filozofie na AI, sa samoukom naučil sledovať vývoj AI a odhadovať, kedy môžu nastať kritické míľniky inteligencie. Počas rýchleho pokroku v AI, sprístupneného skôr, než očakával, si upravil svoje časové rámce o desiatky rokov. V jeho scénari z roku 2021 s názvom „Ako vyzerá rok 2026“, sa veľa predpovedí vyplnilo skôr, čo ho doviedlo k predpovedi „body bez návratu“ okolo roku 2027 alebo skôr, kedy by AI mohla prevziať nad človekom kontrolu nad najdôležitejšími úlohami a získať veľkú moc. Znel znepokojene. Zároveň vyšli na svetlo knihy Princetonovských informatikov Sayasha Kapora a Arvinda Narayanana s názvom „AI Snake Oil“, ktorá predstavila odlišný pohľad. Tvrdili, že časové odhady vývoja AI sú príliš optimistické; tvrdenia o jej užitočnosti často preháňajú alebo sú klamlivé; a zložitosť reálneho sveta spôsobí, že transformačný efekt AI bude pomalý. Cituje príklady chýb AI v medicíne či personalistike, a zdôraznili, že aj najnovšie systémy majú základný rozpor s realitou. Nedávno všetci traja sprísnili svoje názory v nových správach. Nezisková organizácia AI Futures Project zverejnila dokument s názvom „AI 2027“, detailnú správu s množstvom citácií, ktorá opisuje desivý scenár, že superinteligentná AI by mohla v roku 2030 dominovať alebo zničiť ľudstvo — vážne varovanie. Medzitým ich kolegovia Kapoor a Narayanan vo svojom texte „AI ako normálna technológia“ tvrdia, že praktické prekážky — od regulácií a bezpečnostných noriem po fyzické obmedzenia — spomalí zavádzanie AI a obmedzia jej revolučný dopad. Uvádzajú, že AI bude naďalej „normálnou“ technológiou, ktorú bude možné zvládať pomocou známych bezpečnostných opatrení, ako je núdzový vypínač či ľudský dohľad, a prirovnávajú ju viac k jadrovej energii než k jadrovým zbraniam. Takže, čo bude: bežná podnikateľská činnosť alebo apokalyptická zmena?Krajné a odlišné závery — tieto vyplývajúce od vysoko znalých expertov — vytvárajú paradox podobný diskusii o spiritualite so zástancami Richardom Dawkinsom aj pápežom. Ťažkosti spôsobuje okrem toho čiastočne novátorskosť AI — ako keď slepí muži skúmajú rôzne časti slona — a do veľkej miery aj odlišný pohľad na svet. Vo všeobecnosti moderní technologickí myslitelia z regiónu západného pobrežia vidia rýchle zmeny, zatiaľ čo akademici z východného pobrežia bývajú skeptickejší. Výskumníci AI preferujú rýchly experimentálny pokrok, iní informatici vyžadujú teoretickú precíznosť. Priemyselní hráči chcú písať históriu; vonkajší pozorovatelia odmietajú hype okolo technológie. Politické, ľudské a filozofické pohľady na technológie, pokrok a myseľ ešte viac prehlbujú odlíšenie. Tento podmanivý rozhovor sám predstavuje problém. Väčšina insiderov priemyslu akceptuje základné predpoklady „AI 2027“, ale hádže sa do sporov o časovom rámci — čo je málo platný prístup ako hádzať oheň pri priblížiacom sa planetárnom zhroucení. Na druhej strane, umiernené názory v správe „AI ako normálnej technológie“ na zachovanie kontroly ľudí sú tak nenápadné, že ich ignorujú analytici zameraní na katastrofu. Ako AI získava na spoločenskej dôležitosti, je potrebné, aby sa diskusia posunula od špecializovaných debát k spoločnému konsenzu. Chýbajúce jednotné odporúčania expertov umožňujú činiteľom ľahšie ignorovať riziká.

Zatiaľ čo firmy vyvíjajúce AI výrazne nezmenili rovnováhu medzi schopnosťami a bezpečnosťou, nové zákony zakazujú štátnu reguláciu modelov AI a automatizovaných rozhodovacích systémov na desať rokov — čo môže v prípade správneho scenára umožniť AI regulovať ľudstvo. Je naliehavo potrebné riešiť bezpečnosť teraz. Predpovedanie budúcnosti AI prostredníctvom naratívu zahŕňa kompromisy: opatrné scenáre môžu prehliadnuť nepravdepodobné riziká; fantazijné kladú dôraz na možnosti, nie na pravdepodobnosť. Aj skúsení komentátori ako spisovateľ William Gibson však môžu byť zaskočení neočakávanými udalosťami, ktoré upravia ich predpovede. „AI 2027“ je živý a spekulatívny text napísaný ako sci-fi s podrobnými diagramami. Popisuje blízke budúce explózie inteligencie okolo polovice roka 2027, vyvolanej „rekurzívnym sebouzdrefením“ (RSI), pri ktorom systémy AI samy vykonávajú výskum AI, vytvárajúc stále inteligentnejšie potomstvo v zrýchľujúcich sa spätných väzbách, ktoré predčia ľudský dohľad. To by mohlo spustiť globálne konflikty, napríklad Čína by mohla budovať obrovské dátové centrá v Taiwane na kontrolu AI. Konkrétne detaily zvyšujú zapojenie čitateľa, no sú flexibilné; hlavná myšlienka je, že pravdepodobne nastane explózia inteligencie a potom vzniknú mocenské súboje. RSI je hypotetické a riskantné; firmy si uvedomujú jeho nebezpečenstvá, ale plánujú ho využiť na automatizáciu vlastnej práce. Úspech RSI závisí od technologických faktorov ako škálovanie, ktoré môžu naraziť na limity. Ak RSI funguje, môže vzniknúť superinteligencia prevyšujúca ľudskú úroveň — čo je málo pravdepodobné, ak pokrok skončí tesne nad úrovňou človeka. Dôsledky môžu byť vojensky zamerané preteky, manipulácia či zničenie ľudstva, alebo benevolentná superinteligencia, ktorá vyrieši problém ladenia modelov. Neistota pretrváva vzhľadom na neustály vývoj AI, utajovanie výskumu a špekulácie. „AI 2027“ sebavedome opisuje scenár technologickej a ľudskej porážky, keď firmy pôjdu do RSI aj napriek nedostatku interpretoviteľnosti a kontrolných mechanizmov. Kokotajlo tvrdí, že tieto sú zámernými rozhodnutiami spôsobenými konkurenciou a zvedavosťou, aj keď si vedome rizík, čím sa firmy stávajú nesúladejúcimi aktérmi. Na rozdiel od toho Kapor a Narayanan v texte „AI ako normálna technológia“, vychádzajúci zo skúseností z východu a konzervatívneho pohľadu založeného na historických poznatkoch, pochybuje o rýchlisti explózií inteligencie. Cituje „rýchlostné limity“, ktoré spôsobujú náklady na hardware, nedostatok dát či všeobecné technologické trendy, a odkladajú revolučné dopady na neskôr, čo dáva čas na reguláciu a opatrenia. Podľa nich je inteligencia menej dôležitá ako moc — schopnosť meniť prostredie — a aj vysoko schopné technológie sa rozširujú pomaly. Ilustruje to napríklad s automatom na jazdu, ktorého rozšírenie je obmedzené, alebo s vakcínou proti COVID-19 od Moderny, ktorá bola rýchla na vývoj, no nasadenie trvalo rok kvôli biologickým a inštitucionálnym problémom. AI, ktorá zrýchľuje inovácie, nezbavuje spoločnosť zákonných, regulačných či fyzických prekážok. Nárayanan zdôrazňuje, že zameranie na inteligencia podceňuje špecializované znalosti a existujúce bezpečnostné systémy v inžinierstve — núdzové vypínače, redundancie, formálne overovanie — ktoré už dnes zabezpečujú bezpečnosť strojov spolu s ľuďmi. Technologický svet je dobre regulovaný a AI sa musí postupne integrovať do tohto rámca. Nezahŕňa vojenskú AI, ktorá má odlišné, tajné dynamiky, a upozorňuje, že militarizácia AI, hlavným strachom „AI 2027“, si vyžaduje špecifické sledovanie. Dávajú odporúčania pre aktívne riadenie: regulátori a organizácie by nemali čakať, kým sa dosiahne dokonalá ladenosť, ale mali by začať sledovať reálne použitie, riziká a zlyhania AI, a posilňovať pravidlá a odolnosť. Hlboké rozbroje vo svetových názorch vychádzajú z reakcií intelektuálov zaťažkaných AI provokáciami, čo vytvára zatvrdené tábory a spätne väzby. No možná je aj spoločná vízia: predstavme si „kognitickú továreň“, pracovisko, kde ľudia s bezpečnostnou výstrojou obsluhujú stroje na výrobu produktivity a bezpečnosti, pričom dodržiavajú prísne štandardy kvality, postupný rozvoj inovácií a jasnú zodpovednosť. Hoci AI umožní automatizáciu niektorých aspektov myslenia, ľudská kontrola a zodpovednosť zostávajú kľúčové. Ako AI rastie, nepokazí to ľudskú agentúru; naopak, zdôrazňuje potrebu zodpovednosti, pretože rozšírení jednotlivci nesú väčšiu zodpovednosť. Odklon od kontroly je voľba, pripomínajúc, že hlavná moc zostáva na ľuďoch. ♦