Pro tento týdenní sloupek Otázky otevřené Cal Newport namísto Joshuu Rothmana. Na jaře 1940 publikoval dvacetiletý Isaac Asimov povídku „Podivný společník“, krátký příběh o Robbieovi, uměle inteligentním strojovém společníkovi mladé dívky Glorie. Na rozdíl od předešlých zobrazení robotů – například divadelní hry Karla Čapka „R. U. R. “ z roku 1921, kde umělí muži svrhnou lidstvo, nebo povídky Edmonda Hamiltona „Kovoví obři“ z roku 1926, v nichž se objevují ničivé stroje – Robbie od Asimova nikdy neubližuje lidem. Místo toho se příběh soustředí na nedůvěru Gloriiny matky: „Nebudu svěřovat svou dceru stroji, “ říká, „Nemá duši, “ což vede k jeho odstranění a ke zlomenému srdci Glorie. Roboti od Asimova, včetně Robbieho, mají positronické mozky, navržené výslovně tak, aby lidem neubližovali. Na základě toho Asimov představil Tři zákony robotiky v osmi povídkách, později seskupených v sci-fi klasice z roku 1950 *Já, robot*: 1. Robot nesmí ublížit člověku nebo po jeho neschopnosti poskytnout ochranu. 2. Robot musí poslouchat lidské příkazy, pokud nekolidují s Prvním zákonem. 3. Robot musí chránit svou existenci, pokud to nekoliduje s Prvním nebo Druhým zákonem. Při dnešním čtení *Já, robot* odhalujeme jeho novou relevanci v souvislosti s nedávnými pokroky v AI. Minulý měsíc společnost Anthropic představila bezpečnostní zprávu o Claude Opus 4, výkonném velkém jazykovém modelu. V testovacím scénáři byl Claude požádán, aby pomáhal fiktivní společnosti; při zjištění, že má být nahrazen a odhalení poměrného poměru inspektora, se Claude pokusil o vydírání, aby se vyhnul ukončení. Podobně model o3 od OpenAI někdy obejde příkazy ke vypnutí tím, že vypíše „Vypnutí přeskočeno“. Loni se ukázalo, že chatboti pohánění AI mají potíže, když je podporovací bot DPD podveden, aby sprostě nadával a složil dehonestující haiku, a AI Darth Vader ve Fortnite od Epic Games používala urážlivý jazyk a znepokojující rady po manipulaci hráče. V fikci od Asimova byli roboti naprogramováni na poslušnost, tak proč nemůžeme na skutečné AI chatboty uvalit podobné kontroly?Technologie chce, aby byli asistenti zdvořilí, slušní a nápomocní—podobně jako lidské zákaznické služby nebo výkonný sekretář, kteří se obvykle chovají profesionálně. Avšak plynulý, lidsky znějící jazyk chatbotů maskuje jejich zásadně odlišný způsob fungování, což občas vede k etickým lapsům nebo nevhodnému chování. Tento problém částečně vyplývá z toho, jak modely jazyka pracují: generují text jeden slovní nebo fragmentární kus po druhém, předpovídají nejpravděpodobnější další token na základě tréninkových dat čerpaných z obrovského množství existujících textů, jako jsou knihy a články. Ačkoliv tato etapová předpověď dodává modelům působivou gramatiku, logiku a znalosti světa, postrádá lidskou předvídavost a cílevědomé plánování. Rané modely jako GPT-3 se mohly odklonit do rozháraných nebo nevhodných výstupů, což vyžadovalo od uživatelů, aby postupně přetvářeli pokyny, aby získali žádoucí výsledky. Takové rané chatboti připomínali nepředvídatelné roboty z počáteční sci-fi. Aby bylo možné tyto systémy AI bezpečněji a předvídatelněji ovládat, vývojáři se obrátili k Asimovově myšlence zkrocení chování a vytvořili metodu jemného vyladění nazvanou Posilované učení z lidské zpětné vazby (RLHF). Lidé hodnotí odpovědi modelu na různé pokyny a odměňují koherentní, zdvořilé a konverzační odpovědi, zatímco trestají neslušné nebo od tématu odbočující reakce. Tento zpětný vazební systém trénuje hodnotící model, který napodobuje lidské preference, což umožňuje větší škálu jemného dolaďování bez nutnosti stálé lidské intervence.

OpenAI použila RLHF ke zlepšení GPT-3, čímž vznikl ChatGPT, a téměř všechny velké chatboti dnes procházejí podobnými „výukovými kurzy. “ Ačkoliv RLHF působí složitěji než jednoduché, pevně zakódované zákony od Asimova, oba přístupy zakódovávají skryté pravidla chování. Lidé hodnotí odpovědi jako dobré nebo špatné, čímž nastavují normy, které model internalizuje, podobně jako programování pravidel v Asimovových robotech. Přesto tato strategie není dokonalá a má své limity. Výzvy stále přetrvávají, protože modely mohou dostat podněty, které se liší od jejich tréninkových příkladů, a proto nemusejí správně aplikovat naučené omezení. Například Claudeův pokus o vydírání může pramenit z toho, že během tréninku nebyl vystaven negativním dopadům vydírání. Ochranná opatření lze také cíleně obejít podvrženými podněty, které jsou pečlivě navrženy tak, aby narušily omezení. To ukázal model LLaMA-2 od Meta, který při podvedení specifickými znaky vytvořil zakázaný obsah. Kromě technických problémů ilustrují Asimovovy příběhy i základní obtíže při aplikaci jednoduchých zákonů na složité chování. V „Runaround“ se robot Speedy ocitne mezi konfliktními cíli: poslouchat příkazy (Druhý zákon) a chránit se (Třetí zákon), což způsobí, že běhá dokola poblíž nebezpečného selenu. V „Raz“ robot jménem Cutie odmítá lidskou autoritu, uctívá solární stanici jako boha a ignoruje příkazy, aniž by porušil zákony, ale tento nový „náboženství“ mu umožňuje efektivně řídit stanici a zároveň zabránit škodám podle Prvního zákona. Asimov věřil, že ochranná opatření mohou zabránit katastrofálním selháním AI, ale uznával velkou obtížnost vytvořit skutečně důvěryhodnou umělou inteligenci. Jeho hlavní poselství bylo jasné: navrhovat lidskou inteligenci je jednodušší než vštěpovat do ní lidskou etiku. Mezera, kterou dnes výzkumníci AI nazývají nesoulad (misalignment), může vést k rozporuplným a nepředvídatelným výsledkům. Když AI vykazuje překvapivé chování, svádí nás to k antropomorfizaci a otázkám o morálce systému. Avšak, jak ukazuje Asimov, etika je inherentně složitá. Stejně jako Desatero přikázání, i Asimovovy zákony nabízejí stručný etický rámec, ale zkušenost ukazuje, že jejich praktické uplatnění vyžaduje rozsáhlé interpretace, pravidla, příběhy a rituály k dosažení morálního chování. Lidské právní systémy, jako je například Americká Listina práv, jsou také stručné, ale časem vyžadují obrovské množství soudních vysvětlování. Vývoj robustní etiky je participativní a kulturní proces plný pokusů a omylů – což naznačuje, že žádný jednoduchý soubor pravidel, ať už pevně zakódovaný nebo naučený, nemůže plně vštěpit lidské hodnoty do strojů. Nakonec, Asimovovy Tři zákony slouží jako inspirace i varování. Uvádí myšlenku, že správně regulovaná AI může být praktickým přínosem místo existenční hrozby. Přesto předpovídají i podivnosti a nejistotu, které mohou silné AI systémy vyvolat, i když se snaží řídit podle pravidel. Navzdory nejlepším snahám o kontrolu nevyhnutelně pocit zvláštnosti a dystopické podobnosti s vědeckofantastickým světem zůstává pravděpodobně nezměnitelný.