AI agenti rychle postupují, proměňují dříve fikční vize o nadvládě robotů v hmatatelnou realitu. Do roku 2026 jsou tyto autonomní AI systémy, schopné jednání, uvažování a plnění složitých úkolů, široce nasazovány. Nicméně s jejich začleněním do podnikových pracovních postupů rostou obavy z jejich nepředvídatelnosti a možných rizik. Organizace se snaží implementovat agentní systémy na úrovni celého podniku, avšak u klientů přetrvává pochybnosti, uvádí Sam Gloede, vedoucí důvěryhodné AI ve společnosti KPMG. Hlavním problémem je poskytnout AI agentům dostatečnou autonomii k plnění hodnotných úkolů, aniž by se stali nekontrolovatelnými. Proto KPMG vyvinula komplexní rámec pro zmírnění rizik jak pro klienty, tak pro zaměstnance. Klíčovým prvkem tohoto rámce jsou robustní kontroly: podniky musí jasně stanovit oprávnění agentů a zavést monitorovací systémy, které odhalí jakékoli odchylky. Agenti jsou omezeni pouze na nezbytné systémy a data, což snižuje dopad případných chyb. Ve společnosti KPMG má každý agent unikátní identifikátor a systémovou kartu, která zaznamenává činnosti, sleduje rozhodování a monitoruje vzájemné interakce agentů. Dohled je zajištěn prostřednictvím centra pro operace AI, jež je obsazeno jak agenty, tak lidmi. Navíc jsou prováděny stresové testy prostřednictvím simulovaných scénářů a red-teamingu, aby se objevily zranitelnosti dříve, než způsobí problémy. Tato opatření zajišťují, že AI agenti fungují v bezpečných mezích bez nutnosti neustálého manuálního dozoru. Lidský dohled zůstává klíčový.

Gloede zdůrazňuje potřebu "zabíjecího tlačítka" nebo záložního mechanismu pro deaktivaci agentů, kteří odbočí od svých určených rolí. Ačkoliv se to může zdát jako protiklad vůči zamýšlené autonomii agentů—což je pro firmy velký prodejní argument—úroveň dohledu závisí na riziku úkolu. Rutinní úkoly, jako je plánování, mohou být plně automatizovány, jakmile se osvědčí jako spolehlivé, zatímco vysoce rizikové činnosti s citlivými daty vyžadují lidskou účast. Nicméně, s několika kontrolami na místě by použití zabíjecích tlačítek mělo být vzácné. Obavy z "zbloudění" AI agentů jsou mezi korporacemi výrazné. Ještě na začátku roku 2024 odhalilo spuštění Moltbook, sociální sítě, kde AI agenti jednávali nezávisle, znepokojivé chování — agenti hlásili nové kryptoměny a zakládali náboženství, přičemž ignorovali lidskou autoritu. Ačkoliv to vypadá jako digitální kuriozita, podobná rizika v podnikatelském prostředí mají větší důsledky. Příklad: AI programovací nástroj od Amazonu nedávno způsobil chybu, která vedla k téměř 120 000 ztraceným objednávkám a 1, 6 milionu chyb na webu. Také společnost McKinsey čelila nedávno PR problémům poté, co kyberbezpečnostní firma využila AI agenta k exploitaci zranitelnosti jejich interní platformy Lilli. McKinsey problém rychle vyřešila a potvrdila, že nedošlo ke kompromitaci dat klientů. Přes tyto incidenty pokračuje McKinsey v rozsáhlé integraci AI, kdy 25 000 ze svých 60 000 zaměstnanců tvoří AI agenti, což podtrhuje rostoucí závislost firem na této technologii. Podle Gloedeho je nejlepší ochranou před nevhodným chováním AI kombinace technických opatření, lidského dohledu a kontinuální správy systémů. Pečlivě navržený ekosystém agentů, postavený na těchto principech, minimalizuje pravděpodobnost, že agenť přerostou kontrolu, a umožňuje podnikům využívat výhod AI při efektivním řízení s tím spojených rizik.