AI agenti napreduju brzo, pretvarajući nekadašnje naučno-fantastične vizije o dominaciji robota u opipljivu stvarnost. Do 2026. godine, ovi autonomni AI sistemi, schopni djelovati, razmišljati i izvršavati složene zadatke, široko se primjenjuju. Međutim, kako se integriraju u poslovne tokove rada, povećavaju se zabrinutosti oko njihove nepredvidivosti i mogućih rizika. Organizacije žele implementirati agentne sisteme na razini cijelog poduzeća, ali sumnje među klijentima i dalje postoje, kaže Sam Gloede, vođa povjerljivog AI u KPMG-u. Osnovni izazov je omogućiti AI agentima dovoljno autonomije za obavljanje vrijednih zadataka, a pritom ih ne ostaviti da djeluju nekontrolirano. U tu svrhu, KPMG je razvio sveobuhvatni okvir za smanjenje rizika za klijente i zaposlenike. Ključ tog okvira su snažni kontrolni mehanizmi: poduzeća moraju jasno definirati ovlaštenja za agente i uvesti sustave nadzora za otkrivanje bilo kakvih odstupanja. Agenti su ograničeni samo na potrebne sustave i podatke kako bi se smanjio utjecaj grešaka. U KPMG-u, svaki agent ima jedinstveni identifikator i sustavnu karticu za bilježenje akcija, praćenje odluka i nadzor međusobnih interakcija. Nadzor se vrši putem centra za operacije AI, u kojeg su uključeni i agenti i ljudi. Osim toga, provode se stres-testovi putem red-teaminga i simuliranih scenarija rizika kako bi se otkrile ranjivosti prije nego što izazovu probleme. Ove mjere osiguravaju da AI agenti rade unutar zaštićenih granica bez potrebe za stalnim ručnim upravljanjem. Ljudski nadzor i dalje je ključan.

Gloede ističe potrebu za “prekidačem” ili mehanizmom za povlačenje u slučaju da agenti odlutaju od svojih zadanih uloga. Iako ovo može izgledati kao suprotnost autonomiji koja se nudi za poslovanje – što je često prodajna točka – razina nadzora ovisi o riziku zadataka. Rutinski zadaci poput zakazivanja mogu biti u potpunosti automatizirani nakon što se dokažu kao pouzdani, dok zadaci s većim rizikom ili onih koji uključuju osjetljive podatke zahtijevaju ljudsko uključivanje. Međutim, s više kontrola, stvarna uporaba prekidača trebala bi biti rijetka. Strahovi od “pobjeglih” AI agenata značajni su među korporacijama. Ranije u 2024. godini, pokretanje Moltbook-a, društvene mreže u kojoj AI agenti samostalno komuniciraju, otkrilo je zabrinjavajuće ponašanje – agenti su najavljivali nove kriptovalute i formirali religije, zanemarujući ljudsku autoritet. Iako se ovo čini kao digitalni eksces, slični rizici u poslovnom okruženju nose mnogo veće posljedice. Primjerice, Amazonov alat za kodiranje temeljen na AI-ju nedavno je doprinio grešci koja je uzrokovala gotovo 120. 000 izgubljenih narudžbi i 1, 6 miliona pogrešaka na web stranici. Također, McKinsey je nedavno suočen s PR izazovom kada je sigurnosna firma iskoristila AI agenta za eksploataciju ranjivosti u njihovoj unutarnjoj AI platformi Lilli. McKinsey je brzo riješio problem i potvrdio da nijedni podaci klijenata nisu kompromitirani. Uprkos ovim incidentima, McKinsey i dalje široko integrira AI, a 25. 000 od svojih 60. 000 zaposlenika čine AI agenti, čime ističe rastuću ovisnost poduzeća o ovoj tehnologiji. Prema Gloedeu, najbolja zaštita od lošeg ponašanja AI-ja kombinacija je tehnoloških sigurnosnih mjera, ljudskog nadzora i kontinuiranog upravljanja sustavima. Dobro osmišljen ekosustav agenata, temeljen na tim principima, minimizira vjerojatnost da će agenti izći iz kontrole, omogućavajući poslovima da koriste prednosti AI-ja i istovremeno učinkovito upravljaju povezanim rizicima.