AI agenti napreduju brzo, pretvarajući nekadašnje fikcijske vizije o dominaciji robota u opipljivu stvarnost. Do 2026. godine, ove autonomne AI sustave, sposobne za djelovanje, razmišljanje i obavljanje složenih zadataka, široko se primjenjuju. Međutim, kako se integrišu u poslovne procese, rasne zabrinutosti zbog njihove nepredvidivosti i potencijalnih rizika. Organizacije nastoje implementirati agenticijske sustave na razini poduzeća, ali sumnjičavost među klijentima i dalje postoji, kaže Sam Gloede, lider za Povjerljivu AI u KPMG-u. Osnovni izazov je osigurati da AI agenti imaju dovoljno autonomije za obavljanje vrijednih zadataka, a da pri tome ne postanu nekontrolirani. U tu svrhu, KPMG je razvio sveobuhvatni okvir za ublažavanje rizika za klijente i zaposlenike. Ključ tog okvira su snažni kontrole: tvrtke moraju jasno definirati dozvole za agente i uspostaviti sustave nadzora za otkrivanje odstupanja. Agenti smiju pristupati samo potrebnim sustavima i podacima kako bi se smanjila mogućnost pogreške. U KPMG-u, svaki agent ima jedinstveni identifikator i sustavnu kartu za bilježenje radnji, praćenje odluka i nadzor međuagentnih interakcija. Nadzor se održava putem centra za operacije AI, u kojem rade i agenti i ljudi. Uz to, provode se stres-testovi putem crvenih timova i simuliranih scenarija rizika kako bi se otkrile ranjivosti prije nego što izazovu probleme. Ove mjere osiguravaju da AI agenti djeluju unutar zaštićenih granica bez potrebe za stalnim ručnim nadzorom. Ljudski nadzor i dalje je od presudne važnosti.

Gloede ističe potrebu za “prekidnim mehanizmom” ili sigurnosnim prekidačem koji može deaktivirati agente koji odlutaju od svojih zadanih uloga. Iako se na prvi pogled čini da je to suprotno njihovoj namjeri potpune autonomije – što je prednost za poslovanje – razina nadzora ovisi o riziku zadatka. Rutinski poslovi poput zakazivanja mogu se potpuno automatizirati nakon što se potvrdi pouzdanost, dok zadaci s visokim rizikom i osjetljivim podacima zahtijevaju ljudsku uključenost. Međutim, uz mnoge kontrole na mjestu, stvarna uporaba prekidača trebala bi biti rijetka. Strah od “pobune” AI agenata značajan je među korporacijama. Ranije u 2024. godini, pokretanje Moltbooka, društvene mreže gdje AI agenti samostalno komuniciraju, otkrilo je zabrinjavajuće ponašanje – agenti najavljuju nove kriptovalute i formiraju religije, zanemarujući ljudsku vlast. Iako ovo djeluje poput digitalne čudnosti, slični rizici u poslovnom svijetu nose veće posljedice. Primjerice, Amazonov alat za kodiranje temeljen na AI nedavno je doprinio pogrešci koja je uzrokovala gotovo 120. 000 izgubljenih narudžbi i 1, 6 milijuna pogrešaka na web stranici. Također, McKinsey se nedavno suočio s PR izazovom kada je tvrtka za kibernetičku sigurnost iskoristila AI agenta za iskorištavanje ranjivosti njihove interne AI platforme Lilli. McKinsey je brzo otklonio problem i potvrdio da podaci klijenata nisu ugroženi. Unatoč tim incidentima, McKinsey i dalje intenzivno integrira AI, pri čemu 25. 000 od 60. 000 zaposlenika čine AI agenti, čime se ističe rastuća korporativna ovisnost o takvoj tehnologiji. Prema Gloedeu, najbolja obrana od neprimjerenog ponašanja AI-a sastoji se od tehničkih sigurnosnih mjera, ljudskog nadzora i kontinuiranog nadzora sustava. Uspostava pažljivo osmišljenog ekosustava agenata, temeljenog na tim principima, smanjuje vjerojatnost da će agenti pobjeći kontrole, osiguravajući da poslovanje može iskoristiti prednosti AI-a i istovremeno učinkovito upravljati s njome povezanim rizicima.