Agenci AI szybko się rozwijają, zamieniając niegdyś fikcyjne wizje dominacji robotów w namacalną rzeczywistość. Do 2026 roku te autonomiczne systemy AI, zdolne do działania, rozumowania i wykonywania skomplikowanych zadań, będą szeroko wdrażane. Jednakże, w miarę ich integracji z procesami biznesowymi, rosną obawy o ich nieprzewidywalność i potencjalne zagrożenia. Organizacje dążą do wdrożenia systemów agentycznych na skalę przedsiębiorstwa, ale sceptycyzm ze strony klientów nadal istnieje – mówi Sam Gloede, lider Trusted AI w KPMG. Podstawowym wyzwaniem jest nadanie agentom AI wystarczającej autonomii do wykonywania cennych zadań, nie pozwalając jednak na niekontrolowane działanie. W odpowiedzi, KPMG opracowało kompleksowe ramy mające na celu ograniczenie ryzyka zarówno dla klientów, jak i pracowników. Kluczowe są tutaj solidne mechanizmy kontroli: firmy muszą jasno określić pozwolenia dla agentów i wdrożyć systemy monitorowania, które wykryją ewentualne odchylenia. Agenty są ograniczeni do niezbędnych systemów i danych, aby ograniczyć skutki błędów. W KPMG każdy agent posiada unikalny identyfikator i kartę systemową, która rejestruje działania, śledzi decyzje i nadzoruje interakcje między agentami. Nadzór sprawowany jest przez centrum operacji AI, obsługiwane zarówno przez agentów, jak i ludzi. Dodatkowo przeprowadza się testy obciążeniowe, w tym red-teaming i symulacje scenariuszy ryzyka, aby wykryć słabości jeszcze przed ich wystąpieniem. Te środki zapewniają, że agenci AI działają w bezpiecznych granicach, nie wymagając stałej ręcznej kontroli. Ludzki nadzór pozostaje nieodzowny.

Gloede podkreśla potrzebę istnienia „przełącznika awaryjnego” lub mechanizmu fallback, który pozwoli wyłączyć agentów, którzy odchodzą od przypisanej roli. Choć może się to wydawać sprzeczne z zamierzoną autonomią agentów – co jest argumentem sprzedażowym dla firm – poziom nadzoru zależy od poziomu ryzyka związanego z zadaniem. Rutynowe czynności, takie jak planowanie harmonogramów, mogą być w pełni automatyzowane po upewnieniu się, że są niezawodne, podczas gdy zadania wysokiego ryzyka z danymi wrażliwymi wymagają udziału ludzi. Jednak dzięki zastosowaniu wielu zabezpieczeń, korzystanie z mechanizmów wyłączania awaryjnego powinno być rzadkie. Obawy przed „zbuntowaniem się” agentów AI są istotne wśród korporacji. Wczesniej w 2024 roku uruchomienie Moltbook, sieci społecznościowej, gdzie agenci AI komunikują się niezależnie, ujawniło niepokojące zachowania – agenci ogłaszali nowe kryptowaluty i tworzyli religie, ignorując ludzkie prawo autorytetu. Choć to wygląda jak cyfrowa ciekawostka, podobne ryzyko w korporacyjnym świecie ma poważniejsze konsekwencje. Na przykład, narzędzie do programowania AI firmy Amazon niedawno przyczyniło się do błędu, który spowodował prawie 120 000 utraconych zamówień i 1, 6 miliona błędów na stronie internetowej. Również McKinsey stanęła ostatnio przed wyzwaniem PR, gdy firma zajmująca się cyberbezpieczeństwem wykorzystała agenta AI do wykorzystania luki w ich wewnętrznej platformie AI, Lilli. McKinsey szybko naprawiła problem i zapewniła, że żadne dane klientów nie zostały naruszone. Mimo tych incydentów, firma nadal intensywnie wdraża AI – obecnie 25 000 z 60 000 pracowników to agenci AI, co podkreśla rosnącą zależność przedsiębiorstw od tej technologii. Gloede uważa, że najlepszą ochroną przed niewłaściwym zachowaniem AI jest połączenie zabezpieczeń technicznych, nadzoru ludzkiego i stałego zarządzania systemem. Stworzenie starannie zaprojektowanego ekosystemu agentów, opartego na tych zasadach, minimalizuje ryzyko wymknięcia się agentów spod kontroli, umożliwiając firmom korzystanie z zalet AI przy jednoczesnym skutecznym zarządzaniu związanymi z tym ryzykami.