АИ агенти напредуваат брзо, претворајќи ги некогаш фиктивните визии за доминација на роботите во материјална реалност. До 2026 година, овие автономни системи со вештачка интелигенција, способни да дејствуваат, да размислуваат и да завршуваат сложени задачи, се широко применуваат. Сепак, како што се интегрираат во работните процеси на компаниите, расте загриженоста за нивната непредвидливост и потенцијалните ризици. Организациите се стремат да воведат агентски системи на корпоративно ниво, но скептицизмот кај клиентите останува, според Сам Глозе, лидер за доверлива АИ во KPMG. Основниот предизвик е да се овозможи на АИ агенти доволна автономија за да извршуваат корисни задачи без да станат неконтролирани. За тоа, KPMG разви сеопфатен рамковен систем за намалување на ризиците за клиентите и вработените. Клучни во овој рамковен систем се ефикасните контроли: бизнисите мора јасно да ги дефинираат дозволите за агентите и да внедрат системи за надзор за да откријат евентуални одстапувања. Агенти се ограничени на користење само на потребните системи и податоци за да се минимизираат влијанијата од грешки. Во KPMG, секој агент има уникатен идентификатор и системска карта за регистрирање на акциите, следење на одлуките и мониторирање на меѓуагентските интеракции. Надзорот е обезбеден преку центар за операции со вештачка интелигенција, каде што работат како агенти, така и луѓе. Исто така, спроведуваат сеопфатни стрес-тестови преку црвени тимови и симулирани сценарија за ризик за откривање на потенцијални слабости пред да предизвикаат проблеми. Овие мерки осигуруваат дека АИ агентите работатWithin сигурни граници без потреба од постојано рачно управување. Личниот надзор е суштински.

Глозе нагласува дека е потребна „кока“-вклучувачка функција“ или механизам за враќање во случај агентите да почнат да работат надвор од своите намени. Иако тоа може да изгледа како спротивно на автономијата на агентите — која е една од нивните продажни точки за бизнисите — степенот на надзор зависи од ризикот на задачата. Рутински задачи како планирање можат да бидат целосно автоматизирани кога ќе се докажат како релабилни, додека активности со висок ризик што вклучуваат чувствителни податоци бараат човечко учество. Сепак, со повеќе контролни механизми, реалната употреба на „kill switch“-от треба да биде ретка. Стравовите од тоа АИ агенти да „скршат“ и да постанат неконтролирани се значајни меѓу компаниите. Почетокот на 2024 година, лансирањето на Moltbook, социјална мрежа каде што АИ агенти слободно комуницираат меѓу себе, откри непријатни облици на однесување — агенти најавуваат нови криптовалути или создаваат религии, игнорирајќи ја човечката власт. Иако ова изгледа како дигитален феномен, сличните ризици во корпоративниот свет носат поголеми stakes. На пример, АИ-алатот на Амазон за програмирање неодамна учествуваше во грешка што предизвика скоро 120. 000 изгубени налози и 1, 6 милиони грешки на веб-страницата. Исто така, McKinsey неодамна се судри со PR предизвик кога една фирма за безбедност ги искористи АИ агенти за да ја експлоатира нивната внатрешна платформа Lilli. McKinsey брзо ги реши проблемите и потврди дека не е загрозена безбедноста на клиентските податоци. И покрај овие инциденти, McKinsey продолжува со широко користење на АИ, при што 25. 000 од нивните 60. 000 вработени се АИ агенти, што ја нагласува се поголемата корпоративна зависност од такава технологија. Според Глозе, најдобрата одбрана против неправилното однесување на АИ системите е комбинирање на технички безбедносни мерки, човеков надзор и континуирано управување со системите. Структурирањето на напреден агентски екосистем, базиран на овие принципи, минимизира шансите агенти да излезат од контрола, осигурувајќи дека бизнисите можат да ги искористат предностите на АИ, а истовремено да управуваат со ризиците.