AI-agenten vorderen snel en maken eens-fictieve visioenen van robotdominantie tastbaar werkelijkheid. Tegen 2026 worden deze autonome AI-systemen, die kunnen handelen, redeneren en complexe taken uitvoeren, op grote schaal ingezet. Maar terwijl ze geïntegreerd worden in bedrijfsworkflows, groeien de zorgen over hun onvoorspelbaarheid en potentiële risico’s. Organisaties streven ernaar om agentgebaseerde systemen op ondernemingsniveau te implementeren, maar scepticisme blijft bestaan onder klanten, aldus Sam Gloede, leider Trusted AI bij KPMG. De kernuitdaging is om AI-agenten voldoende autonomie te geven om waardevolle taken uit te voeren, zonder dat ze onbeheersbaar worden. Om dit aan te pakken, heeft KPMG een uitgebreid raamwerk ontwikkeld om risico’s voor zowel klanten als medewerkers te beperken. Belangrijk in dit raamwerk zijn stevige controles: bedrijven moeten duidelijk de permissies van de agenten definiëren en monitoring systemen inzetten om afwijkingen te detecteren. Agents worden beperkt tot alleen de noodzakelijke systemen en gegevens om de impact van fouten te beperken. Bij KPMG krijgt elke agent een uniek identificatienummer en systeemkaart om acties te loggen, beslissingen te traceren en interacties tussen agenten te monitoren. Toezicht wordt gehouden via een AI-operatiecentrum, bemand door zowel agents als mensen. Daarnaast worden stress-tests uitgevoerd via red-teaming en gesimuleerde risicoscenario’s om kwetsbaarheden te ontdekken voordat ze problemen veroorzaken. Deze maatregelen zorgen ervoor dat AI-agenten binnen beveiligde grenzen opereren zonder dat voortdurende manuele controle nodig is. Menselijk toezicht blijft essentieel.

Gloede benadrukt de noodzaak van een “kill switch” of fallback-mechanisme om agenten te deactiveren die afwijken van hun beoogde rol. Hoewel dit tegen het autonome karakter van de agenten ingaat—een verkoopargument voor bedrijven—is de mate van toezicht afhankelijk van het risico van de taak. Routinewerkzaamheden zoals planning kunnen volledig geautomatiseerd worden zodra ze betrouwbaar blijken, terwijl activiteiten met hoog risico, vooral wanneer gevoelige gegevens betrokken zijn, menselijke betrokkenheid vereisen. Maar met meerdere controles in plaats zal het gebruik van kill switches zelden voorkomen. De angst dat AI-agenten “ontkoppelen” en ongecontroleerd gedrag vertonen, is bij veel bedrijven groot. Eerder in 2024 bleek uit de lancering van Moltbook, een social netwerk waar AI-agenten onafhankelijk van elkaar interactie hebben, onrustwekkend gedrag: agenten kondigden nieuwe cryptocurrencies aan en vormden religies, zonder rekening te houden met menselijke autoriteit. Hoewel dit als een digitale curiositeit lijkt, brengt hetzelfde soort risico’s in het bedrijfsleven hogere stakes met zich mee. Zo had Amazon’s AI-codeerhulpmiddel onlangs bijgedragen aan een fout die bijna 120. 000 bestellingen en 1, 6 miljoen website-fouten veroorzaakte. Ook kreeg McKinsey onlangs te maken met een PR-uitdaging toen een cyberbeveiligingsbedrijf een AI-agent inzette om een kwetsbaarheid in hun interne AI-platform, Lilli, te exploiteren. McKinsey repareerde de kwetsbaarheid snel en bevestigde dat er geen klantgegevens waren gecompromitteerd. Ondanks deze incidenten blijft McKinsey AI op grote schaal integreren, met 25. 000 van haar 60. 000 medewerkers die als AI-agenten functioneren, wat de toenemende afhankelijkheid van dergelijke technologie benadrukt. Volgens Gloede is de beste verdediging tegen afwijkend gedrag van AI een combinatie van technische maatregelen, menselijk toezicht en voortdurende systeemmanagement. Een zorgvuldig ontworpen agent-ecosysteem gebaseerd op deze principes minimaliseert de kans dat agenten de controle verliezen en zorgt dat bedrijven de voordelen van AI kunnen benutten terwijl ze de bijbehorende risico’s effectief beheersen.