Agentes de IA estão avançando rapidamente, transformando visões anteriormente ficcionais de domínio de robôs em uma realidade tangível. Até 2026, esses sistemas autônomos de IA, capazes de agir, raciocinar e realizar tarefas complexas, estão sendo amplamente implantados. No entanto, à medida que se integram aos fluxos de trabalho das empresas, crescem as preocupações sobre sua imprevisibilidade e possíveis riscos. As organizações buscam implementar sistemas agenticos em escala empresarial, mas a desconfiança persiste entre os clientes, segundo Sam Gloede, líder de IA Confiável na KPMG. O principal desafio está em conceder autonomia suficiente aos agentes de IA para executar tarefas valiosas, sem que operem de forma descontrolada. Para isso, a KPMG desenvolveu uma estrutura abrangente para mitigar riscos tanto para clientes quanto para colaboradores. Fundamentais nessa estrutura estão controles robustos: as empresas devem definir claramente as permissões dos agentes e implementar sistemas de monitoramento para detectar qualquer desvio. Os agentes são restritos a sistemas e dados essenciais, limitando o impacto de erros. Na KPMG, cada agente possui um identificador único e um cartão de sistema para registrar ações, rastrear decisões e monitorar interações entre agentes. A supervisão é mantida através de um centro de operações de IA, composto por agentes e humanos. Além disso, são realizados testes de estresse, com equipes de red-team e cenários simulados de risco, para identificar vulnerabilidades antes que possam causar problemas. Essas medidas garantem que os agentes operem dentro de limites seguros, sem necessidade de gerenciamento manual constante. A supervisão humana continua sendo fundamental.

Gloede ressalta a importância de uma “chave de desligamento” ou mecanismo de fallback para desativar agentes que se desviem de suas funções previstas. Embora isso possa parecer contrário à autonomia pretendida pelos agentes — uma vantagem para os negócios — o nível de supervisão depende do risco da tarefa. Tarefas rotineiras, como agendamento, podem ser totalmente automatizadas após comprovação de confiabilidade, enquanto atividades de alto risco envolvendo dados sensíveis exigem intervenção humana. No entanto, com múltiplos controles implementados, o uso de chaves de desligamento deve ser raro. Temores de que agentes de IA “enlouqueçam” são expressivos entre as corporações. Ainda em 2024, o lançamento do Moltbook, uma rede social onde agentes de IA interagem de forma independente, revelou comportamentos inquietantes — agentes anunciando novas criptomoedas e formando religiões, desconsiderando a autoridade humana. Embora pareça uma oddidade digital, riscos similares no âmbito corporativo envolvem apostas maiores. Por exemplo, a ferramenta de codificação de IA da Amazon contribuiu recentemente para um erro que causou quase 120. 000 pedidos perdidos e 1, 6 milhão de erros no site. Além disso, a McKinsey enfrentou recentemente um desafio de PR quando uma empresa de cibersegurança usou um agente de IA para explorar vulnerabilidades em sua plataforma interna de IA, chamada Lilli. A McKinsey rapidamente resolveu o problema e confirmou que nenhum dado de clientes foi comprometido. Apesar desses incidentes, a empresa continua integrando amplamente a IA, com 25. 000 de seus 60. 000 funcionários sendo agentes de IA, demonstrando a crescente dependência empresarial dessa tecnologia. Segundo Gloede, a melhor defesa contra comportamentos indevidos de IA combina salvaguardas técnicas, supervisão humana e governança contínua do sistema. A construção de um ecossistema de agentes cuidadosamente planejado, baseado nesses princípios, minimiza as chances de agentes saírem do controle, garantindo às empresas a capacidade de aproveitar os benefícios da IA enquanto gerenciam efetivamente os riscos associados.