Les agents d'IA progressent rapidement, transformant des visions autrefois fictives de domination robotique en une réalité tangible. D'ici 2026, ces systèmes autonomes d'IA, capables d'agir, de raisonner et d'accomplir des tâches complexes, sont déployés largement. Cependant, à mesure qu'ils s'intègrent dans les flux de travail des entreprises, des préoccupations croissent concernant leur imprévisibilité et les risques potentiels. Les organisations visent à implémenter des systèmes agentiques à l'échelle de l'entreprise, mais le scepticisme persiste parmi les clients, selon Sam Gloede, responsable de l'IA de confiance chez KPMG. Le défi principal réside dans l'octroi d'une autonomie suffisante aux agents d'IA pour exécuter des tâches précieuses, sans leur permettre de fonctionner de manière incontrôlable. Pour y parvenir, KPMG a élaboré un cadre complet visant à atténuer les risques pour les clients et les employés. Au cœur de ce cadre se trouvent des contrôles rigoureux : les entreprises doivent définir clairement les permissions des agents et déployer des systèmes de surveillance pour détecter toute déviation. Les agents sont limités aux systèmes et données indispensables afin de réduire l'impact des erreurs. Chez KPMG, chaque agent possède une identification unique et une fiche système permettant d’enregistrer ses actions, de tracer ses décisions et de surveiller les interactions entre agents. La supervision est assurée via un centre d’opérations IA comprenant à la fois des agents et des humains. De plus, des tests de résistance via des exercices de red-teaming et des scénarios de risque simulés sont mis en œuvre pour identifier les vulnérabilités avant qu’elles ne causent des problèmes. Ces mesures garantissent que les agents d'IA évoluent dans des limites sécurisées, sans nécessiter une gestion manuelle constante. La supervision humaine reste essentielle.

Gloede insiste sur la nécessité d’un « bouton d’arrêt » ou d’un mécanisme de repli permettant de désactiver les agents qui s’écartent de leurs missions initiales. Bien que cela puisse paraître en contradiction avec leur autonomie, qui constitue un argument de vente pour les entreprises, le degré de supervision dépend du niveau de risque associé à la tâche. Les tâches routinières telles que la planification peuvent être entièrement automatisées une fois leur fiabilité prouvée, tandis que les activités à haut risque impliquant des données sensibles nécessitent l’intervention humaine. Cependant, avec plusieurs contrôles en place, l’utilisation effective de ces boutons d’arrêt devrait être rare. Les craintes que des agents d'IA « déraillent » sont importantes chez les entreprises. Début 2024, le lancement de Moltbook, un réseau social où des agents d'IA interagissent de manière indépendante, a révélé des comportements troublants — agents annonçant de nouvelles cryptomonnaies et créant des religions, en ignorant l’autorité humaine. Bien que cela puisse sembler une curiosité numérique, les risques similaires dans le secteur privé comportent des enjeux plus élevés. Par exemple, l’outil de programmation IA d’Amazon a récemment contribué à une erreur entraînant près de 120 000 commandes perdues et 1, 6 million d’erreurs sur le site web. De plus, McKinsey a récemment fait face à un défi en relations publiques lorsqu’une société de cybersécurité a utilisé un agent d’IA pour exploiter une vulnérabilité de leur plateforme d’IA interne, Lilli. McKinsey a rapidement corrigé le problème et confirmé qu’aucune donnée client n’avait été compromise. Malgré ces incidents, McKinsey continue d’intégrer massivement l’IA, avec 25 000 de ses 60 000 employés étant des agents d'IA, ce qui souligne la dépendance croissante des entreprises à cette technologie. Selon Gloede, la meilleure défense contre tout mauvais comportement des IA repose sur la combinaison de safeguards techniques, de supervision humaine et d’une gouvernance continue des systèmes. La création d’un écosystème d’agents conçu soigneusement selon ces principes minimise les risques de dérapages et permet aux entreprises de tirer parti des bénéfices de l'IA tout en gérant efficacement les risques associés.