Une nouvelle étude menée par des chercheurs de Microsoft et des partenaires académiques souligne que les agents d'intelligence artificielle (IA) basés sur de grands modèles de langage (LLM) évoluent pour contrôler les interfaces graphiques utilisateur (GUI), ce qui pourrait modifier l'interaction homme-logiciel. Ces systèmes d'IA peuvent désormais accomplir des tâches telles que cliquer sur des boutons et naviguer dans des applications, en interprétant le langage naturel pour exécuter des commandes. Décrits comme un changement de paradigme majeur, ces "agents GUI" permettent aux utilisateurs d'effectuer des tâches complexes par simple conversation, transformant l'expérience utilisateur dans la navigation web, les applications mobiles et l'automatisation de bureau. Les grandes entreprises technologiques intègrent ces capacités. Par exemple, Power Automate et Copilot AI de Microsoft aident à automatiser les flux de travail et le contrôle des logiciels, tandis que Claude d'Anthropic permet l'interfaçage web. Google travaillerait sur le projet Jarvis, utilisant Chrome pour des tâches web. L'essor des LLM, notamment les modèles multimodaux, marque une nouvelle phase dans l'automatisation des GUI, avec une croissance potentielle significative du marché, passant de 8, 3 milliards de dollars en 2022 à 68, 9 milliards de dollars d'ici 2028, selon BCC Research.

Cette croissance reflète l'effort des entreprises pour rendre les logiciels plus accessibles et réduire les tâches répétitives. Cependant, des défis comme les préoccupations en matière de confidentialité, les problèmes de performance et de sécurité subsistent avant une adoption généralisée. Les approches d'automatisation antérieures manquaient de flexibilité pour les applications réelles. Les solutions incluent le développement de modèles locaux efficaces, l'amélioration de la sécurité et la standardisation des évaluations. Les experts prévoient un passage vers des architectures multi-agents et des capacités multimodales dans l'automatisation des GUI, ce qui pourrait considérablement stimuler la productivité, mais nécessitera une attention particulière quant à la sécurité et aux implications sur les infrastructures. Les experts de l'industrie prédisent une adoption généralisée par les entreprises des agents d'automatisation GUI d'ici 2025, avec des gains potentiels d'efficacité et des défis concernant la confidentialité des données et l'impact sur l'emploi. L'enquête souligne un moment crucial pour que les interfaces conversationnelles d'IA redéfinissent l'interaction avec les logiciels, sous réserve d'avancées technologiques et de déploiement en entreprise. Les chercheurs envisagent que les assistants IA deviennent essentiels à notre manière de travailler avec les ordinateurs, gérant efficacement des environnements complexes et dynamiques.