En ny undersøkelse fra Microsoft-forskere og akademiske partnere fremhever at kunstige intelligens (AI)-agenter drevet av store språkmodeller (LLM-er) utvikler seg til å kontrollere grafiske brukergrensesnitt (GUI-er), og potensielt endrer menneske-programvare-interaksjon. Disse AI-systemene kan nå utføre oppgaver som å klikke på knapper og navigere i apper, og tolke naturlig språk for å utføre kommandoer. Beskrevet som et stort paradigmeskifte, tillater slike "GUI-agenter" brukere å utføre komplekse oppgaver gjennom enkel samtale, og transformerer brukeropplevelsen på tvers av web-navigasjon, mobilapper og skrivebordsautomatisering. Store teknologiselskaper integrerer disse evnene. For eksempel hjelper Microsofts Power Automate og Copilot AI med å automatisere arbeidsflyt og programvarekontroll, mens Anthropics Claude muliggjør webgrensesnitt. Google jobber etter sigende med Project Jarvis, som bruker Chrome for web-oppgaver. Fremveksten av LLM-er, spesielt multimodale, markerer en ny fase i GUI-automatisering, med en betydelig potensiell markedsvekst fra 8, 3 milliarder dollar i 2022 til 68, 9 milliarder dollar innen 2028, ifølge BCC Research.

Denne veksten gjenspeiler bedriftenes press for å gjøre programvare mer tilgjengelig og redusere repeterende oppgaver. Imidlertid gjenstår utfordringer som personvernbekymringer, ytelsesproblemer og sikkerhet før utbredt adopsjon. Tidligere automatiseringsmetoder manglet fleksibilitet for virkelige applikasjoner. Løsninger inkluderer utvikling av effektive lokale modeller, forbedring av sikkerheten og standardisering av evalueringer. Eksperter ser for seg et skifte mot multi-agent-arkitekturer og multimodale evner i GUI-automatisering, som kan gi betydelige produktivitetsøkninger, men som krever nøye vurdering av sikkerhets- og infrastrukturimplikasjoner. Bransjeeksperter spår utbredt bedriftsadopsjon av GUI-automatiseringsagenter innen 2025, med potensielle effektivitetsgevinster og utfordringer knyttet til dataprivacy og jobbinnvirkning. Undersøkelsen understreker et avgjørende øyeblikk for samtale-AI-grensesnitt for å redefinere programvareinteraksjon, avhengig av teknologiske og bedriftsmessige distribusjonsfremskritt. Forskere ser for seg at AI-assistenter blir en integrert del av hvordan vi arbeider med datamaskiner, og håndterer komplekse og dynamiske miljøer effektivt.