Eine neue Umfrage von Microsoft-Forschern und akademischen Partnern hebt hervor, dass künstliche Intelligenz (KI)-Agenten, die von großen Sprachmodellen (LLMs) angetrieben werden, sich dahingehend entwickeln, grafische Benutzeroberflächen (GUIs) zu steuern, was die Interaktion zwischen Mensch und Software potenziell verändern könnte. Diese KI-Systeme können jetzt Aufgaben wie das Klicken von Schaltflächen und das Navigieren durch Apps ausführen, indem sie natürliche Sprache interpretieren, um Befehle zu geben. Diese "GUI-Agenten" werden als bedeutender Paradigmenwechsel beschrieben, der es den Nutzern ermöglicht, komplexe Aufgaben durch einfache Gespräche zu bewältigen, und der die Benutzererfahrung beim Web-Navigieren, bei mobilen Apps und bei der Desktop-Automatisierung revolutioniert. Große Technologiefirmen integrieren diese Fähigkeiten. Beispielsweise helfen Microsofts Power Automate und Copilot AI bei der Automatisierung von Workflows und der Softwaresteuerung, während Anthropics Claude die Web-Interaktion ermöglicht. Berichten zufolge arbeitet Google an Project Jarvis, das Chrome für Webaufgaben nutzt. Der Aufstieg der LLMs, insbesondere der multimodalen, markiert eine neue Phase der GUI-Automatisierung, mit einem prognostizierten signifikanten Marktwachstum von 8, 3 Milliarden Dollar im Jahr 2022 auf 68, 9 Milliarden Dollar bis 2028, laut BCC Research.

Dieses Wachstum spiegelt das Bestreben der Unternehmen wider, Software zugänglicher zu machen und repetitive Aufgaben zu reduzieren. Jedoch bestehen Herausforderungen wie Datenschutzbedenken, Leistungsprobleme und Sicherheit, die vor einer weit verbreiteten Einführung gelöst werden müssen. Frühere Automatisierungsansätze fehlte es an Flexibilität für reale Anwendungen. Lösungen beinhalten die Entwicklung effizienter lokaler Modelle, die Verbesserung der Sicherheit und die Standardisierung von Bewertungen. Experten sehen eine Verschiebung hin zu Multi-Agenten-Architekturen und multimodalen Fähigkeiten in der GUI-Automatisierung, die die Produktivität erheblich steigern könnten, jedoch eine sorgfältige Berücksichtigung von Sicherheits- und Infrastrukturfragen erfordern. Branchenexperten prognostizieren eine weit verbreitete Einführung von GUI-Automatisierungsagenten in Unternehmen bis 2025, mit potenziellen Effizienzgewinnen und Herausforderungen im Hinblick auf Datenschutz und Auswirkungen auf Arbeitsplätze. Die Umfrage unterstreicht einen entscheidenden Moment für konversationelle KI-Schnittstellen, die Interaktion mit Software neu zu definieren, vorbehaltlich technologischer Fortschritte und Entwicklungen in der Einführung durch Unternehmen. Forscher sehen voraus, dass KI-Assistenten integraler Bestandteil unserer Arbeit mit Computern werden, indem sie komplexe und dynamische Umgebungen effizient handhaben.