Нове опитування, проведене дослідниками Microsoft та академічними партнерами, підкреслює, що агенти штучного інтелекту (ШІ), керовані великими мовними моделями (LLM), розвиваються в напрямку управління графічними інтерфейсами користувача (GUI), потенційно змінюючи людську взаємодію з програмним забезпеченням. Ці системи ШІ тепер можуть виконувати завдання, такі як натискання кнопок і навігація в додатках, інтерпретуючи природну мову для виконання команд. Охарактеризована як значний зсув парадигми, така технологія «GUI-агентів» дозволяє користувачам виконувати складні завдання через просту розмову, трансформуючи досвід користування у навігації веб-сторінками, мобільними додатками й автоматизації настільних комп’ютерів. Великі технологічні компанії інтегрують ці можливості. Наприклад, Power Automate та Copilot AI від Microsoft допомагають в автоматизації робочих потоків і управлінні програмним забезпеченням, тоді як Claude від Anthropic дозволяє взаємодію з веб-середовищем. Повідомляється, що Google працює над Project Jarvis, використовуючи Chrome для веб-завдань. Поява LLM, особливо мультимодальних, знаменує нову фазу в автоматизації GUI, з значним потенційним зростанням ринку з $8, 3 млрд у 2022 році до $68, 9 млрд до 2028 року, за даними дослідження BCC.

Це зростання відображає прагнення підприємств зробити програмне забезпечення більш доступним і зменшити повторювані завдання. Однак існують виклики, такі як проблеми конфіденційності, продуктивності й безпеки, які залишаються перед широким впровадженням. Раніше підходи до автоматизації бракували гнучкості для реальних застосувань. Рішення включають розробку ефективних локальних моделей, підвищення безпеки та стандартизацію оцінки. Експерти прогнозують зсув у бік багатозадачних архітектур і мультимодальних можливостей в автоматизації GUI, що може значно підвищити продуктивність, але вимагатиме уважного розгляду питань безпеки та інфраструктури. Експерти галузі прогнозують широке впровадження GUI-агентів для автоматизації підприємствами до 2025 року, очікуючи потенційні вигоди в ефективності і виклики, пов’язані з конфіденційністю даних і впливом на робочі місця. Опитування підкреслює визначальний момент для конверсійних інтерфейсів ШІ, щоб переосмислити взаємодію з програмним забезпеченням, очікуючи удосконалення технологій і підприємницького впровадження. Дослідники передбачають, що асистенти ШІ стануть невід’ємною частиною нашої роботи з комп’ютерами, ефективно виконуючи складні і динамічні завдання.