GoogleDeepMind представила в пятницу роботов- трансформеров RT- 2. Эта революционная модель, основанная на использовании языка видения и действия( VLA), использует собранные в Интернете данные для усиления управления роботами с помощью простых языковых команд. Задача заключается в разработке роботов- версатилеров, способных ориентироваться в человеческой среде, подобно таким персонажам, как WALL- E или C- 3PO. RT- 2 использует широкую языковую модель, обученную на основе контекста и изображений, полученных из сети( подобно ChatGPT), для распознавания шаблонов и выполнения действий, даже для тех задач, которым он не был специально обучен. Это понятие, известное как генерализация, позволяет RT- 2 выполнять такие задачи, как распознавание и удаление мусора, основываясь на своем понимании того, что такое мусор и как он стилистически располагается. Способность RT- 2 к обобщению распространяется и на идентификацию вымерших животных, примером чего может служить инструкция инженера роботу" Pickuptheextinctanimal", а также успешное определение местонахождения динозавра среди трех доступных вариантов. В отличие от традиционных методов обучения роботов, которые опираются только на расширенный набор данных, подход RT- 2 использует способность трансформеровAImodels к обобщению, что делает его адаптируемым к динамическим сценариям реального мира. RT- 2 опирается на предыдущие работы GoogleAI, включая PaLI- X и PaLM- E, и обучается на основе данных, полученных от своего предшественника RT- 1, собранных за 17 месяцев в условиях офисной кухни с использованием 13 роботов.

Архитектура RT- 2 предполагает тонкую настройку предварительно обученной модели VLM на роботах и веб- данные для обработки изображений с камер роботов и прогнозируемых действий. Действия представлены в виде токенов, аналогичных токенам языка, что позволяет роботу выполнять действия. В ходе оценки эффективности RT- 2 продемонстрировал схожую с RT- 1 эффективность в решении задач, для которых он был обучен( видимые задачи), и показал впечатляющий уровень успешности в 62% в новых сценариях( невидимые), что значительно выше, чем у RT- 1( 32%). Несмотря на то, что система RT- 2 демонстрирует выдающиеся способности к адаптации, Google признает ее недостатки, подчеркивая, что включение веб- данных улучшает обобщение существенных визуальных понятий, но не устраняет новые возможности физических движений, которым роботы еще не научились. Поскольку компания GoogleDeepMind стремится к созданию роботов общего назначения, необходимы дальнейшие исследования и разработки. Тем не менее, RT- 2 представляет собой важную веху в этом направлении.