GoogleDeepMind presentó el viernes el RoboticTransformer2( RT- 2), un innovador modelo de visión, lenguaje y acción( VLA) que aprovecha la información obtenida de Internet para mejorar el control robótico mediante comandos de lenguaje llano con el objetivo de desarrollar robots versátiles capaces de navegar por entornos humanos, como los personajes de ficción Wall- E o C- 3PO. RT- 2 utiliza un modelo de lenguaje amplio, entrenado en el contexto y las imágenes de Internet( similar a ChatGPT), para reconocer patrones y ejecutar acciones, incluso en tareas para las que no ha recibido formación específica. Este concepto, conocido como generalización, permite a RT- 2 realizar tareas como reconocer y desechar basura, basándose en su comprensión de qué es y cómo está dispuesta. La capacidad de generalización de RT- 2 se extiende a la identificación de animales extintos, como demuestra el hecho de que un ingeniero ordene a su robot que" recoja el animal extinto" y que el robot localice con éxito una figurita de dinosaurio entre las tres opciones disponibles. A diferencia de los métodos tradicionales de formación de robots, que se basan únicamente en un conjunto de datos ampliado, el enfoque de RT- 2 aprovecha la capacidad de generalización de los modelos A de transformadores, lo que los hace adaptables a escenarios dinámicos del mundo real. RT- 2 se basa en trabajos anteriores de Google AI, como PaLI- X y PaLM- E, y se entrenó con los datos de su predecesor, RT- 1, recopilados durante 17 meses en un entorno de cocina de oficina con 13 robots.

La arquitectura de RT- 2 consiste en perfeccionar un modelo VLM previamente entrenado con robots y datos web para procesar las imágenes de las cámaras de los robots y sus predicciones. En las evaluaciones de rendimiento, la RT- 2 demostró una eficacia similar a la de la RT- 1 en las tareas para las que fue entrenada( tareas" vistas") y mostró una impresionante tasa de éxito del 62% en escenarios nuevos( no vistos), lo que supone una mejora significativa con respecto al 32% de la RT- 1. Aunque laRT- 2 muestra una capacidad de adaptación notable, Google reconoce sus limitaciones y subraya que la inclusión de datos web mejora la generalización de conceptos visuales importantes, pero no las nuevas capacidades de movimientos físicos que ambos ya han aprendido. A medida que Google DeepMind se esfuerza por crear robots de uso general, se requieren más esfuerzos de investigación y desarrollo.