O desenvolvimento de robôs humanoides tem progredido lentamente há quase duas décadas. No entanto, graças a uma colaboração entre Figure AI e OpenAI, houve uma aceleração rápida nesse campo. O resultado é um vídeo impressionante que apresenta o robô Figure 01 com seu novo Modelo de Linguagem Visual (VLM), que o transformou em um robô de ficção científica com capacidades próximas às de C-3PO. No vídeo, o Figure 01 está posicionado atrás de uma mesa com um prato, uma maçã e uma xícara, enquanto um escorredor está à esquerda. Uma pessoa fica em frente ao robô e pergunta: "Figure 01, o que você está vendo agora?" Após alguns momentos, o Figure 01 responde com uma voz surpreendentemente semelhante à humana (apesar de não ter um rosto) e fornece descrições detalhadas de tudo na mesa e da pessoa em frente a ela. Impressionado, penso: "Isso é legal. " Em seguida, a pessoa pergunta: "Ei, posso comer alguma coisa?" O Figure 01 responde confiantemente: "Claro", e habilmente pega a maçã, entregando-a à pessoa. Não pude deixar de exclamar: "Uau. " Em seguida, a pessoa despeja alguns detritos amassados de uma lixeira na frente do Figure 01 enquanto pergunta: "Você pode explicar por que você fez o que acabou de fazer enquanto pega esse lixo?" Sem perder tempo, o Figure 01 explica seu raciocínio enquanto coloca o papel de volta na lixeira. "Então, eu te dei a maçã porque é o único item comestível que eu poderia fornecer da mesa. " Maravilhado, penso: "Isso não pode ser real. " No entanto, de acordo com a Figure AI, é realmente real. O raciocínio de fala para fala desempenha um papel significativo nas habilidades do Figure 01, pois ele utiliza o modelo multimodal pré-treinado da OpenAI, o VLM, para compreender imagens e textos. Ele depende de interações de voz em conversação para formular suas respostas, diferenciando-o do GPT-4 da OpenAI, que se concentra principalmente em estímulos escritos. Além disso, o Figure 01 emprega uma técnica chamada "manipulação bimanual de baixo nível aprendida".

O sistema combina calibração precisa da imagem com sua rede neural para controlar seus movimentos, operando com uma precisão ao nível dos pixels. A Figure AI afirmou: "Essas redes processam imagens internas a 10hz e geram ações de 24 graus de liberdade (poses do pulso e ângulos das articulações dos dedos) a 200hz". A Figure AI afirma que todo comportamento exibido no vídeo é resultado do aprendizado do sistema e que o Figure 01 não é controlado por controle remoto, dissipando quaisquer noções de que ele seja manipulado nos bastidores. Sem testemunhar pessoalmente o Figure 01 e fazer minhas próprias perguntas, é difícil verificar essas afirmações. Existe a possibilidade de essa rotina ter sido praticada várias vezes pelo Figure 01. Talvez esta seja a centésima vez, o que explica sua velocidade e fluidez impressionantes. Mas, caso isso seja realmente 100% real, devo dizer: "Uau". Só wow.