Die Entwicklung humanoider Roboter hat sich in den letzten knapp zwei Jahrzehnten langsam fortgesetzt. Dank einer Zusammenarbeit zwischen Figure AI und OpenAI gibt es jedoch eine rasche Beschleunigung auf diesem Gebiet. Das Ergebnis ist ein erstaunliches Video, das den Roboter Figure 01 mit seinem neuen Visual Language Model (VLM) zeigt, das ihn in einen futuristischen Bot verwandelt hat mit Fähigkeiten, die denen von C-3PO nahekommen. Im Video steht Figure 01 hinter einem Tisch mit einem Teller, einem Apfel und einer Tasse, während sich links ein Abtropfer befindet. Ein Mensch steht vor dem Roboter und fragt: "Figure 01, was siehst du gerade?" Nach einigen Momenten antwortet Figure 01 mit einer bemerkenswert menschenähnlichen Stimme (obwohl es kein Gesicht hat) und liefert ausführliche Beschreibungen von allem auf dem Tisch und der Person davor. Beeindruckt dachte ich: "Das ist cool. " Dann fragt die Person: "Hey, kann ich etwas zu essen haben?" Figure 01 antwortet selbstbewusst: "Natürlich" und nimmt geschickt den Apfel auf und reicht ihn der Person. Ich konnte nicht anders als "Wow" auszurufen. Als nächstes leert die Person einige zerknitterte Abfälle aus einem Behälter vor Figure 01 und fragt: "Kannst du erklären, warum du gerade diesen Müll aufgegriffen hast?" Ohne Zeit zu verlieren, erklärt Figure 01 seine Gedanken, während es das Papier zurück in den Behälter legt. "Also, ich habe dir den Apfel gegeben, weil er das einzige essbare Element war, das ich dir vom Tisch geben konnte. " Voller Bewunderung überlegte ich: "Das kann doch nicht echt sein. " Laut Figure AI ist es jedoch tatsächlich echt. Sprach-zu-Sprach-Argumentation spielt eine bedeutende Rolle bei den Fähigkeiten von Figure 01, da es OpenAI's vortrainiertes multimodales Modell VLM nutzt, um Bilder und Texte zu verstehen. Es basiert auf stimmbasierten Gesprächsinteraktionen, um seine Antworten zu formulieren und hebt sich damit von OpenAI's GPT-4 ab, das sich hauptsächlich auf schriftliche Anweisungen konzentriert. Darüber hinaus setzt Figure 01 eine Technik namens "erlernte manipulative Bimanipulation auf niedriger Ebene" ein.

Das System kombiniert präzise Bildkalibrierung mit seinem neuronalen Netzwerk, um seine Bewegungen zu steuern und arbeitet dabei mit einer Genauigkeit im Pixelbereich. Figure AI erklärte: "Diese Netzwerke verarbeiten an Bord aufgenommene Bilder mit einer Frequenz von 10 Hz und erzeugen 24 DOF-Aktionen (Handgelenkpositionen und Fingerwinkel) mit einer Frequenz von 200 Hz. " Figure AI behauptet, dass jedes Verhalten im Video das Ergebnis des Systemlernens ist und dass Figure 01 nicht per Fernbedienung gesteuert wird, was jegliche Vorstellungen einer ferngesteuerten Puppenspielerei ausschließt. Ohne Figure 01 persönlich zu erleben und meine eigenen Fragen zu stellen, ist es schwierig, diese Behauptungen zu überprüfen. Es besteht die Möglichkeit, dass diese Routine von Figure 01 mehrfach geübt wurde. Vielleicht ist dies der hundertste Durchlauf, was seine beeindruckende Geschwindigkeit und Flüssigkeit erklärt. Aber für den Fall, dass dies tatsächlich zu 100% echt ist, muss ich sagen "Wow". Einfach wow.