Utvecklingen av humanoida robotar har långsamt fortskridit under nästan två årtionden. Dock har det tack vare ett samarbete mellan Figure AI och OpenAI skett en snabb acceleration inom detta område. Resultatet är en fantastisk video som visar upp roboten Figure 01 med sin nya Visual Language Model (VLM), vilket har förvandlat den till en science fiction-liknande robot med förmågor nära de hos C-3PO. I videon placeras Figure 01 bakom ett bord med en tallrik, ett äpple och en kopp, medan en avrinning finns till vänster. En människa står framför roboten och frågar, "Figure 01, vad ser du just nu?" Efter några ögonblick svarar Figure 01 med en anmärkningsvärt mänsklig röst (trots att den inte har något ansikte) och ger detaljerade beskrivningar av allt på bordet och personen framför det. Imponerad tänkte jag, "Det är coolt. " Då frågar personen, "Hej, kan jag få något att äta?" Figure 01 svarar självsäkert, "Självklart, " och plockar skickligt upp äpplet och ger det till personen. Jag kunde inte låta bli att utropa, "Woah. " Nästa steg är att personen tömmer en kantstött papperskorg framför Figure 01 och frågar, "Kan du förklara varför du gjorde det du nyss gjorde när du plockade upp denna skräp?" Utan att slösa någon tid förklarar Figure 01 sitt resonemang samtidigt som det lägger papperet tillbaka i papperskorgen. "Så, jag gav dig äpplet eftersom det är den enda ätbara saken jag kunde erbjuda dig från bordet. " Imponerad funderade jag, "Det här kan inte vara verkligt. " Enligt Figure AI är det dock verklighet. Möjligheten att resonera med ord spelar en betydande roll i Figure 01:s förmågor då den använder OpenAI:s förtränade multimodala modell, VLM, för att förstå bilder och texter.

Den förlitar sig på röstinteraktion för att formulera sina svar, vilket skiljer den från OpenAI:s GPT-4, som främst fokuserar på textbaserade frågor. Vidare använder Figure 01 en teknik som kallas "inlärd lågnivå-bimanuell manipulation. " Systemet kombinerar exakt bildkalibrering med sin neurala nätverk för att kontrollera sina rörelser med pixelnivå noggrannhet. Figure AI förklarade, "Dessa nätverk behandlar bilder ombord med 10 hertz och genererar 24-dimensionella handlingar (handledspositioner och fingerledsvinklar) med 200 hertz. " Figure AI hävdar att varje beteende som visas i videon är resultatet av systeminlärning och att Figure 01 inte styrs av fjärrkontroll, vilket skingrar tanken på att den styrs i hemlighet. Utan att personligen bevittna Figure 01 och ställa mina egna frågor är det svårt att verifiera dessa påståenden. Det finns en möjlighet att denna rutin har övats flera gånger av Figure 01. Kanske är detta den hundrade genomkörningen, vilket förklarar dess imponerande snabbhet och flyt. Men om detta verkligen är 100% verkligt måste jag säga, "Wow. " Bara wow.