Udviklingen af ​​humanoide robotter har skredet langsomt frem i næsten to årtier. Men takket være et samarbejde mellem Figure AI og OpenAI er der sket en hurtig acceleration inden for dette felt. Resultatet er en forbløffende video, der viser Figure 01-robotten med dens nye Visual Language Model (VLM), der har forvandlet den til en sci-fi-bot med evner tæt på dem, som C-3PO har. I videoen er Figure 01 placeret bag et bord med en tallerken, et æble og en kop, mens en afdrypningsbakke er til venstre. En person står foran robotten og spørger: "Figure 01, hvad ser du lige nu?" Efter et par øjeblikke svarer Figure 01 med en bemærkelsesværdigt menneskelignende stemme (selvom den ikke har et ansigt) og giver detaljerede beskrivelser af alt på bordet og personen foran det. Imponeret tænkte jeg, "Det er cool. " Derefter spørger personen: "Hej, kan jeg få noget at spise?" Figure 01 svarer selvsikkert: "Selvfølgelig, " og tager dygtigt æblet og giver det til personen. Jeg kunne ikke lade være med at udbryde: "Woah. " Næste trækker personen noget krøllet affald op fra en skraldespand foran Figure 01 og spørger: "Kan du forklare, hvorfor du gjorde det, du lige gjorde, mens du samler dette affald op?" Uden at spilde tid forklarer Figure 01 sin begrundelse, mens det lægger papiret tilbage i skraldespanden. "Så gav jeg dig æblet, fordi det er det eneste spiselige, jeg kunne give dig fra bordet. " Forbløffet tænkte jeg: "Det kan ikke være rigtigt. " Men ifølge Figure AI er det faktisk rigtigt. Speech-to-speech ræsonnement spiller en væsentlig rolle i Figure 01's evner, da den bruger OpenAI's forududdannede multimodale model, VLM, til at forstå billeder og tekst.

Den er baseret på samtalebaseret stemmeinteraktion for at formulere sine svar, hvilket adskiller den fra OpenAI's GPT-4, der primært fokuserer på skriftlige instruktioner. Desuden benytter Figure 01 en teknik kaldet "learned low-level bimanual manipulation". Systemet kombinerer præcis billedkalibrering med sit neurale netværk for at kontrollere sine bevægelser med en nøjagtighed på pixelniveau. Figure AI har udtalt: "Disse netværk behandler billeder om bord med en hastighed på 10 Hz og genererer 24-DOF handlinger (håndledspositioner og fingerledsvinkler) med 200 Hz. " Figure AI hævder, at enhver adfærd vist i videoen er et resultat af systemets læring og at Figure 01 ikke styres via fjernbetjening, hvilket afviser ethvert indtryk af, at det er en dukkefører bag kulisserne. Uden at personligt have været vidne til Figure 01 og have stillet mine egne spørgsmål, er det svært at verificere disse påstande. Der er en mulighed for, at denne rutine er blevet øvet flere gange af Figure 01. Måske er dette den hundrede gennemkørsel, hvilket kan forklare dens imponerende hastighed og flydende bevægelser. Men hvis det virkelig er 100% ægte, må jeg sige: "Wow. " Bare wow.