De ontwikkeling van humanoïde robots verloopt al bijna twee decennia langzaam. Dankzij een samenwerking tussen Figure AI en OpenAI is er echter een snelle versnelling in dit vakgebied opgetreden. Het resultaat is een verbazingwekkende video waarin de robot Figure 01 wordt getoond met zijn nieuwe Visuele Taalmodel (VLM), waardoor het een sciencefictionrobot is geworden met capaciteiten die dicht bij die van C-3PO liggen. In de video staat Figure 01 achter een tafel met een bord, een appel en een kopje, terwijl er links een afdruiprek staat. Een mens staat voor de robot en vraagt: "Figure 01, wat zie je nu?" Na enkele momenten antwoordt Figure 01 met een opmerkelijk menselijke stem (ook al heeft het geen gezicht) en geeft gedetailleerde beschrijvingen van alles op de tafel en de persoon ervoor. Onder de indruk dacht ik: "Dat is gaaf. " Vervolgens vraagt de persoon: "Hey, kan ik iets te eten krijgen?" Figure 01 antwoordt zelfverzekerd: "Natuurlijk, " en pakt handig de appel op en geeft deze aan de persoon. Ik kon het niet laten om uit te roepen: "Woah. " Daarna leegt de persoon wat verkreukeld afval uit een prullenbak voor Figure 01 en vraagt: "Kun je uitleggen waarom je zojuist deed wat je deed terwijl je dit afval opruimt?" Zonder tijd te verspillen legt Figure 01 zijn redenering uit terwijl hij het papier terug in de prullenbak plaatst. "Dus, ik gaf je de appel omdat dit het enige eetbare item is dat ik je van de tafel kon geven. " Verbijsterd dacht ik: "Dit kan niet echt zijn. " Echter, volgens Figure AI is het inderdaad echt. Spraak-naar-spraak redenering speelt een belangrijke rol in de mogelijkheden van Figure 01, omdat het OpenAI's vooraf getrainde multimodale model, VLM, gebruikt om afbeeldingen en tekst te begrijpen.

Het vertrouwt op conversatiesteminteracties om zijn antwoorden te formuleren, wat het onderscheidt van OpenAI's GPT-4, dat zich voornamelijk richt op geschreven instructies. Bovendien maakt Figure 01 gebruik van een techniek die "aangeleerde laag-niveau bimanuele manipulatie" wordt genoemd. Het systeem combineert nauwkeurige beeldkalibratie met zijn neurale netwerk om zijn bewegingen te controleren, en werkt met een nauwkeurigheid op pixelniveau. Figure AI verklaarde: "Deze netwerken verwerken beelden aan boord met een frequentie van 10 Hz en genereren acties met 24 vrijheidsgraden (polsposities en vingerkootjeshoeken) met een frequentie van 200 Hz. " Figure AI beweert dat elk gedrag dat in de video wordt getoond het resultaat is van systeemleren en dat Figure 01 niet op afstand wordt bediend, waarmee eventuele veronderstellingen over poppenspel achter de schermen worden uitgesloten. Zonder Figure 01 persoonlijk te hebben gezien en mijn eigen vragen te hebben gesteld, is het moeilijk om deze beweringen te verifiëren. Er bestaat een mogelijkheid dat deze routine meerdere keren door Figure 01 is geoefend. Misschien is dit de honderdste keer dat het is uitgevoerd, wat de indrukwekkende snelheid en vloeiendheid verklaart. Maar als dit inderdaad 100% echt is, moet ik zeggen: "Wow. " Gewoon wow.