Umjetna inteligencija (UI) ima sposobnost pronalaženja recepata ili generisanja slika, ali se teško snalazi u fizičkim zadacima poput kačenja umetničkih dela ili kuhanja. Chelsea Finn, inženjerka i istraživačica na Stanfordu, ima za cilj to promijeniti, vjerujući da bi UI mogla donijeti novu eru u robotici. Finn, koja je suosnivačica kompanije koja je predstavila svestranog robota s UI sposobnim za pranje rublja, naglašava potrebu za softverom koji omogućava robotima da funkcionišu inteligentno u različitim scenarijima. Dok napredci poput nedavno prezentovanog robota za pakovanje ručka pod pokroviteljstvom Googlea ilustriraju mogućnosti, istraživačka zajednica je podijeljena u pogledu na to može li generativna UI revolucionirati robotiku kao što je to učinila s online zadacima. Kritičari, poput Kena Goldberga sa UC Berkeleyja, upozoravaju da roboti neće ostvariti svoj potencijal iz naučne fantastike preko noći zbog uključenih kompleksnosti. Istorijski gledano, percepcija robotike često je nadmašivala stvarnost; roboti su izvrsni u kontroliranim, ponavljajućim zadacima, ali se bore u nepredvidivim okruženjima. Finnin laboratorij istražuje rješenja kroz projekat pod nazivom "OpenVLA", koji ima za cilj kreiranje sistema koji kombinuje vid, jezik i akciju, nalik funkcionisanju ljudskog mozga.

Ovaj inovativni pristup omogućava obučavanje robota za izvršavanje zadataka kroz demonstraciju umjesto detaljnog programiranja. Moo Jin Kim sa Stanforda ilustruje ovaj proces, gdje čovjek "manipuliše" robotom koristeći joysticke da mu podučava zadatke kroz ponavljajuću praksu. Kako robot uči iz ovih demonstracija, počinje samostalno replicirati akcije. Physical Intelligence, kompanija koju je suosnovala Finn, nastoji proširiti ovaj model obuke, zamišljajući robote sposobne da se prilagođavaju raznim jednostavnim zadacima poput pravljenja sendviča. Finn tvrdi da bi razvijanje generalističkih sistema moglo biti učinkovitije od specijalizovanih, iako prikupljanje potrebnih podataka za obuku predstavlja izazove. Skeptici poput Kena Goldberga vjeruju da će izgradnja sveobuhvatnog skupa podataka za fizičke zadatke trajati znatno duže nego za chatbote zbog kompleksnosti podataka iz stvarnog svijeta. Slično tome, Pulkit Agrawal sa MIT-a favorizuje simulacije kao način za ubrzanje prikupljanja podataka koje omogućava robotima da ponavljaju praksu u virtuelnim okruženjima, iako takve simulacije često ne uspijevaju uhvatiti nepredvidivu prirodu stvarnog sveta. Dublji problemi također ostaju prisutni, kako naglašava Matthew Johnson-Roberson sa Carnegie Mellon-a, koji vjeruje da roboti moraju rješavati složenije prostorne i vremenske izazove od chatbota, čineći podatke nedovoljnim za precizno izvršenje zadataka. Unatoč skepticizmu, mnogi priznaju da će UI transformisati robotiku. Goldbergova kompanija, Ambi Robotics, razvila je sistem vođen AI koji poboljšava sortiranje paketa, znatno povećavajući efikasnost dok još uvijek zahtijeva tradicionalno programiranje za izvršenje. Iako se Finn slaže da su napredci potrebni, ostaje optimistična u pogledu robota vođenih AI koji će asistirati u sektorima suočenim s nedostatkom radne snage zbog starenja populacije, iako ne predviđa da će ti roboti potpuno zamijeniti ljudski rad za složene zadatke.