Na konferencji Robot Learning w Monachium Hugging Face i NVIDIA ogłosiły partnerstwo mające na celu postęp w badaniach nad robotyką poprzez integrację ich społeczności open-source. Współpraca ta łączy platformę LeRobot AI firmy Hugging Face z technologiami AI, Omniverse i Isaac Robotics firmy NVIDIA, aby napędzać innowacje w branżach takich jak produkcja, opieka zdrowotna i logistyka. Pojawienie się fizycznej AI, gdzie roboty rozumieją fizyczne środowisko, przekształca różne sektory. Ramy open-source są kluczowe dla ciągłej innowacji w robotyce, ułatwiając procesy szkolenia, symulacji i wnioskowania. Platforma Hugging Face, obsługująca ponad 5 milionów deweloperów, oferuje narzędzia do dostępu i dostrajania wstępnie wytrenowanych modeli. LeRobot, adaptując udane paradygmaty z bibliotek AI Hugging Face, zapewnia zasoby do udostępniania danych, szkolenia modeli i niskokosztowych zestawów manipulatorów. NVIDIA wspiera to poprzez swoją technologię AI i Isaac Lab, które usprawnia przepływy pracy LeRobot. Udostępnianie zbiorów danych i modeli poprzez LeRobot i Isaac Lab tworzy wspólne środowisko danych dla społeczności robotycznej.

Wyzwania fizycznego rozwoju AI, takie jak zbieranie danych dla robotyki, są złagodzone przez Isaac Lab. Platforma ta wykorzystuje symulacje o wysokiej wierności do produkcji rozległych danych szkoleniowych, analogicznych do licznych rzeczywistych doświadczeń. Pomyślne szkolenie symulacyjne informuje o wdrażaniu robotów w rzeczywistym świecie, udoskonalając systemy robotyki z solidnymi wynikami. Udostępniając zasoby na platformie Hugging Face, deweloperzy budują na pracy innych, przyspieszając szybki postęp. Animesh Garg z Georgia Tech podkreśla znaczenie współpracy społeczności w przyspieszaniu innowacji w robotyce zasilanej AI. Przepływ pracy obejmuje zbieranie danych w Isaac Lab, szkolenie polityk z uczeniem przez naśladowanie oraz wdrażanie na rzeczywistych robotach z NVIDIA Jetson. Początkowe działania współpracy wykazały fizyczne ustawienie LeRobot na NVIDIA Jetson Orin Nano, pokazując potencjał połączenia społeczności Hugging Face z sprzętem NVIDIA i symulacją Isaac Lab. Partnerstwo to ma na celu dalsze innowacje w AI dla robotyki, oddziałując na obszary od transportu po logistykę, wykorzystując ekspertyzę NVIDIA w generatywnej AI na obrzeżach i optymalizując wiele modeli AI dzięki silnemu wsparciu społeczności.