Op de Conference for Robot Learning in München kondigden Hugging Face en NVIDIA een samenwerking aan om robotica-onderzoek te bevorderen door hun open-source gemeenschappen te integreren. Deze samenwerking combineert Hugging Face’s LeRobot AI-platform met NVIDIA's AI, Omniverse en Isaac roboticatechnologie om innovaties te stimuleren in sectoren zoals productie, gezondheidszorg en logistiek. De opkomst van fysieke AI, waarbij robots de fysieke omgeving begrijpen, verandert verschillende sectoren. Open-source frameworks zijn essentieel voor voortdurende innovatie in robotica, doordat ze trainings-, simulatie- en inferentieprocessen faciliteren. Het platform van Hugging Face, dat meer dan vijf miljoen ontwikkelaars bedient, biedt tools voor toegang tot en finetuning van voorgetrainde modellen. LeRobot, dat succesvolle paradigma's uit de AI-bibliotheken van Hugging Face aanpast, biedt middelen voor data-uitwisseling, modeltraining en voordelige manipulator-kits. NVIDIA ondersteunt dit met zijn AI-technologie en Isaac Lab, die de workflows van LeRobot verbeteren. Het delen van datasets en modellen via LeRobot en Isaac Lab creëert een samenwerkende dataomgeving voor de robotica-gemeenschap.

Uitdagingen bij de ontwikkeling van fysieke AI, zoals dataverzameling voor robotica, worden verminderd door Isaac Lab. Dit platform gebruikt hoogwaardige simulaties om uitgebreide trainingsdata te genereren, vergelijkbaar met talloze ervaringen in de echte wereld. Succesvolle simulatie-training informeert de inzet van robots in de echte wereld en verfijnt robotsystemen met sterke prestaties. Door middelen te delen op Hugging Face bouwen ontwikkelaars voort op elkaars werk, wat snelle vooruitgang bevordert. Animesh Garg van Georgia Tech benadrukt het belang van gemeenschappelijke samenwerking in het versnellen van AI-gestuurde innovaties in robotica. De workflow omvat dataverzameling in Isaac Lab, trainingsstrategieën met imitatieleren, en inzet op echte robots met NVIDIA Jetson. Initiële samenwerkingsinspanningen hebben een fysieke opstelling gedemonstreerd met LeRobot op NVIDIA Jetson Orin Nano, waarmee het potentieel van de combinatie van Hugging Face’s gemeenschap met NVIDIA’s hardware en Isaac Lab-simulatie werd getoond. Deze samenwerking streeft naar verdere innovatie in AI voor robotica, met impact op gebieden zoals transport en logistiek door NVIDIA's generatieve AI-expertise aan de rand te benutten en meerdere AI-modellen te optimaliseren met sterke gemeenschappelijke ondersteuning.