Lors de la Conférence sur l'apprentissage robotique à Munich, Hugging Face et NVIDIA ont annoncé un partenariat pour faire progresser la recherche en robotique en intégrant leurs communautés open-source. Cette collaboration combine la plateforme d'IA LeRobot de Hugging Face avec l'IA, Omniverse et la technologie robotique Isaac de NVIDIA pour stimuler les innovations dans des secteurs comme la fabrication, la santé et la logistique. L'avènement de l'IA physique, où les robots comprennent l'environnement physique, transforme divers secteurs. Les frameworks open-source sont essentiels pour une innovation continue en robotique, facilitant les processus de formation, de simulation et d'inférence. La plateforme de Hugging Face, qui dessert plus de 5 millions de développeurs, offre des outils pour accéder et ajuster des modèles pré-entraînés. LeRobot, en adaptant des paradigmes réussis des bibliothèques d'IA de Hugging Face, fournit des ressources pour le partage de données, la formation des modèles et des kits de manipulateurs à faible coût. NVIDIA soutient cela avec sa technologie d'IA et son laboratoire Isaac, qui améliore les flux de travail de LeRobot. Partager des ensembles de données et des modèles via LeRobot et Isaac Lab crée un environnement de données collaboratif pour la communauté robotique.

Les défis du développement de l'IA physique, tels que la collecte de données pour la robotique, sont atténués par Isaac Lab, qui utilise des simulations haute-fidélité pour produire des données d'entraînement étendues, similaires à de nombreuses expériences réelles. La formation par simulation réussie informe le déploiement de robots dans le monde réel, en perfectionnant les systèmes robotisés pour des performances robustes. En partageant des ressources sur Hugging Face, les développeurs s'appuient sur le travail des uns et des autres, favorisant des progrès rapides. Animesh Garg de Georgia Tech souligne l'importance de la collaboration communautaire pour accélérer l'innovation en robotique propulsée par l'IA. Le flux de travail comprend la collecte de données dans Isaac Lab, la formation de politiques avec l'apprentissage par imitation et le déploiement sur de vrais robots avec NVIDIA Jetson. Les premiers efforts de collaboration ont démontré une configuration physique avec LeRobot sur NVIDIA Jetson Orin Nano, montrant le potentiel de la combinaison de la communauté de Hugging Face avec le matériel de NVIDIA et la simulation Isaac Lab. Ce partenariat vise à stimuler davantage d'innovations en IA pour la robotique, en impactant des domaines allant du transport à la logistique grâce à l'expertise de NVIDIA en IA générative en périphérie et à l'optimisation de plusieurs modèles d'IA avec un fort soutien communautaire.