Nvidia a dévoilé de nouveaux outils d'intelligence artificielle et de simulation, améliorant l'apprentissage des robots et le développement des humanoïdes. En tant que plus grande entreprise technologique, évaluée à 3 432 milliards de dollars, Nvidia a présenté ces outils lors de la Conférence sur l'apprentissage des robots à Munich. Ces outils comprennent le cadre d'apprentissage robotique Nvidia Isaac Lab, six workflows d'apprentissage de robots humanoïdes sous le projet GR00T, et de nouveaux outils pour la curation de données vidéo comme le tokenizer Nvidia Cosmos et NeMo Curator pour un traitement vidéo plus rapide. Le tokenizer Cosmos open-source offre une tokenisation visuelle améliorée, fonctionnant jusqu'à 12 fois plus vite que les alternatives actuelles, tandis que NeMo Curator accélère le traitement vidéo jusqu'à sept fois plus rapidement. Nvidia a également publié 23 articles et organisé neuf ateliers liés à l'apprentissage des robots, et s'est associé à Hugging Face pour stimuler la recherche en robotique open-source. Nvidia Isaac Lab est construit sur la plateforme Nvidia Omniverse, soutenant la formation à grande échelle des politiques robotiques pour diverses formes robotisées. Il est adopté par des organisations leaders comme Boston Dynamics et Agility Robotics. Le projet GR00T, axé sur le développement des humanoïdes, offre six workflows avec des plans pour des capacités robotiques complexes.

Ces outils visent à construire des modèles mondiaux pour les représentations d'IA, nécessitant des ressources informatiques significatives et une curation de données de haute qualité. Le tokenizer Cosmos améliore l'efficacité des données vidéo, assurant des reconstructions vidéo de haute qualité et une compression jusqu'à 12 fois plus rapide. Il a été intégré avec succès dans des ensembles de données comme le 1X World Model Challenge. Par ailleurs, NeMo Curator, désormais avec un pipeline de traitement vidéo, optimise la curation des données en gérant les données texte, image et vidéo à grande échelle pour un développement évolutif et efficace. Nvidia Isaac Lab 1. 2 et le tokenizer Cosmos sont désormais disponibles mondialement sur GitHub. Le NeMo Curator pour le traitement vidéo arrive à la fin du mois. De nouveaux workflows pour le projet GR00T seront bientôt publiés pour faire avancer la robotique humanoïde. Des guides de développeur et des tutoriels pour Isaac Lab, y compris un guide de migration depuis Isaac Gym, sont également maintenant accessibles.