Seul Elon Musk a fait bande à part. Hormis Tesla, tout le gratin de la robotique humanoïde s’est rassemblé cette semaine autour du CEO de Nvidia Jensen Huang : 1X Technologies, Agility Robotics, Apptronik, Boston Dynamics, Figure AI, Fourier Intelligence, Sanctuary AI, Unitree Robotics et Xpeng Robotics. Il s’agissait de lancer le Projet Gr00t, un modèle de fondation pour les robots humanoïdes, assorti d’un ordinateur fondé sur le system-on-a-chip (SOC) Thor et d’une mise à jour de la plateforme Isaac, consacrée à la robotique autonome.
Le modèle Gr00t est conçu pour permettre aux robots humanoïdes de s’entraîner en observant le monde, tout en comprenant le langage des humains et en imitant leurs mouvements. Les robots pourront ainsi apprendre à naviguer, s'adapter et interagir efficacement avec le monde réel. Ils pourront aussi être reprogrammés facilement, par le geste ou la parole : des instructions en langage naturel ou en vidéo.
L’utilisation de Gr00t pour entraîner un robot. Source : Nvidia.
Gr00t, acronyme de Generalist Robot 00 Technology, s’appuie sur un ordinateur dédié, Jetson Thor, du nom d’un ordinateur miniaturisé à l'extrême (un système sur puce ou SOC) conçu par Nvidia pour les ordinateurs de bord dans les voitures. Le nouveau SOC inclut une GPU basée sur l’architecture Blackwell, d’une puissance de 800 téraflops (lire ci-dessous).
Le modèle a été entraîné grâce à deux logiciels de Nvidia, Isaac Lab pour l’apprentissage par renforcement et Osmo pour l’orchestration du calcul. Isaac Lab est une nouvelle application conçue spécifiquement pour l’exécution en parallèle de milliers de simulations pour l’apprentissage robotique.
Outre Isaac Lab, deux autres nouveaux modules ont été présentés par Nvidia. Isaac Manipulator et Isaac Perceptor sont destinés respectivement à renforcer les bras robotiques et à guider les robots à travers des environnements complexes à l'aide d'algorithmes IA pour la perception 3D et la vision périphérique.
Gr00t fait clairement référence à Groot, un super-héros de Marvel inspiré d’un arbre, présent notamment dans le film Les Gardiens de la galaxie. S’il facilite comme prévu la diffusion de l’IA générative dans la robotique autonome, ses racines s’avéreront bien profondes.
Pour en savoir plus :