NVIDIA a dévoilé GR00T 2 le 9 novembre lors de la Conference on Robot Learning (CoRL) à Austin, au Texas — un « modèle monde-action » de 2 milliards de paramètres qui apprend les gestes de manipulation fins à partir de vidéos humaines en vue subjective. Il est construit sur NVIDIA Cosmos et succède à la série GR00T N1 des modèles de base pour robots.
Contrairement aux modèles vision-langage-action classiques, qui relient directement les images de caméra aux mouvements des articulations, GR00T 2 prédit les prochaines images vidéo avec les prochaines actions du robot dans un seul transformeur de diffusion. Prédire comment les objets et les mains bougent dans l'espace des pixels lui permet de transférer l'intuition physique de vidéos humaines qui ne portent aucune étiquette d'action de robot.
L'échelle d'entraînement est l'histoire : 402 730 heures de vidéo humaine en vue subjective, 10 184 heures de démonstrations de pince manuelle sur 2 897 tâches, et 23 500 heures de téléopération de robots. NVIDIA indique que le modèle a terminé 40 des 50 tâches évaluées au moins une fois sans aucune démonstration propre à la tâche, avec 71 % de réussite pour une démonstration par tâche et 95 % pour cinq. Ces chiffres sont déclarés par l'entreprise.
Avec le modèle, NVIDIA a publié Human-1M-100K, un sous-ensemble ouvert de 100 000 heures de ses données vidéo humaines sous licence CC BY 4.0, et présenté Isaac Lab 3.0, son framework open source d'entraînement de robots, désormais doté du moteur physique Newton et jusqu'à 2,5× le débit d'entraînement de la version 2.3 sur un test de manipulation fine.
Les poids ne sont pas encore sortis : NVIDIA affirme que GR00T 2 et une variante plus légère, GR00T 2 Turbo, seront publiés en open source en décembre, avec la recette d'entraînement. Nexuni le teste déjà pour le traitement robotisé du linge, Foxconn l'applique à l'automatisation de la fabrication de serveurs et Siemens évalue des cas d'usage industriels — tout cela reste du test et de l'évaluation, sans déploiement en production annoncé.