NVIDIA presentó GR00T 2 el 9 de noviembre en la Conference on Robot Learning (CoRL) de Austin, Texas: un «modelo mundo-acción» de 2.000 millones de parámetros que aprende habilidades de manipulación fina a partir de video humano en primera persona. Está construido sobre NVIDIA Cosmos y sucede a la serie GR00T N1 de modelos base para robots.
A diferencia de los modelos clásicos de visión-lenguaje-acción, que conectan los fotogramas de la cámara directamente con los movimientos de las articulaciones, GR00T 2 predice los próximos fotogramas de video junto con las próximas acciones del robot en un solo transformador de difusión. Predecir cómo se mueven los objetos y las manos en el espacio de píxeles le permite transferir la intuición física de videos humanos que no llevan ninguna etiqueta de acción de robot.
La escala de entrenamiento es la historia: 402.730 horas de video humano en primera persona, 10.184 horas de demostraciones con pinza manual en 2.897 tareas y 23.500 horas de teleoperación de robots. NVIDIA informa que el modelo completó 40 de 50 tareas evaluadas al menos una vez sin demostraciones específicas de la tarea, con un 71 % de éxito con una demostración por tarea y un 95 % con cinco. Estas cifras son de la empresa.
Junto con el modelo, NVIDIA publicó Human-1M-100K, un subconjunto abierto de 100.000 horas de sus datos de video humano bajo licencia CC BY 4.0, y presentó Isaac Lab 3.0, su framework de código abierto para entrenar robots, ahora con el motor de física Newton y hasta 2,5× el rendimiento de entrenamiento de la versión 2.3 en una prueba de manipulación fina.
Los pesos aún no salen: NVIDIA dice que GR00T 2 y una variante más ligera, GR00T 2 Turbo, se publicarán como código abierto en diciembre, junto con la receta de entrenamiento. Nexuni ya lo prueba para el manejo robótico de la ropa, Foxconn lo aplica a la automatización de la fabricación de servidores y Siemens evalúa casos de uso industriales; todo ello son pruebas y evaluación por ahora, sin ningún despliegue en producción anunciado.