英伟达公布了一款名为 GR00T 2 的 AI 基础模型,目标是把机器人从费时费力的遥操作训练中解放出来。传统上,教机器人完成新任务需要工程师远程操控机械臂反复演示,这一过程成本高、速度慢,且每换一款机器人就要重新采集数据。GR00T 2 的思路是让模型先“看”人类怎么做,再在内部想象自己作为机器人执行同样动作的画面,从而生成控制指令。
与上一代 GR00T 1 不同,GR00T 2 不再直接根据摄像头图像和语言指令输出电机动作。英伟达将其称为 “世界-动作模型”(WAM):它在计算下一步动作的同时,还会通过扩散方法预测未来一小段视频,例如机械臂抓起物体时摄像头画面应如何变化。这种视频预测能力被认为有助于把同一套动作序列迁移到不同形态的机器人上。
训练数据方面,英伟达使用了超过 1000 块 GB300 芯片的集群,处理了约 40 万小时的视频素材,内容是人们佩戴头戴式摄像头完成各类任务的第一视角录像。当需要教机器人新任务时,研究人员表示,一个人戴上数据手套、专用手部夹爪或手指外骨骼演示步骤即可;这些记录与目标机器人的通用运动数据结合后,AI 会在视频预测中把人的手臂替换为机械臂,并推导出相应的控制命令。
在实验室测试中,一台带五指手的机器人以这种方式学会了点蜡烛、切香蕉、把包裹抛上传送带等任务,且没有针对这些任务进行过遥操作训练。不过,成功率因任务而异,从 10% 到 80% 不等。系统还能仅凭一段人手动作视频,在计算机模拟中学会钉钉子。对于模型在少量示例后已表现较好的 50 个选定任务,不到 3 分钟的常规训练就能把成功率从 40% 提升到 95%。
对于更长的装配工作,英伟达将 GR00T 2 与一个更高层的 AI 语言模型配合使用,例如 OpenAI 的 GPT-6 Astra。GR00T 2 负责抓取动作,语言模型则把任务拆解成步骤、在摄像头图像中给抓取点标色,并在零件掉落时启动辅助程序。在桌面上随意摆放玩具模型零件的测试中,组合系统在至少 97% 的试验中完成了组装;而没有纠正性语言模型和额外微调时,玩具车组装在 100 次尝试中仅成功 23 次。团队还通过真机上的反复试错,训练了插网线、插充电器等精细任务。
针对双足机器人,英伟达开发了精简版 GR00T 2 Turbo,它处理的图像细节更少,可直接运行在人形机器人的 Jetson Thor 车载计算机上。测试中,机器能够舀爆米花、清理桌面,并用脚下的毛巾擦拭液体,但擦液体这项任务的成功率略低于一半。
研究团队也指出了系统投入可靠实际应用前的显著障碍。模型尚不能处理直接的触觉传感器数据,有时会漏掉半拧螺丝这类细微错误。高层语言模型还会明显拖慢速度:在垃圾分类任务中,机器人约有 三分之一 的时间处于闲置,因为平均要等待超过 7 秒才能得到规划模型的下一次计算。
从行业视角看,GR00T 2 代表了一条与遥操作并行的机器人数据路线——用海量人类视频降低任务示教成本。其价值在于泛化潜力,但当前成功率波动大、触觉缺失和规划延迟等问题,说明从实验室演示到稳定商用仍有距离。其他实验室也在探索减少遥操作的训练方法,这一方向的竞争正在升温。