11月9日,英伟达在奥斯汀机器人学习大会CoRL上发布GR00T 2。官方测试显示,双手机器人在50项未提供目标机器人示范的任务中,仅靠预训练平均成功率达到40%;每项任务补充五次示范并微调后,成功率提升至95%。这些任务此前出现在人类视频或其他机器人数据中,如今开始能迁移到新的机器人身体上。
GR00T 2延续了今年2月DreamZero探索的世界动作模型(WAM)路线:让模型同时预测未来画面和机器人动作,把“世界接下来会怎样变化”纳入动作学习。此次发布进一步将人类视频、手持采集设备和多种机器人数据放进同一套训练流程,并通过少量示范和强化学习提高操作精度与可靠性。在系统分工上,上层推理智能体负责任务拆解、进度检查和异常处理,通过接口调用GR00T 2;后者负责需要持续视觉反馈和精细控制的物理操作。
WAM路线的讨论因此有了更多现实参照。DreamZero第一作者Seonghyeon Ye当初看重的是视频模型能否赋予机器人未专门示范过的动作能力。八个多月后,沿此路线发展的模型开始处理更复杂任务,研究者也必须进一步决定:预测未来的哪些部分最有用、哪些计算可以省掉、哪些经验仍需从真实操作中补回来。这些问题也出现在本届CoRL议程上:11月12日的“机器人需要世界模型吗?”工作坊将讨论显式预测与端到端策略的边界;另一场由Ye参与组织的Scaling H2R则追问人类数据如何扩大才有效。
Ye同时是DreamZero的第一作者和项目负责人之一,也是近期DreamFree的共同作者。DreamFree的思路是将未来知识蒸馏到模型表征中,在执行时省去未来视频生成步骤。他相信世界建模的重要性,也在研究这种能力能否以另一种形式保留。接受采访时,Ye先说明DreamZero是其在英伟达的实习项目,实习结束后他已离开,没有参与GR00T 2,也不了解公司高层规划。他认可此次发布的进展,尤其关心如何在精细操作中保住泛化能力,但对WAM如何继续发展,他认为尚无确定答案。
Ye解释转向世界模型的动机时举了黑猩猩的例子:它们不懂人类语言,却能操作物体并预判变化。这让他怀疑,以视觉语言模型为起点再教模型输出动作,是否就是机器人操作最合适的学习方式。许多视觉语言动作模型(VLA)从视觉语言模型继承识别物体、理解指令和语义关系的能力,有助于机器人知道操作哪个对象,但一种此前没练过的动作,还需要关于运动和物体变化的经验。Ye希望模型在学习控制时就把这些变化一并学进去。
这一想法早于DreamZero。他参与的LAPA从视频前后帧变化中学习“潜在动作”,再用带动作标签的机器人数据接到实际控制上。对Ye来说,其重要性在于模型可以借助预测世界变化的目标,从没有机器人动作标注的视频中学习。视频生成模型提供了更直接的起点:这类模型在大规模视频中学习物体和场景如何变化,已积累可迁移经验。2025年的DreamGen将视频模型适配到机器人领域,生成新行为与场景,再从视频中提取动作信息扩充策略训练数据。Ye回忆,团队在这一阶段看到视频模型的泛化能力,于是提出下一步:既然它能生成机器人执行新任务的过程,能否直接把它变成策略?
2月17日发布的DreamZero沿着这个问题向前走了一步。团队以140亿参数的视频模型为基础,让视频生成与动作学习进入同一个模型,训练时既要预测场景变化,也要预测对应的控制动作。未来预测本身参与了策略的学习与执行。Ye表示,如果有机会重做DreamZero,他仍会作同样选择,因为那是到达目标最快的路径。
这项研究面对的一个实际问题是机器人数据如何采集。在有限采集时间里,同一任务重复多次,还是让机器人尽量接触不同物品、环境和操作,会得到很不一样的数据。前者更容易把某个动作练准,后者才有机会覆盖训练任务以外的变化。Ye说,DreamZero团队在微调时花了很多心思增加多样性,希望保住视频基座已有能力,让模型接触更多变化。在他看来,追求新任务能力需要从采集阶段就作出选择,不能等模型训练完再要求它自行补出缺少的经验。
DreamZero在AgiBot上的一组测试说明了团队希望得到的收益。在包括解鞋带、握手等动作的十项未见任务中,其平均任务进度为39.5%,对照的预训练VLA为16.3%。论文还记录到,一些VLA面对不同指令仍倾向于伸向物体、尝试抓取,沿用训练中常见动作。这里比较的是任务完成到哪一步,并非完整任务成功率。这组结果也保留了DreamZero当时的位置:它展示出对新动作更好的尝试能力,同时仍有大量未完成任务。
当被问及如果模型预测杯子能被拿起来、配套动作却没做到,问题该归到未来预测、动作生成还是两者连接时,Ye的观察有些出乎提问预设。团队做了大量rollout,发现视频与动作之间的对齐相当好,联合学习这种对应关系也没有想象中困难。但视频预测失败时,动作往往也失败;几乎没有看到动作成功、视频预测却失败的情况。Ye据此判断,DreamZero的主要瓶颈在未来预测,改进能预测物理变化的基座模型应能进一步改善策略。
今年3月20日,Ye曾在RoboPapers节目中介绍DreamZero。此次采访中,他坦言已不完全记得当时回答的上下文,但有一点仍明确:他仍然认为世界建模很重要,不过它不一定就是原始的像素生成。DreamZero借用了现成视频模型的预训练能力,也接下了视频生成的工作量,要处理未来画面中的物体、位置、运动和大量视觉细节。对于视频产品,画面真实、自然、好看都是目标;对于控制机器人,最需要的是正确理解物理变化。两者有重合,却未必需要同样的训练目标和计算分配。
让视频生成跟上机器人动作本身就是繁重工作。DreamZero论文记录,团队通过系统、实现和模型层面的优化,将GB200配置下的推理延迟从约5.7秒降到约150毫秒,才使这个大模型能以约7 Hz进行闭环控制。Ye认为,做操作并不需要那么好看、逼真的视频,真正需要的是正确理解世界,比如物理这类东西。长期看,最优基座可能应专门面向机器人操作,而不只是从追求画面效果的视频生成模型出发再微调到机器人上。这不等于否定此前选择:现成视频模型让团队很快获得可用的先验,DreamZero又证明这种先验能转化为动作能力。现在更值得研究的是,这些知识以什么形式留在模型里才能最有效服务于控制。
3月公开的Fast-WAM已把问题拆开做过一次实验。它在训练中保留视频与动作的联合学习,推理时跳过未来视频生成;研究者发现,省去推理时的视频生成后模型仍有竞争力,而去掉训练阶段的视频学习,性能下降更明显。这使得一种可能性值得认真对待:未来预测的重要收益,可能在训练中就已进入模型表征。Ye参与的DreamFree进一步沿着表征去做。训练时,一个冻结的视频教师模型能看到当前和未来画面;另一个编码器学习仅凭当前观测也提取出接近教师、包含未来信息的表征。随后,动作模块再从这些表征中学习控制。这种训练利用了未来,但部署时不再要求模型逐帧生成未来。DreamFree在项目报告配置下,用单张H200运行140亿参数视频基座,达到约11 Hz的推理速度。
Ye用“表征对齐”概括DreamZero与DreamFree之间的联系。DreamZero对下一状态做显式监督,让模型学习世界接下来应该是什么样;DreamFree则通过蒸馏把相关知识压进模型内部。两项工作采用不同方式,要求用于操作的内部信息与未来变化建立联系。Ye表示,大家会争论测试时模型该不该生成未来状态,但更重要的是,在训练阶段的某处,表征必须被对齐到能够建模未来。按照这个判断,评估新架构时,是否输出视频已不足以说明能力:一个直接输出动作的模型也可能在训练中学到了未来;一个能生成完整视频的模型则仍要证明这些计算确实帮助了操作。
最新的GR00T 2给出了另一种取舍。为降低计算量,Turbo版本将预测的视频空间网格缩小到原来的四分之一,但在一组后训练的灵巧操作任务中,成功率从完整版本的68.6%降到34.3%。技术报告没有把损失简单归因于某一因素,却提出一个值得继续研究的判断:需要保留多少视觉细节,可能取决于任务与机器人本体。哪些未来信息可以压缩,不能只由推理速度决定。这也让WAM与VLA的边界变得不那么整齐。DreamFree的项目页用“WAM式训练,VLA式推理”描述自己的方法。训练目标、内部表征和部署形态可以有不同的组合,模型名称本身无法替代这些区别。
另一个正在迅速扩大的答案是人类数据。当被问及DreamZero还有什么明显值得继续做时,Ye很快提到UMI和人体数据。UMI是一种通用操作接口,采集者手持夹爪完成任务并记录操作,供机器人学习;人体数据则允许研究者更广泛地记录人如何在真实环境里工作,减少采集对机器人本身的依赖。他回忆,DreamZero当时主要围绕遥操作采集的机器人数据训练,论文也做过加入少量人体视频的迁移验证,但把其他数据来源大规模纳入训练,仍是值得继续推进的方向。在他看来,GR00T 2已沿着这个方向向前走了。
从公开数据看,这一步的规模变化相当明显。GR00T 2的预训练混合了约40.3万小时第一人称人体视频、约1万小时手持UMI示范,以及2.35万小时机器人遥操作数据,人类视频已占据最大部分。英伟达报告,在72项下游任务测试中,逐步增加人体视频,真实机器人的任务进度从50%提高到70%。8月发布的Dyna-2把人体视频预训练规模从1,000小时逐级扩大到100万小时,再用一致的后训练方案进行真机验证;其报告中,14项任务的平均归一化成绩从20%提高到53%,测试既包括语言跟随,也包括打结、钥匙转动和瓶盖操作等任务。
数据配比也没有停留在简单混合。GR00T 2技术报告描述了三个训练阶段:先用人体和机器人视频学习交互过程,再联合学习多视角视频与动作,最后提高机器人数据权重以进一步适应真实控制。人类经验负责扩大覆盖面,机器人示范帮助模型学会在具体身体上执行。但报告同时承认,不同数据来源之间还没有明确的投入回报关系:再增加一小时人体、UMI或遥操作数据,分别能换来多少能力,仍然不清楚。
这些结果为继续投入人体数据提供了依据。Ye也认可,扩大第一人称人体数据能改善向机器人的迁移。但他对这种收益能覆盖多深的操作能力仍有保留。他特意限定说,这只是个人看法。在他看来,当前这类数据带来的收益主要体现在语言跟随和高层视觉、语义理解上;真正到操作层面的运动,以及对新任务的泛化,仍有很多问题没有解决。他的理由落在采集信号上:许多第一人称人体数据主要记录视觉,再加上位姿估计,却没有直接记录接触或力。视频保留了操作过程中的可见变化,机器人真正接触物体时所需的信息,却可能没有被完整留下来。
GR00T 2也没有完全解决这个问题。其DexUMI采集设备已能记录指尖的法向力和剪切力,但模型尚未把触觉作为输入;技术报告仍将如何引入力和触觉、如何保住已有视觉能力,以及采用什么控制频率列为开放问题。采到一种信号与让模型有效使用它,是需要分别解决的两件事。