一句话结论:英伟达 11 月 10 日放出 GR00T 2 世界-动作模型,用 402,730 小时人类第一视角视频打底,配合每个任务不到 3 分钟的机器人数据、一次 30 分钟 LoRA 微调,能在 50 个陌生任务上把成功率从零样本的 40% 拉到 95%,同系列 Turbo 版在机器人板载的 Jetson Thor 上单次预测只要 124 毫秒。
这轮发布里最值得盯的是三件事同时成立:跨本体的零样本迁移开始生效、微调成本压到单卡半小时、以及推理速度真的进了机器人本体。过去的机器人基础模型普遍有两个尴尬,任务稍微一变就得重采数据,模型太慢塞不进本体算力。GR00T 2 把这三件事一起做进了同一套流水线。
一、GR00T 2 是什么:会一起想象画面和动作的模型
GR00T 2 出自 NVIDIA GEAR 实验室,定位是世界-动作模型(world-action model)。它的输出不限于下一步动作,同时对摄像头画面做去噪、生成未来视频,再给出整段动作序列。官方页面上那条卡车装配的演示被拆成左右两半,左边是机器人真实看到的 0.8 秒历史画面,右边是模型据此生成的未来画面,两边都保留头部相机和双腕相机的 320×224 分辨率。这就是 GR00T 2 的核心差别,模型必须在脑内先想清楚这段动作会拍到什么样的画面。
这一代有三个可交付的形态。主模型 GR00T 2 负责长时程、多相机的灵巧操作;GR00T 2 Turbo 是 2B 参数的精简版,为实时而做,跑在人形机器人本体上;SONIC 是配套的全身控制器,把模型输出的潜在全身指令转成关节目标。论文、BibTeX 和一份 23MB 级别的白皮书都已公开,代码官方标注 12 月开放。
运行它的载体是 NVIDIA 自己的硬件栈,这一点对普通开发者有点门槛。板载推理用 Jetson Thor,桌面实验用 RTX 5090,机器人本体是 Unitree G1,灵巧手是 22 自由度的 Sharpa,遥操作数据来自 YAM 和 Franka 两款平行夹爪。本站此前拆过 英伟达 Vera CPU 每瓦多跑 1.6 倍智能体,那条讲的是推理侧的能效账,GR00T 2 是同一套算力叙事往机器人方向的一次延伸。
二、402,730 小时数据是怎么混在一起的
预训练语料被明确切成三块,缺一块都不行。
| 数据类型 | 时长 | 覆盖范围 |
|---|---|---|
| 人类第一视角视频(Human-1M) | 402,730 小时 | 人类工作中的第一人称录像,另开放 100,000 小时 |
| UMI 手持夹爪演示 | 10,184 小时 | 2,897 个任务 |
| 机器人遥操作 | 23,500 小时 | 平行夹爪、灵巧手、人形 G1 |
官方做了一组消融:把预训练里人类视频的占比从 0 提到 1%、10%、100%,在 72 个 Dexter 下游任务上评测。结果是每加一档都在涨,视频 rollout 里的任务完成度从 64% 涨到 77%,真机上的任务完成度从 50% 涨到 70%。这说明人类视频在给机器人模型提供动作先验,机器人遥操作数据在三类里体量最小。
数据成本这件事本站也持续跟踪过,RoboScience 把单条具身数据成本压到 0.05 元,讲的是采数据的产业化;GR00T 2 展示的是另一头,消费端把 40 万小时人类视频当作免费的通用先验来用。
三、30 分钟微调:少量演示换 95% 的陌生任务成功率
最能说明问题的实验是跨适配(X-Adapt)。测试集是 50 个任务,这些任务在其他机器人的数据里出现过,或者只在人类视频里出现过,但目标机器人自己的数据里从来没有。目标机器人是一台带两只 Sharpa 手的双臂机器人。
零样本直接跑,50 个任务成功 40 个,成功率 40%。给每个任务 1 次演示,升到 71%。给 5 次演示、每个任务不到 3 分钟的机器人数据,升到 95%,其中 37 个任务做到了 100% 次次成功。每一次适配都是单张 RTX 5090 上跑 30 分钟的 LoRA 微调。
X-Adapt 还有两条迁移路径。人先演示、机器人后学,在 Dexter 上零遥操作演示成功全部 4 个任务;用 UMI 手持夹爪演示传送带分拣和玩具翻斗车装配,再让 YAM 机械臂接手;还有一条是可穿戴手数据直接迁到机器人灵巧手。同样的思路在 智元 WITA-Omni 具身全模态模型 和 狮子山 Lion-ER-35B-A3B 具身模型 里都出现过,端侧延迟和本体迁移是这一代具身模型的共同命题。
四、灵巧手与真机强化学习:接触密集任务的抬升
灵巧操作是 GR00T 2 展示的重点。两只 22 自由度的 Sharpa 手在少量遥操作数据后训练下,能完成装 GB300 内存条(85%)、装配玩具卡车(65%)这类长时程任务。官方明确表示前代模型做不了这些。
更狠的一步是在真机上做强化学习,而且只给任务级的成功信号,不给稠密轨迹奖励。三个接触密集任务的成功率从监督后训练后的 40% 到 76%,整体抬到 88% 到 96%。
接上一个推理智能体之后,长链条任务也开始稳定:玩具飞机、玩具拖拉机、Hot Wheels 赛车三个装配任务分别成功 98、97、97 次,同一套策略去掉智能体是 71 到 84 次,只做监督后训练只有 23 到 69 次。复合任务里插五根网线从 12/20 提到 19/20,插五个充电器从 2/20 提到 20/20,三个玩具合计 292/300 次装配成功。
还有一个叫视觉引导(visual steering)的机制,推理模型在摄像头画面上标出该在哪抓、往哪放,结果是 YAM 上从 40% 涨到 92%,Dexter 上从 30% 涨到 70%。只给分步文字指令、没有任何标记时,两者只有 66% 和 33%。
五、Turbo 与实时推理:桌面 38 毫秒,板载 124 毫秒
GR00T 2 Turbo 是 GR00T 2 的速度版本,2B 参数的稀疏 transformer 表示。官方给的对比是同一个 checkpoint 下,优化后延迟比 eager BF16 下降 66% 到 86%,也就是 2.9 到 7.2 倍加速。
绝对数字:RTX 5090 上单次预测 38 毫秒,机器人本体的 Jetson Thor 上 124 毫秒。它每次规划 1.6 秒的全身动作块,大约每秒规划一次,SONIC 控制器以 50Hz 执行关节目标。推理模型负责挑任务和定目标,GR00T 2 Turbo 负责想象并规划,SONIC 负责落到关节,除了推理模型,其余全部在板载跑。
结果是整机全身移动操作:Unitree G1 边走边弯腰取物,端着爆米花送过来,48 次试验全部完成;清理办公桌上一堆不同物体,成功率 93%。这种场景过去基本属于演示视频,现在有具体百分比了。人形机器人本体的硬件竞争也在同步,Meta Max 48 公斤原型与傅利叶三个月造机 那篇讲的是整机交付速度,GR00T 2 讲的是它的大脑能不能在板上跑。
六、仿真数据把成功率从 6.7% 拉到 63.3%
仿真在这里是主力。官方用同一份真机数据、只额外加一条仿真臂来训练,Unitree G1 上的分布外任务成功率从 6.7% 涨到 63.3%。作为参照,GR00T 1.7 同样加仿真数据只涨到 40.0%。
为了让仿真可信,团队做了 14 条 GR00T 2 策略在 25 任务 YAM 基准上的匹配任务成功率对比,仿真与真机的 Pearson 相关系数 0.92,Spearman 0.89,平均绝对范围变化 MMRV 0.055;用中心化 Elo 再算一遍,Pearson 0.93,Spearman 0.90。这套仿真环境同时承担评测和开发用途,采用路径是先用小规模训练加闭环仿真筛掉不靠谱的方案,再进预训练。这条思路和 百度 ApolloWorld 世界模型的 2+3 评价标准、World Labs Frameboy 15 帧实时世界模型 指向同一件事,具身赛道的胜负手正在从模型规模移向仿真与数据的闭环质量。
常见问题
问:GR00T 2 现在能拿到手吗?论文和白皮书已经公开,代码官方标注 12 月开放。模型权重和各机器人本体的完整适配流程尚未公布,实际可用性还要等 12 月这一波。
问:30 分钟微调这个数字能在我自己的机器人上复现吗?这些结果是在 NVIDIA 自有的 YAM、Dexter、G1 上测出来的,前提是每个任务不到 3 分钟机器人数据加单张 RTX 5090。如果你的本体差异大,需要靠 X-Adapt 这类跨本体迁移先补齐能力,再谈微调效率。
问:GR00T 2 和 GR00T 1.7、N1 系列的差别在哪?核心差别是能预测未来画面,以及在同份真机数据下加入仿真数据后 G1 分布外成功率达到 63.3%,而 1.7 只到 40.0%。Turbo 版则把模型压到 2B 参数,首次做到板载 124 毫秒的全身规划。
总结
GR00T 2 把具身基础模型的三个瓶颈同时往前推了一格。数据侧用 40 万小时人类视频替代大部分昂贵采集,缩放实验证明这部分数据确实在起作用;适配侧把陌生任务的成功率从 40% 拉到 95%,代价只是单卡 30 分钟;部署侧用 2B 参数的 Turbo 把延迟压进本体,124 毫秒配 50Hz 全身控制。真机强化学习和智能体叠加之后,292/300 的装配成功率和 20/20 的充电器插取都是可复核的硬数字。剩下最大的不确定性在 12 月的代码开放,以及这些数字在第三方本体上的迁移幅度。
相关阅读
- 智元 WITA-Omni:400 毫秒响应与四榜第一的具身全模态模型
- 狮子山 Lion-ER-35B-A3B 具身模型:3B 激活 65.29 分
- 百度 ApolloWorld 世界模型:日行十万公里与 2+3 评价标准
- 英伟达 Vera CPU 实测:每瓦多跑 1.6 倍智能体
延伸阅读
- 京东物流狼族机器人升级:智狼每小时取货 240 次5 天前
- 宇树 G1 累计下线1至2万台,定价9.9万元起3 周前
- 蚂蚁 LingBot-Touch 触觉模型开源:成功率涨 26 个点13 小时前
- 北大董豪团队HIL-UMI:具身后训练不用真机 纠错数据成闭环3 周前
继续读
同一批更新里这几篇值得一看:
