高德 λ0 全身基座模型:500 小时人类数据,真机成功率 62.5%

一句话结论:高德与阿里 ATH 事业群 10 月 23 日发布全身基座模型 λ0,配合 500 小时的第一视角人类数据集 HumanVerse-500,Unitree G1 的真机移动操作成功率达到 62.5%,消融实验显示去掉这批人类数据后成功率会跌到 22.5%。

这条路线值得单独写一篇。具身智能过去两年卡在同一个位置,机器人要学会走过去、转身、弯腰、抓起杯子再放下,这套动作连成一体时需要的数据以机器人小时计,成本高、扩展慢。λ0 换了条数据路子,把人身上的经验搬到机器人身上。

采集瓶颈:单条示范从 100 秒压到 29 秒

主流做法是全身遥操。操作员穿着动捕服,绑着一台人形机器人亲手走完每条演示,一条示范 100 秒上下,中间还要人工复位机器。这条路的天花板不在算法,在机器人本体的数量和在编操作员的数量。

λ0 换成无本体采集。采集者只佩戴消费级设备,在日常环境里随走随采,代表性任务的单条示范用时从约 100 秒缩短到 29 秒,采集效率约为原来的 3.4 倍。高德给出的说法是,模型摆脱了对昂贵机器人本体采集的强依赖。

HumanVerse-500 的规模数字

这条管线最终产出 HumanVerse-500 数据集,论文里公开的规模可以逐项对照。

指标 HumanVerse-500
总时长 500 小时
片段数 32993 个 episode
姿态帧 8700 万
任务类型 827 种
技能类别 18 种以上
采集设备 GoPro HERO13、Pico 4 Ultra、全身动捕服
目标机器人 Unitree G1
视觉语言主干 Qwen3.5-2B
全身控制器 SONIC
灵巧手 BrainCo Revo2

数据覆盖住宅、商店、超市、工业场所、办公室和户外,任务是清洁、烹饪、洗衣、摆桌、搬运大件物品这类日常活动。这里有个容易被忽略的差别,已有的第一视角数据大多只记手腕和手部轨迹,而走路、膝盖弯曲、躯干倾斜这些身体信息恰恰缺失。对走过去抓起来再搬走这种动作,缺掉的那一半才是更关键的一半。

采集者身上三路数据共用一个时钟。头戴相机记录第一视角画面,头显提供头部位姿,全身追踪器记录肢体,手指动作在事后从视频里重建。G1 头上用的是同型号相机,人的视野和机器人的视野尽量对齐。

人体到机器人的搬运误差

λ0 共享一套视觉语言动作结构和动作专家,训练分三段。第一阶段用 7 个公开第一视角手物数据集做预训练,学交互先验。第二阶段用 HumanVerse-500 做全身人类运动中间训练,把人类动作翻译成机器人的状态-动作格式。第三阶段用真机示范后训练,适配具体本体和下游任务。

翻译精度是整条链路的技术核心。论文的验证集是 50 个任务约 1 小时数据,指尖位置误差从 17.03 厘米降到 3.83 厘米,姿态误差从 36.06 度降到 10.85 度。17 厘米足够错过一个杯子把手,3.8 厘米差不多是两个手指关节的距离。

对齐指标 转换前 转换后 改善幅度
指尖位置误差 17.03 厘米 3.83 厘米 下降约 77.5%
姿态误差 36.06 度 10.85 度 下降约 69.9%

做法分视觉对齐与动作对齐两部分。视觉侧用分割和擦除模型把手臂区域替换成 G1 的机械臂渲染图。动作侧先用 SMPL 人体模型缩放到 G1 的身高比例,再靠受约束的全身逆运动学修正骨架差异,最后用控制器实际跑一遍来校准执行误差。

真机成绩:62.5% 成功率与 80.4% 任务进度

真机评测是 4 个任务各 10 次共 40 次,成功 25 次。任务分别是扔掉瓶子、整理玩具、搬箱子、放椅子。任务进度这个指标比成功率更能反映实际完成度,失败的任务通常停在中途。

模型 成功次数 成功率 平均任务进度
λ0 25/40 62.5% 80.4%
π0.5 16/40 40.0% 54.0%
StarVLA 11/40 27.5% 54.6%
Ψ0 4/40 10.0% 31.8%
GR00T N1.6 3/40 7.5% 21.3%

仿真侧用的是团队自建的 SIMPLE 基准,6 个任务乘 3 个难度等级,每组跑 10 次共 180 次试验。λ0 的总体成功率 90.0%,StarVLA 为 86.1%,Ψ0 为 85.6%,π0.5 为 51.1%,GR00T N1.6 为 48.9%。这个基准是团队自己定义的,与同名的 SIMPLER 并非同一套评测,不能直接横向套用。

消融实验才是最有说服力的部分

保持模型架构和真机后训练不变,逐段拆掉训练阶段,可以看出每批数据各自贡献了什么。

训练配置 真机成功率 任务进度
完整 λ0 62.5% 80.4%
去掉 Stage 2 全身中间训练 22.5% 59.9%
去掉 Stage 1 第一视角预训练 50.0% 75.9%
Stage 1 与 Stage 2 同时去掉 15.0% 54.0%

去掉中期训练也就是去掉 HumanVerse,成功率从 62.5% 掉到 22.5%,一次砍掉 40 个百分点。去掉第一阶段预训练仍有 50.0%。两段一起去掉只剩 15.0%。中间训练阶段的贡献明显大于预训练阶段。

数据规模的 Scaling 曲线

中期训练里 HumanVerse 的数据占比从 0% 逐档加到 100%,共测六种设置。真机任务进度从 59.9% 单调升到 80.4%,总提升 20.5 个百分点,中途没有出现回退。同期代表性验证损失从 5% 档到 100% 档下降 35.5%,干净验证损失下降 40.6%。这条曲线是目前公开材料里少见的人类数据规模与下游表现直接对应的证据。

另一个细节是物体泛化。只在机器人示范里出现过的物体,平均进度 48.4%,加入人类数据后升到 55.8%,提升 7.4 个百分点。四个测试任务都有提升,但表现仍低于机器人已经见过的物体。

开源了什么,又缺了什么

硬件配置代码在 GitHub 开源,HumanVerse 数据样例上线 Hugging Face,中间训练 checkpoint 也已放出,许可证是 Apache 2.0。完整训练数据没有随代码发布,仓库里写得很直白,HumanVerse-500 training data is not included in this code release。目前公开的动作对齐样例只有 4 个,加上四个真机任务的样例轨迹。

还有一批东西标注为 coming soon,包括同时采集 G1、SONIC、BrainCo 手部和头部相机的统一录制器,人类记录与机器人示范的格式转换器,视觉对齐代码,以及仿真评测与真机部署指南。外界只拿到第一阶段和第二阶段的代码与配置,无法端到端复现。

伦理层面的缺口同样明显。论文、附录、项目页和代码仓库里都没有关于参与者知情同意、伦理审查、人脸与声音处理、数据保存期限或撤回机制的说明。数据包含住宅、商店、工业场所的第一视角影像,致谢里列出了 16 名数据采集者,说明数据是有人专门参与采集的,并非从网上抓取而来。

放进国内具身智能的语境里

λ0 走的是端到端生成动作指令这条路,与在潜在空间里推演任务状态的路线正好相反。千诀 Polibrain 世界模型 不生成未来画面,只预测与任务相关的关键状态,两种取向各有代价。

机器人本体那一端同样在换。Agility Digit 5 搭配 Nyobolt 超快充 把充放比从 2:1 拉到 10:1,解决的是续航问题。GPT-6 Astra 接宇树 G1 进厨房 则是把大模型直接接到本体上做家务。三件事指向同一个判断,机器人要真正进家庭,瓶颈同时卡在数据、算力和本体三处,只解决一处都不够。

常见问题

HumanVerse-500 是什么数据集

它是阿里巴巴 Lambda-humanoid 团队构建的 500 小时第一视角人类数据集,含 32993 个片段和 8700 万姿态帧,覆盖 827 种任务类型。记录的是人在真实环境里走动、抓取、操作时的完整身体姿态,而不只有手部轨迹。

62.5% 这个数字完全没用到机器人示范吗

62.5% 这个成绩包含了机器人示范数据。取得该结果的实验经过第三阶段的真机示范后训练。论文另有一组只用对齐后人类示范的管线验证,4 个全身任务的平均进度是 51.7%,3 个长时程任务是 76.2%。

这套数据和模型能自己下载复现吗

目前不行。完整训练数据没有公开,公开部分只有 4 个动作对齐样例和部分 checkpoint。视觉对齐代码与部署指南也还没放出,仅凭已公开的代码和配置无法端到端复现论文里的成功率。

小结

λ0 真正的贡献是把具身智能的数据瓶颈从机器人小时换成了人小时,并且用消融数据证明这条路确实有效。22.5% 与 62.5% 之间那 40 个百分点,就是那 500 小时人类数据的价值。

留下的问号同样清楚。数据没有开放,人的授权机制没有交代,评测只覆盖 Unitree G1 一款本体,62.5% 的成功率距离长期稳定的生产任务仍有距离。

相关阅读