prefix="og: https://ogp.me/ns#"> 北大董豪团队HIL-UMI：具身后训练不用真机|AI自学笔记

北大董豪团队HIL-UMI：具身后训练不用真机纠错数据成闭环

1 hours ago AI闪点

10 月 20 日，北京大学董豪团队与启元机器人发布 HIL-UMI，把模型直接接进 UMI 手持夹爪的数据采集流程，让具身智能的后训练纠错不再需要机器人本体在场。论文编号为 arXiv 2609.20659。

真机后训练成本是大模型 RLHF 的百倍

语言模型做 RLHF 是让人坐在电脑前点选，具身机器人要真刀真枪跟物理世界打交道。传统 HG-DAgger 流程里，操作员紧盯机械臂，快抓空或快撞车时紧急接管，录下正确轨迹，之后还得人工把被弄乱的现场恢复原样，坐一下午也产不出多少可用数据。硬件磨损、场地与人工叠加，让具身后训练很难规模化。

在采集环节装一个模型大脑

HIL-UMI 的采集里只有人在动，操作员拿着 UMI 夹爪正常干活比如抓玩具叠毛巾，摄像头同步拍摄。后台模型接收相同画面与任务指令，快速预测接下来 20 步该怎么做，却不控制任何机械臂。一旦模型预测轨迹与人类实际操作严重跑偏，系统立刻提示操作者从这里开始多教一段。

两根技术支柱

第一根是动作分歧检测，系统并行采样多组动作块计算能量分布，模型胸有成竹时分布收敛，一旦分散又偏离人类，就判定进入分布外状态并触发补录。第二根是优势估计器，用前后画面评估任务推进程度，只学那些能实质推进任务的纠正动作。每轮定向补完数据后模型迭代，下一轮的分歧点就推向更深更难的边缘场景。

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：