清华联合无问芯穹智元推 CEL:96 台机器人总体成功率 97.5%

10 月 30 日,量子位报道,清华大学、无问芯穹与智元联合提出群体经验学习新范式,并在 96 台真实机器人组成的集群中完成规模化验证。这套被称为 CEL 的方法让机器人不再只靠人类示范学习,而是借鉴群体中其他机器人的成功经验:一台机器人执行任务遇到困难时,可以从同伴过去的经验里找解决办法,不断改进自己的表现。

600 次测试失败 15 次

实验场景覆盖家庭服务与工业生产两类,包含插花、叠衣服、手机充电、凳子组装、手机包装五项任务。结果是,两台没有参加过训练的机器人做了 600 次测试,只失败了 15 次,总体成功率 97.5%,五项任务的成功率全部超过 6 名人类操作员的平均水平。

其中手机包装是需要连续完成多个步骤的工业任务,经过群体经验学习后成功率从 79.2% 提升到 98.3%,连续测试 120 次只失败 2 次。研究还观察到规模效应:参与训练的机器人从 16 台增加到 96 台时,成功率从 86.7% 提升到 98.3%。

RLinf 训练系统与 FERT 算法

系统层面,团队基于大规模强化学习训练开源框架 RLinf 构建了容错异步训练系统 FATS,支持近百台机器人持续稳定协同训练。机器人完成任务后立刻上传操作经验,网络波动、设备掉线和硬件故障也都提前做了准备。在 96 台规模的系统测试中,集群累计采集 9834 轮执行经验,期间 22 台机器人共发生 30 次故障,故障造成的机器人时间损失只占全部运行机时的 1.3%。

算法层面,团队提出失败引导的经验检索微调算法 FERT。一次机器人操作可能持续数分钟、涉及几千个动作步骤,最终反馈却往往只有成功或失败两个字。FERT 同时利用成功与失败两类经验:机器人遇到困难时,去过去的成功经验里翻找相似场景下的有效做法,重点照着学。这与站内关注的智元 GO-3 Preview 自进化路线指向同一个命题,即单台机器人的能力提升最终要走向整个群体的持续进化。

经验丰富的操作员永远跟不上机器人批量部署的速度,群体学习把这一约束从瓶颈换成了规模优势。