Runway 开源 Praxis-1:RoboLab-120 得分 46.2% |AI自学笔记

11 月 14 日,视频生成公司 Runway 公开机器人模型 Praxis-1 的权重与源码,采用 Apache 2.0 协议,可商用。这是 Runway 第一次把视频模型积累的能力开放给机器人控制场景,也是这条路线从内部试验走向社区的一个节点。

视频模型直接输出动作

Praxis-1 输入摄像头画面、文本指令与机器人位置数据,预测环境将如何变化,再据此计算机器人该做什么。Runway 称其为 World Action Model,九月底首次发布时只向少数合作伙伴开放,这次同步公布了详细研究报告与新的性能测试。

它的训练路径是从通用视频学起,先看物体如何移动与交互,再用人类动作视频与机器人数据微调。Runway 的说法是这可能减少对昂贵机器人专用数据集的依赖,这类数据过去往往只是为了训练同类系统而专门采集的。

RoboLab-120 榜单排在首位

在英伟达 RoboLab-120 基准上,Praxis-1 的成功率为 46.2%,该基准覆盖 120 个分拣、抓取与堆叠任务,同为 World Action Model 的 FLUX 3 Action 得分 42.9%。

迁移成本依然存在

适配 Franka 机械臂用了 DROID 公开数据集约 277 小时录像,双臂机器人需要 1400 到 2600 小时训练素材。迁移到未见过类型的移动机器人平台时,微调约 95 小时后模拟平均成功率达 80%。真机测试十项任务各尝试十次,Praxis-1 成功 88 次,FLUX 3 Action 为 80 次。模型仍会混淆外观相近的物体,也无法独立规划复杂动作序列。具身智能的工程取舍可参考 智元 WITA-Omni 全模态模型。

全部文章归档与模型专题