悟界 PhysCapBench:1500 段视频 7 维度实测,重建误差降 30.9%

一句话结论:智源研究院联合逆矩阵、北京大学、清华大学与北京航空航天大学推出的悟界 PhysCapBench,用 1500 段视频和七个评价维度量化了描述里丢了多少物理信息,补上这些描述后视频重建误差最多下降 30.9%,机器人策略成功率从 37.5% 提到 45.0%。

11 月 17 日,悟界 PhysCapBench 正式对外发布,论文同步挂上 arXiv(编号 2611.16424),代码、视频与评测管线以开源协议放上 GitHub 与 Hugging Face。这是首个把第三人称场景、第一人称操作、手持夹爪示范三类视频放在一起、统一评测视频描述物理信息的基准。

它要解决的问题很具体。世界模型预训练要吃大量视频,配套的文字描述却普遍只写了场景和动作,漏掉运动、接触、形变和状态变化的时序关系。软胶玩具被压扁后随压力解除逐渐回弹,这个过程包含受压、形变、卸载、回弹四个关键状态,语义正确的描述常常只写了前半段。语言表达完整,不等于物理信息完整。

这个缺口此前无法量化。谁的描述写得好、哪种描述策略更适合哪类数据,全靠主观判断。悟界 PhysCapBench 想做的就是把这把尺子做出来。

三大领域各 500 段视频,覆盖 9.16 小时

基准的数据规模不大但结构清晰。三类互补领域各 500 段视频序列,合计 1500 段、7.43 GB、9.16 小时,每段配一条人工核验过的参考记录。

领域 命令行标识 序列数 输入形式 主要覆盖的物理过程
第三人称物理场景 third 500 单视角视频 物体运动、形变、相互作用与环境变化
第一人称操作 ego 500 单视角视频 人与物体的接触、操作过程与状态转换
手持夹爪示范 umi 500 左腕、俯视、右腕三视角合成 夹爪与物体的交互、操作阶段与执行结果

三类数据的视角互补,拼起来才构成完整的物理经验。互联网视频记录运动与环境演化,第一人称视频呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变。悟界把前三类纳入同一评价框架,以物理信息的准确性与完整性作为共同质量目标。

一个工程细节值得留意:手持夹爪领域每个 episode 只算一个样本,三视角合计仍是一个,生成描述时必须保留三个机位画面,否则测的就不再是同一段交互。仓库同时说明,本次发布提供视频与标注文本,不包含论文标注流程中使用的原始手部追踪与夹爪轨迹数组。

七个维度定位 Caption 的物理缺口

描述策略各有偏好,有的重任务目标,有的重动作步骤,有的爱堆状态词。悟界用七个维度把整体质量拆到具体的信息类型上,每个维度对应一个检查重点。

评价维度 检查的问题
事件覆盖 是否覆盖主要事件与关键阶段
对象与角色 是否准确识别交互对象及其作用
动作与运动 是否描述关键动作、运动方式及其变化
接触与交互 是否表达接触关系与交互过程
状态与结果 是否保留关键状态变化及事件结果
机制与因果 是否依据视频证据表达物理机制与因果关系
时间顺序 是否准确组织事件顺序与阶段转换

七个维度合起来回答的是同一个问题:这段描述有没有把物理过程说清楚、说准。基线分和七个维度的分项分数在榜单上并列展示,可以直接看出不同策略的信息短板落在哪一维。

参考描述的构建流程同样被写进了规范:从全局观察与事件定位出发,逐步梳理参与对象、动作过程、接触关系和状态变化,再对描述内容做核验。七名专业标注人员参与标注与质量检查。对机制与因果类信息,描述只能基于可观察证据;复杂操作则重点检查阶段划分、交互关系与结果状态是否前后一致。

补上物理描述,重建误差最多降三成

描述质量的评价要跟下游效用挂钩,否则只是形式上的打分。悟界从视频生成和操作策略两个方向做验证。

视频生成方向的实验设定很干净:固定生成模型、固定首帧、固定生成时长,只改变条件描述,比较生成视频与真实视频之间的感知差异。LPIPS 与 PVCS 衡量感知差异,数值越低越好。

结果是两个领域、两种生成模型上均有改善。第一人称操作领域的 LPIPS 相对下降最高达到 30.88%,PVCS 相对下降最高达到 28.09%。论文摘要给出的区间是第三人称视频 8.6% 到 9.5%、第一人称视频 26.9% 到 30.9%。第一人称领域的收益明显更大,那里手与物的接触细节最容易被一句话概括带过。

软胶玩具案例把差异拍得很直观。使用物理描述时,生成结果更好保留玩具的立体形态与卸载后的恢复趋势;使用原始描述时,玩具在压力解除后仍呈现明显扁平状态。一个描述里有没有回弹这个词,直接决定生成模型能不能还原这一段。

机器人策略成功率从 37.5% 提到 45.0%

操作策略这一侧的实验设计更严格。为了把描述质量与其它变量隔开,团队用 Training Instruction Upsampler 在原始任务指令基础上补充视频里可观察的动作过程、接触关系与状态变化;增强指令只用于训练阶段,推理时仍使用原始的简短指令。

对照实验在 RoboTwin 2.0 的一个子任务上进行,同样 50 条示范,训练样本的一半采用增强指令,推理时两组都用原始指令。在 40 个共享测试初始场景中,π0.5 的成功次数从 15 次升到 18 次,成功率从 37.5% 提升到 45.0%,提高 7.5 个百分点。RoboTwin 与 RoboDojo 的多任务评估里,四种策略模型的所选任务平均成功率也都有提升。

这组对照的价值在于排除了额外信息带来的混淆。推理阶段输入相同,成绩差异只能来自训练时监督信号的丰富度。这和写提示词的那类改进有本质区别,改进落在数据侧,输入侧保持不变。

怎么用:仓库、榜单与两个版本

仓库提供的是一条完整的视频描述评测管线,官方站点同时挂出了描述策略榜单。榜单分值从 0 到 100,越高越好,但读榜时有一处必须注意。

仓库文档明确标注,榜单上是报告版本的结果,所评测的子集、参考记录与适用维度的聚合方式,与当前 1500 段视频、七维度全数字打分的发布版本并不相同,总分值保留自逐视频聚合而非由七个展示列的均值重算。也就是说榜单里的分数不等于在当前发布协议下重跑的结果,只能在同一张表内横向比较。这是评测类项目里最容易踩的坑。

把基准当成工具用,路径很清楚。数据集按 third、ego、umi 三个命令行标识分域组织,视频总计 7.43 GB、9.16 小时,每段序列都有标注与打分参考。第三人称领域的参考记录是英文,第一人称领域的参考记录含双语字段,手持夹爪领域的参考记录保留源语言字段,文本判分器接受这些参考记录。评估需要跨领域比较时,得先确认自己用的参考记录是哪一版。

对做世界模型训练数据的团队,这套基准最直接的价值是给描述策略选型和标注质量评估提供统一依据;对做视频生成的团队,它给了一个能复算的探针,改写描述策略之后到底有没有变好,可以拿同一批序列前后对比。悟界官方也把它定位成描述策略选择、标注质量评估与训练数据优化的基础设施,而非一次性的排行榜。

常见问题

问:悟界 PhysCapBench 和已有的视频描述评测有什么区别?

答:核心差别是评测对象。以往评测衡量描述在语义上是否正确,悟界衡量描述在物理上是否完整准确,落到接触、形变、状态变化与机制因果这些具体信息类型上,并且用七个维度拆开。同时它把三个此前分开的数据域放进同一框架,并用视频重建和机器人策略两组实验验证描述质量与下游效用的联系。

问:数据规模只有 1500 段,够用吗?

答:它的定位是评测基准而非训练集,覆盖三域各 500 段、9.16 小时,配合七维度评价与人工核验的参考记录,用来衡量描述策略和标注质量。要做的是先看出哪类描述在漏信息,再回到自己的大规模数据里去修。

问:榜单分数能和其他工作直接比吗?

答:不能。仓库文档说明榜单是报告版本结果,评测子集、参考记录与维度聚合方式与当前 1500 段全数字打分的发布版不同,总分同样不由七列均值重算。跨表比较会失真,只应在同一张表内横向看各策略的强弱。

小结

悟界 PhysCapBench 把一个长期凭感觉讨论的问题变成了可复算的指标:描述里漏掉的物理信息具体是哪一类,值多少分,补上之后下游能涨多少。

几个数字值得记住。第三人称领域重建误差下降 8.6% 到 9.5%,第一人称领域下降 26.9% 到 30.9%;机器人策略在 50 条示范的对照实验里,成功率从 37.5% 提升到 45.0%,提升 7.5 个百分点,而推理输入保持不变。

这组结果的指向很明确。物理 AI 基模的瓶颈已经从有没有数据,转到数据里的物理经验有没有被完整准确地写成监督信号。智源研究院、逆矩阵、北京大学、清华大学与北京航空航天大学把这段缺口第一次量化了出来,接下来谁能把描述质量提上去,谁的世界模型就更可能先学到真实的物理规律。

全部文章归档与模型专题