智源 PhysCapBench 基准:物理描述让 LPIPS 降 30.88%

11 月 17 日,智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench,这是首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域、统一评测视频描述中物理信息的基准。

七个维度定位 Caption 的物理缺口

在世界模型预训练数据的建设中,团队观察到现有视频描述往往能概括场景与动作,却没能充分保留运动、接触、状态变化及其时序关系,这一缺口在自动生成的长描述里同样存在。PhysCapBench 从七个维度评价描述对物理信息的覆盖与保真,把整体质量落到具体的信息类型上,既用于描述策略选择,也用于标注质量评估与训练数据优化。三类数据被纳入同一评价框架,共同的质量目标是物理信息的准确性与完整性。

补上物理描述后指标下降三成

在固定生成模型、首帧与生成时长的条件下,分别用原始数据描述和物理描述作为条件进行比较,第一人称操作领域的 LPIPS 相对下降最高达到 30.88%,PVCS 相对下降最高达到 28.09%,两个领域、两种生成模型上均有改善。机器人策略一侧,团队用 Training Instruction Upsampler 在原始任务指令上补充可观察的动作过程、接触关系与状态变化,在 RoboTwin 2.0 的一个子任务里用同样 50 条示范做对照实验,推理时仍使用原始简短指令。

相关阅读

全部文章归档与模型专题