11 月 17 日,智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench,这是首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域、统一评测视频描述中物理信息的基准。
七个维度定位 Caption 的物理缺口
在世界模型预训练数据的建设中,团队观察到现有视频描述往往能概括场景与动作,却没能充分保留运动、接触、状态变化及其时序关系,这一缺口在自动生成的长描述里同样存在。PhysCapBench 从七个维度评价描述对物理信息的覆盖与保真,把整体质量落到具体的信息类型上,既用于描述策略选择,也用于标注质量评估与训练数据优化。三类数据被纳入同一评价框架,共同的质量目标是物理信息的准确性与完整性。
补上物理描述后指标下降三成
在固定生成模型、首帧与生成时长的条件下,分别用原始数据描述和物理描述作为条件进行比较,第一人称操作领域的 LPIPS 相对下降最高达到 30.88%,PVCS 相对下降最高达到 28.09%,两个领域、两种生成模型上均有改善。机器人策略一侧,团队用 Training Instruction Upsampler 在原始任务指令上补充可观察的动作过程、接触关系与状态变化,在 RoboTwin 2.0 的一个子任务里用同样 50 条示范做对照实验,推理时仍使用原始简短指令。
相关阅读
延伸阅读
- Kyutai CADRE 深度:7 个自编码器把交互延迟压到 230 毫秒内4 周前
- AMD 82 亿美元全股票收购 World Labs,李飞飞出任执行副总裁2 月前
- World Labs Frameboy 上线:15 帧实时跑通 AI 世界模型2 周前
- LingBot-World 2.0 开源三款模型:1.3B Small 可在消费级单卡实时生成世界2 月前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
继续读
往下这几篇值得接着看:
- 华为云开源 CloudRobo-WM1.2 昇腾原生世界模型双榜第一2026-11-16
- Runway 开源 Praxis-1:RoboLab-120 得分 46.2%2026-11-15
- Runway Praxis-1 怎么跑:46.2% 榜首与 80GB 显存门槛深度2026-11-17
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
