10 月 22 日,Kyutai 发布开源视频自编码器家族 CADRE,全称因果扩散表示自编码器,共 7 个成员,论文、代码、模型与在线 Demo 一并放出。这批自编码器专为交互式世界模型设计,跑在单张 GPU 上能做到 20 帧每秒的实时生成。
交互场景对压缩的额外要求
视频世界模型先把视频压进紧凑的潜空间再生成新帧,因此自编码器的空间压缩比决定每帧要处理多少 token,时间压缩比决定一次动作要等多久才反映到画面。Matrix-Game 2.0、Hunyuan-GameCraft、SANA-WM 这些世界模型大多借用 LTX-2、Wan 2.2 或 HunyuanVideo 这类文生视频生成器的自编码器,而文生视频是双向的,一次生成整段片段,帧之间的依赖是双向的,压缩带来的延迟在离线场景里从来不是问题。
典型 8 倍时间压缩在 20 帧每秒下会让每个动作至少延迟 400 毫秒,而认知神经科学的研究显示人对自己动作变迟钝的感知阈值大约是 230 毫秒。
四个实验结论
CADRE 用 23 个公开视频数据集、约 7.6 万小时视频训练了 7 个自编码器,与 Wan 2.2、Cosmos、LTX-2、DC-AE 以及 MIRA 自编码器重训版做对比,覆盖机器人操作、人手操作、驾驶与室内导航四类环境。
在空间压缩从 16 倍提高到 32 倍时,图像质量几乎不变,FID 8.53 变 8.92,但运动质量 FVD 从 39.4 恶化到 95.2,差 2.4 倍,动作跟随精度 ARR 从 0.73 掉到 0.45。结论是粗粒度 token 先伤运动,其次才伤动作跟随,而镜头是否移动决定了该往哪个方向压缩。整批自编码器形成的帕累托前沿占据了延迟质量曲线的大部分位置,反应时间低于 230 毫秒的只有 CADRE 和 MIRA,后者画质更差。
世界模型这条路线上的开源进展,VAST 开源 EdenLive 实时世界模型 是另一个参照。
延伸阅读
- 蚂蚁百灵开源 Ling-3.1-flash:560B MoE、25B 激活参数1 周前
- LingBot-World 2.0 开源三款模型:1.3B Small 可在消费级单卡实时生成世界1 月前
- MiniMax Design 上线:H3 多模态模型驱动创作画布,覆盖电商广告等 8 类商业视频1 月前
- Sand.ai开源全球首个千亿级MoE视频模型MAGI-2-preview:114B参数仅激活6B3 月前
继续读
同一批更新里这几篇值得一看:
- Rivian 收购世界模型初创:15 人团队并入自驾部门2026-10-24
- 博纳花两年投千万做出首部 AI 院线长片:100 分钟《三星堆:未来往事》2026-10-24
- 亚马逊 CEO 贾西:AI 推理成本需降至当前的十分之一2026-10-24
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
