Kyutai 开源 CADRE:7 个视频自编码器把交互延迟压到 230 毫秒内

10 月 22 日,Kyutai 发布开源视频自编码器家族 CADRE,全称因果扩散表示自编码器,共 7 个成员,论文、代码、模型与在线 Demo 一并放出。这批自编码器专为交互式世界模型设计,跑在单张 GPU 上能做到 20 帧每秒的实时生成。

交互场景对压缩的额外要求

视频世界模型先把视频压进紧凑的潜空间再生成新帧,因此自编码器的空间压缩比决定每帧要处理多少 token,时间压缩比决定一次动作要等多久才反映到画面。Matrix-Game 2.0、Hunyuan-GameCraft、SANA-WM 这些世界模型大多借用 LTX-2、Wan 2.2 或 HunyuanVideo 这类文生视频生成器的自编码器,而文生视频是双向的,一次生成整段片段,帧之间的依赖是双向的,压缩带来的延迟在离线场景里从来不是问题。

典型 8 倍时间压缩在 20 帧每秒下会让每个动作至少延迟 400 毫秒,而认知神经科学的研究显示人对自己动作变迟钝的感知阈值大约是 230 毫秒。

四个实验结论

CADRE 用 23 个公开视频数据集、约 7.6 万小时视频训练了 7 个自编码器,与 Wan 2.2、Cosmos、LTX-2、DC-AE 以及 MIRA 自编码器重训版做对比,覆盖机器人操作、人手操作、驾驶与室内导航四类环境。

在空间压缩从 16 倍提高到 32 倍时,图像质量几乎不变,FID 8.53 变 8.92,但运动质量 FVD 从 39.4 恶化到 95.2,差 2.4 倍,动作跟随精度 ARR 从 0.73 掉到 0.45。结论是粗粒度 token 先伤运动,其次才伤动作跟随,而镜头是否移动决定了该往哪个方向压缩。整批自编码器形成的帕累托前沿占据了延迟质量曲线的大部分位置,反应时间低于 230 毫秒的只有 CADRE 和 MIRA,后者画质更差。

世界模型这条路线上的开源进展,VAST 开源 EdenLive 实时世界模型 是另一个参照。