Kyutai CADRE 深度：7 个自编码器把交互延迟压到 230 毫秒内

一句话结论：Kyutai 在 2026 年 10 月 22 日开源的 CADRE 视频自编码器家族，用 7 个成员把交互式世界模型的动作延迟压到 230 毫秒以内，在单张 H100 上跑满 20 帧每秒，是这条路线上第一个把延迟、质量、开源三件事同时摆平的方案。

交互式世界模型这几年一直停在演示阶段。模型能生成逼真的未来画面，可当你真的推下手柄，画面要等上一拍才反应过来。慢的根源在结构层面，跟渲染速度无关。绝大多数世界模型直接借用了文生视频生成器的自编码器，而这类自编码器是双向的、一次生成整段片段、还把好几帧压进同一个潜帧。离线剪辑时这叫效率，接到交互回路里，每一次操作都得排队等整块潜帧凑齐。Kyutai 把这个问题单独拎出来做了，CADRE 全称 causal diffusion representation autoencoders，即因果扩散表示自编码器，论文、代码、模型权重和在线 Demo 一次性全部放出，做法是重新设计自编码器本身，把改造的活儿做进这一层里。

230 毫秒这条线是怎么来的

交互延迟的门槛来自认知神经科学。Shimada 等人 2009 年的研究给出一个被反复引用的数字：人对自己动作变迟钝的感知阈值大约在 230 毫秒。低于这个数，动作和画面主观上还是连着的；超过这个数，人会明确感觉到推了之后没反应。

传统自编码器为什么一定会越线，算式其实很简单。世界模型以 20 帧每秒生成画面，如果自编码器把 8 帧原始画面压成 1 个潜帧，这个潜帧就要等到覆盖它的全部动作到齐才能生成和解码，光这段等待就是 400 毫秒。压缩比例该定在哪里更麻烦，Wan 2.2、Cosmos、LTX-2 这些自编码器权重虽开放，却没有原始训练数据和代码，没法在别的压缩率上重训。

CADRE 是什么：7 个成员，一套架构

CADRE 是一个覆盖 7 种时空压缩配置的开放家族，架构相当克制。每一帧先经过一个冻结的 DINOv3 图像模型读取特征，再由一个可训练的三维卷积瓶颈完成压缩，解码端换成因果扩散解码器。7 个成员之间只有这个瓶颈不同，压缩率变了，别的都不变。可训练部分约 4.76 亿参数，叠加 8600 万参数的冻结 DINOv3 ViT-B/16，训练用 flow matching，没有对抗损失，蒸馏在单个阶段内完成，最终压到一步或两步解码。

配置命名采用 τ×s×s 的写法，第一项是每个潜帧打包的原始帧数，后两项是空间两个方向的压缩倍率。2×32×32 就是 2 帧合成 1 个潜帧，空间宽高各压缩 32 倍，相比 16×16 同样一帧要处理的 token 数只有四分之一。论文没有逐一列出全部 7 个成员的完整命名，可确认的档位包括 1×16×16、1×48×48、2×16×16、2×32×32、4×16×16、8×16×16。训练数据是 23 个公开视频数据集混合出的约 7.6 万小时视频，覆盖网页、机器人、驾驶和相机视频四类来源。

延迟账本：200 毫秒等待加 121 毫秒生成

官方博客给出了一次完整的延迟拆解。单帧输入一个动作，16 倍空间压缩，20 帧每秒，单张 H100。等待潜帧收集齐所有动作花了 200 毫秒，生成并解码花了 121 毫秒，合计 321 毫秒。这个被刻意展示的负面案例说明，即使空间压缩放到 16 倍，只要时间压缩把多个动作打包，延迟依然会越线。

真正跑进实时区间的是更保守的配置。官方报告的对比数据里，CADRE-2×32×32 在单步解码下反应时间是 185 毫秒，同时维持 23.4 帧每秒；Wan 2.2 需要 317 毫秒，LTX-2 需要 492 毫秒，Cosmos 需要 605 毫秒。图像自编码器 DC-AE 更快，118 毫秒，但它不压缩时间，只能逐帧处理，走不了交互式世界模型那条路。整个对比里能把延迟压到 230 毫秒以内的方案只有 CADRE 和 MIRA 两个，前者的画质与运动质量更好，延迟质量帕累托前沿的绝大部分位置由 CADRE 占据，相机运动的场景里优势更明显。

压缩怎么选：静止相机和移动相机要反着来

这套研究最有实用价值的产出是一条选型规则，某个模型本身反倒排在其次。论文给出的结论是操作与导航需要方向相反的压缩策略。相机静止时连续几帧画面几乎不变，时间压缩很划算；相机一动整个视野逐帧都在变，再把多帧压成一块等于丢掉运动信息。在固定 token 预算下，操作场景的最优解是 CADRE-8×16×16，保留 8 帧、把空间 token 做细；导航场景的最优解是 CADRE-2×32×32，只留 2 帧、把空间压粗。64 秒的长操作回合测试里，前者在约 13 秒之后拿下最低 FVD。

移动相机下时间压缩的代价被量化了。导航场景里把潜帧从 2 帧加长，FVD 最差涨 64%；移动视角下 8 帧潜帧相比 2 帧，FVD 多出 1.6 到 2.1 倍，分块边界处还会出现可见接缝，boundary excess 在 8 帧配置下达到 1.6 到 1.8。

另一个反直觉的发现是粗粒度空间 token 先伤运动，后伤画质。机器人操作、时间压缩 2 帧的条件下，把空间压缩从 16 倍加到 32 倍，图像质量几乎没变，运动质量恶化得厉害，动作跟随也一起下滑。这一现象在导航场景里几乎消失，因为导航动作让整个画面都在动，粗 token 反而够用。

质量账本：42 比 48 的胜率，以及最差的一档

官方给出的总账是这样算的：与 MIRA、Wan 2.2、Cosmos、LTX-2 四个基线，在 4 个环境、3 项指标上共构成 48 组比较，其中 42 组里 CADRE 不但至少同样快，质量还高出 2% 以上。DC-AE 因为全面更快被单独讨论，没计入这 48 组。

分环境看，导航是优势最集中的地方。除一个成员外，其余配置在 FID 和 FVD 上都胜过其它方法；作为对照，Wan 2.2 在导航场景 FVD 会涨到 600 以上，机器人操作场景是 53，LTX-2 在室内导航的动作跟随 ARR 只有 0.04，几乎无法从生成画面反推动作。赢面最大的单项是驾驶场景，官方报告的最好成绩是 CADRE-2×16×16 单步解码下 FVD 162.6，而同场景 Wan 2.2 是 599.7。同一套评测里最差的一档出现在机器人操作的动作跟随上，CADRE-2×32×32 的 ARR 为 0.45，Wan 2.2 是 0.85。

解码器的选择同样贡献了实测差异。在 2×32×32 配置上，把 CADRE 的扩散解码器换成 MIRA 那套感知回归解码器，FVD 会高 1.4 到 2.5 倍，CADRE 走第二步解码还能把 FID 再降最多 23%。这里有个反直觉的读法，MIRA 的 PSNR 最好、FVD 最差，恰好说明它在输出模糊的平均解。强压缩下一个潜帧对应很多种可能的未来，回归解码器只会给出糊掉的折中，扩散解码器才有能力挑出清晰的那一个。

把时间压缩放进自编码器，别放在世界模型里

时间压缩并非只能发生在自编码器里。另一条路是保持潜帧逐帧独立，让世界模型在内部把多帧打包成动作块。两种方案最终占用的 token 网格可以完全相同，看起来等价，实际差别很大。实验用 CADRE-1×16×16 做底座，再在世界模型内部对潜帧做时间分块，2 帧时两种方案的 FVD 差距有 9 分，8 帧时差距拉大到 28 分。更要紧的是动作跟随，8 帧配置下世界模型内部分块的 ARR 只有 0.56，在自编码器里完成时间压缩能保住 0.72。

原因不复杂。自编码器专门训练来把多帧还原成清晰画面，压缩时能看到这组帧的完整内容，压出来的东西更接近真实未来。世界模型内部分块只是把已独立生成的潜帧机械拼在一起，既没针对性训练，也让模型丢掉动作与画面的对应关系。压缩的位置决定了信息损失发生在视觉层还是动作层，视觉层的损失可以用更强的解码器补回来，动作层的损失补不回来。

落地成本与许可：单卡 H100，代码 MIT 加非商用权重

工程落地的数字同样具体。支撑起 20 帧每秒的是 1.2B 参数的因果扩散世界模型，配方沿用 MIRA，训练目标为 diffusion forcing。分辨率 288×512，训练片段 40 帧即 2 秒，生成 96 帧即 4.8 秒，评测用 2048 个留出样本，所有延迟与帧率数字都在单张 H100 上以 bf16、batch 1 计时得出。许可分两层，代码走 MIT，模型权重走非商用的 CC BY-NC 4.0，论文、代码仓库、模型集合和在线 Demo 一并挂出。边界也要留意，185 毫秒是特定配置在单卡 H100 上的最好成绩，量化版本信息未披露，在自己关心的场景上看到独立复现之前，这类数字应当作参考值看待。

这批模型对做世界模型的人意味着什么

如果你的方向是交互式世界模型、机器人仿真或游戏智能体，CADRE 直接改变的是成本结构。过去这类项目要拿到 230 毫秒以内的交互延迟，通常得自己从零训练自编码器，等于重新准备 7.6 万小时视频和完整训练流水线。现在这一层被开放出来，压缩率也能在同一套数据上重训。更实际的收益是选型不再靠猜，静止相机压时间、移动相机压空间这条规则把过去靠试错得出的结论固化成了可迁移的判断依据。

同期 VAST 开源了 EdenLive，同样主打实时世界模型，路线是单张 RTX 5090 跑 5B 和 14B 两个版本，属于从生成模型本身下手。CADRE 走的是把压缩这一层单独拆出来重做，一个偏端侧算力，一个偏交互延迟下限，共同点是都把实时性从口号变成了可以测的指标。230 毫秒这个阈值重要，因为它既是人类感知的主观边界，也是能被所有人验证的公共标尺。

常见问题

CADRE 和普通的视频生成自编码器有什么区别

核心区别在因果性和时间压缩的激进程度。文生视频自编码器是双向的，一次生成整段片段，帧之间互相依赖，压缩带来的延迟在离线场景里从来无关紧要。CADRE 是因果的，可以在动作到达后立刻生成对应潜帧，代价是对压缩比例和场景类型的要求更高。它真正研究的是世界模型该压多狠、压在哪个环节、压时间还是压空间这三个问题。

230 毫秒的延迟是在什么硬件上测出来的

全部在单张 H100 上以 bf16、batch 1 计时，分辨率 288×512、帧率 20 帧每秒。最好成绩是 CADRE-2×32×32 单步解码下的 185 毫秒与 23.4 帧每秒，同配置下 Wan 2.2 是 317 毫秒，LTX-2 是 492 毫秒，Cosmos 是 605 毫秒。量化版本信息没有披露，换到消费级显卡的结果需要自己测。

我能不能直接拿 CADRE 做机器人仿真

可以，但要先选对压缩配置。相机固定的机械臂场景选 CADRE-8×16×16 这类保留多帧、把空间 token 做细的配置，相机运动的场景选 CADRE-2×32×32 这类少留帧、把空间压粗的配置。导航环境的 FVD 能达到 162.6 对 599.7 的差距，但最差的一档动作跟随 ARR 只有 0.45，说明强压缩配错场景会丢掉动作信息，不能指望一个配置通吃。

小结

CADRE 的贡献分三层。数字层面：单张 H100、20 帧每秒、185 毫秒，最好成绩进入人类感知的无延迟区间。方法层面：时间压缩放在自编码器里优于放在世界模型里，静止相机压时间而移动相机压空间，粗空间 token 先伤运动再伤画质，三条结论都有消融实验支撑。开放层面：论文、代码、非商用权重、评测协议和可直接键盘驱动的 Demo 一起放了出来。

留下的问题同样清楚。7 个成员的完整配置与参数量表没有逐一列出，量化版本情况未披露，权重不可商用对产业方是实质限制。但放进时间线上看，交互式世界模型第一次有了公开、可测、可复现的延迟基准，接下来的问题就变成了别人能在上面跑出什么。