结论先行:李飞飞旗下 World Labs 推出了 Atlas,官方定位为全球首个多模态世界模型。它采用多模态自回归扩散 Transformer 架构,支持像素级相机控制生成图像与视频、3D 场景重建以及时空模拟;据公布的信息,Atlas 在相机控制生成和 3D 重建任务上均超越了现有 SOTA 模型,被视为机器人 Real-to-Sim 的关键一步,目前正向部分合作伙伴开放早期访问。
一、Atlas 到底是什么
“世界模型”这个词被用得很泛,最朴素的定义是:能根据输入预测世界如何变化的模型。它不只生成一张图,而是要理解”如果我从这个角度看、往前走两步、把物体挪一下,画面会变成什么样”。
Atlas 被称为”多模态”世界模型,是因为它把图像、视频、3D 几何与时序统一进同一套建模里,而不是分别为每种任务训练一个专用模型。
二、技术路径:多模态自回归扩散 Transformer
架构上,Atlas 采用的是多模态自回归扩散 Transformer。这句话可以拆成三部分理解:
- Transformer:负责跨模态、跨时间步的长程依赖建模,是把不同模态拉进同一表征空间的基础设施。
- 扩散:负责高质量生成。扩散模型在图像与视频生成上的画质与稳定性已被充分验证,代价是推理步数较多。
- 自回归:负责时序推进。世界模型需要按时间步持续推演,自回归结构让它能基于已生成的状态继续往前走,而不是每一帧独立采样。
三者结合的目标很明确:既要有扩散的画质,又要有自回归的时序一致性——后者正是世界模型区别于普通视频生成模型的关键。
三、三项核心能力
1. 像素级相机控制生成图像与视频
普通视频生成模型给你的是”一段看起来合理的画面”,相机轨迹基本由模型自由发挥。Atlas 强调的是像素级相机控制:给定相机位姿与运动,生成的画面要在像素层面与之对应。
这件事的意义在于可控性。只有当相机是可控的,生成的画面才能被用于需要几何正确性的下游任务,例如视角合成、数据增强与仿真环境搭建。
2. 3D 场景重建
从有限的观测恢复出场景的三维结构,是计算机视觉的经典难题。Atlas 把重建纳入世界模型的统一框架,意味着生成与重建不再割裂:模型既能”想象”未见视角,也能把已见内容落成几何一致的三维表示。
3. 时空模拟
时空模拟是世界模型最具前瞻性的部分——不只描述静态场景,还推演场景随时间如何演化。对机器人而言,这相当于在脑子里先跑一遍动作后果,再决定要不要真的做。
四、能力对照
| 能力 | Atlas 的表现 | 与普通生成模型的差别 |
|---|---|---|
| 相机控制生成 | 像素级可控,超现有 SOTA | 普通模型相机轨迹不可控 |
| 3D 场景重建 | 纳入统一框架,超现有 SOTA | 通常需独立重建流水线 |
| 时空模拟 | 支持场景随时间演化推演 | 视频生成不保证物理一致性 |
| 模态覆盖 | 图像、视频、3D 几何、时序统一 | 多模态任务常需多模型拼接 |
| 开放状态 | 向部分合作伙伴早期访问 | — |
五、为什么它被看作机器人 Real-to-Sim 的关键一步
机器人领域有一条常被提及的路径:Real-to-Sim-to-Real——把真实世界观测转成仿真环境,在仿真里大规模训练策略,再部署回真实世界。这条链路的瓶颈一直在”Sim”这一段:仿真环境做得不够真,训练出来的策略一上真机就失效。
世界模型恰好补在这个位置上。如果模型能从少量真实观测生成几何一致、相机可控、可按时序推演的场景,那么构建高保真仿真环境的成本会大幅下降,策略训练的数据规模也不再受真机采集速度限制。
需要客观说明的是,”关键一步”不等于”已经解决”。从仿真到真机仍然存在动力学差异、接触建模与传感器噪声等鸿沟,世界模型能缩小的主要是视觉与场景层面的差距。
六、当前阶段需要保留的判断
- 开放范围有限:目前仅向部分合作伙伴开放早期访问,外部开发者暂时无法直接上手验证。
- SOTA 需看口径:相机控制生成与 3D 重建的 SOTA 结论取决于评测集与指标定义,跨论文比较时需注意一致性。
- 计算开销:扩散 + 自回归的组合在推理成本上通常高于单阶段模型,实时性是其走向机器人闭环控制前必须跨过的门槛。
- 与空间智能叙事的关系:Atlas 是 World Labs 空间智能路线下的产物,评估它应放在长期路线里看,而非按单模型发布来期待短期落地。
七、常见问题
Q1:世界模型和视频生成模型有什么本质区别?
视频生成追求”看起来合理”,世界模型追求”推演得正确”。后者要求相机可控、几何一致、时序可推演,因为它的输出要被下游任务(如仿真与机器人训练)当作环境来使用。
Q2:像素级相机控制有什么实际用途?
可以用于视角合成、训练数据增强、虚拟拍摄与仿真环境构建。只要下游任务对几何正确性有要求,相机可控就是必要条件。
Q3:普通开发者现在能用上 Atlas 吗?
暂不能直接访问。目前只向部分合作伙伴开放早期访问,公开可用时间尚未明确,建议以官方后续公布为准。
八、小结
Atlas 的看点不在”又一个生成模型”,而在它把相机控制、3D 重建与时空模拟收进了同一个多模态自回归扩散框架,并在前两项上超过了现有 SOTA。对机器人方向来说,它指向的是 Real-to-Sim 中最贵的那一段——高保真仿真环境的构建成本;对整个行业来说,它验证了一条技术判断:世界模型的竞争焦点,正在从”生成得像不像”转向”推演得对不对”。
