World Labs Frameboy 上线：15 帧实时跑通 AI 世界模型

12 minutes ago AI笔记

一句话结论：World Labs 把自研多模态世界模型 Atlas 装进浏览器，推出研究预览版 Frameboy，用云端 GPU 流式回传帧，让用户在网页端以最高 15 fps 实时探索 AI 生成的三维世界，这是世界模型从离线渲染走向可交互体验的第一个公开样品。

11 月 6 日，李飞飞创办的 World Labs 公开了名为 Frameboy 的研究预览项目。用户打开网页，点击不同的游戏卡带，等待十几秒加载，就能进入一个可以自由走动、拖动视角的 AI 生成世界。帧数据并不在本地计算，而是由云端 GPU 实时生成并以流媒体方式传回浏览器，最高帧率为每秒 15 帧。

World Labs 在官方博客里把这件事说得很直白，速度是这个项目存在的全部理由。一个世界模型如果每次生成都要等几十秒甚至几分钟，用户就只能小心翼翼地布置场景、规划相机路径，迭代周期被压得很长；当输出的边际成本趋近于零时，试错本身就成了探索的一部分。

Frameboy 到底放了什么进去

Frameboy 提供的是一个被高度优化过的 Atlas 变体。Atlas 是 World Labs 今年 9 月发布的多模态世界模型，官方定位是能够以像素级精度控制相机、生成图像与视频帧，并完成三维重建的通用世界模型。两个月后，Frameboy 第一次把这套模型放进了可以直接上手的交互壳子里。

交互形式接近游戏机。十字键负责移动，摇杆调整视角，触屏和键盘都能操作。IT 家在实测中提到整体操作略有卡顿，原因很直接，最高 15 帧离流畅还有距离。

与之配套的还有一个叫 Viewfinder 的网页应用。用户可以先用自己的素材逐帧搭建场景，每一帧由 Atlas 生成，同时输出颜色与深度信息，之后再触发 Frameboy 的实时叠加层，把这个自建世界流式播放出来。Viewfinder 目前处于封闭测试阶段，只能排队等候名单。

速度背后是一笔明码标价的算力账

World Labs 在去年的官方文章里详细算过这笔账。如果直接把现代视频架构套用到世界模型上，生成一条交互式的 4K 60fps 视频流，每秒需要产出超过 10 万个 token，量级大致相当于《弗兰肯斯坦》或《哈利·波特》第一部的长度；而要让生成结果在一小时以上的持续交互中保持存在，上下文规模会膨胀到远超 1 亿 token。以今天的算力基础设施衡量，这既不可行也不经济。

去年发布的 RTFM 就是为了回应这个难题。RTFM 全称 Real-Time Frame Model，是一个在单张 H100 GPU 上就能维持交互帧率的世界模型。它的做法有点反常识：不显式构建三维表示，而是把输入帧转换成 KV cache，让网络隐式地记住世界，生成新视角时通过注意力机制读取这份记忆。这样每帧生成的成本就不随交互时长线性膨胀。

持久性问题则靠另一套机制解决。RTFM 给每一帧赋予三维空间中的位姿，把这些带位姿的帧当作空间记忆。生成新帧时，模型从空间记忆里检索附近的帧组成自定义上下文，这个技术被称为 context juggling。不同空间区域使用不同的上下文帧，从而让大场景在长时间交互中维持几何一致性，不必重新推理整个世界。

Atlas 沿用了 RTFM 的思路并大幅放大。它用比 RTFM 多得多的数据训练，能力也从在既有视点之间插值扩展到从零生成场景，最少只需一张输入图或一句文本描述作为上下文。

World Labs 的产品线已经分成三层

把 Frameboy 放回 World Labs 的整体布局里看，会发现这家公司已经把世界模型拆成了分工明确的三层。Marble 负责生成，Atlas 负责理解与推演，Frameboy 负责实时交互。

产品 定位 输入 输出 可用状态
Marble 多模态世界生成 文本、图像、视频、粗粒度三维布局 可导出的 3D 世界，高斯泼溅、网格或视频 已正式开放注册
Atlas 多模态自回归扩散 Transformer 文本、图像、视频、3D 统一进共享空间上下文 相机可控的生成、重建与时空模拟 研究预览与合作伙伴早期访问
Frameboy 实时交互演示 单张输入图生成的世界，或 Viewfinder 自建场景 浏览器内最高 15 fps 的可导航画面 研究预览，公开可试
Viewfinder 逐帧搭建场景的网页应用 用户自己的多视角素材 带颜色与深度的 3D 一致场景 封闭测试，有候补名单

Marble 近期一次更新让它能直接从文本、图像、视频甚至粗粒度三维布局生成 3D 世界，并支持交互式编辑、扩展与组合，生成结果可导出为高斯泼溅、网格或视频。World Labs 还围绕 Marble 推出了 Marble Labs 创意社区，沉淀案例、教程与文档。公司同期开放了 World API，把生成可探索 3D 世界的能力做成异步调用接口。

和别的世界模型比，差别在哪

把 Frameboy 放到更宽的世界模型版图里对比，能更清楚地看到它的位置。Google 的 Genie 4 走的是另一条路，生成两分钟量级的世界模拟并带原生音频，用 Gemini 负责导演调度；魔芯的 MoWorld 2.0 强调昇腾原生 4D 世界模型，把推理成本压到 GPU 的三成；Hy-Nomas 则是 8B 世界模型，用 20.53 GiB 显存在单卡 RTX 4090 上跑 100 秒。

方案 核心取舍 算力位置 典型帧率或时长
World Labs Frameboy 实时可交互优先，接受粗糙帧率 云端 GPU 流媒体 最高 15 fps
World Labs RTFM 单卡可部署，学习式渲染器 单张 H100 交互帧率
Google Genie 4 长片段世界模拟与原生音频 云端 两分钟量级模拟
魔芯 MoWorld 2.0 国产芯片原生 4D 世界模型 昇腾 推理成本降至 GPU 三成
Hy-Nomas 8B 轻量世界模型，消费级显卡可跑 单卡 RTX 4090，20.53 GiB 显存 100 秒

更值得留意的是行业格局本身。AMD 在今年 9 月以 82 亿美元全股票方式收购了 World Labs，李飞飞出任执行副总裁。这意味着这条技术路线背后已经站上了主流算力厂商的资本，实时世界模型的推进速度可能会比过去一年快得多。相关背景可以看 AMD 收购 World Labs 的 82 亿美元交易细节。

这个演示目前还有哪些硬限制

World Labs 自己在官方博客里承认了三点。第一，Frameboy 必须跑在云端强大的 GPU 服务器上，相比本地渲染方法并不便宜。第二，帧率上限 15 帧，交互上会感到卡顿。第三，Viewfinder 仍在封闭测试，Frameboy 目前提供的是一份精选场景列表，用户还不能完全自助地把任意输入接进去。

换句话说，Frameboy 证明的是可行性，不是可用性。它把世界模型的延迟从分钟级压到交互级，代价是算力账单从用户口袋转移到了云端账上。当延迟与成本继续下降时，用户甚至不再能感知到生成这个离散动作本身，模型只是在导航过程中持续把帧流回来。这条路线的终点还看不到，但起点已经摆在那里了。

有意思的是，World Labs 引用 Atlas 发布时提出的技术架构时说，性能随训练算力增加而提升的趋势应当延续；Frameboy 跑在一个被优化过的 Atlas 变体上，这个变体本身就是为最快最省的推理而生的。这两件事合起来看，实时世界模型的迭代路径与普通大模型并无二致。

常见问题

Frameboy 是什么，怎么用

Frameboy 是 World Labs 推出的研究预览演示项目，用被优化的世界模型 Atlas 变体在云端 GPU 上实时生成画面，以流媒体方式传回浏览器，最高 15 fps。用户不需要申请，访问官方网页即可体验，点击卡片加载世界后用键盘或触屏控制相机移动与转向。Viewfinder 让用户自己逐帧搭建场景再实时探索，目前仍需排队等候封闭测试名额。

Frameboy 和 Atlas、Marble 有什么区别

Atlas 是底层模型，负责理解与生成世界，Frameboy 是把 Atlas 装进浏览器的实时交互外壳，Marble 则负责生成可导出的完整 3D 世界。三者的区别主要在使用场景与交付形态，而不是能力高低。Frameboy 要解决的是延迟问题，Marble 要解决的是生产问题。

为什么实时世界模型现在还是跑在云端

因为世界模型对算力的需求远高于同规模的大语言模型。官方估算，交互式 4K 60fps 视频流每秒需要超过 10 万 token 的产出，长时间维持上下文更会突破 1 亿 token 量级。RTFM 把单卡门槛压到一张 H100 已经是很大进步，而 Frameboy 使用的 Atlas 变体规模更大，目前只能在云端 GPU 上跑，成本自然不低。轻量路线也有进展，Hy-Nomas 这类 8B 世界模型已经能在单张消费级显卡上跑起来。

小结

Frameboy 的意义不在于它有多流畅。15 帧的交互离真正的实时渲染还有距离，云端 GPU 的成本也让它注定是个研究预览而非产品。但它把世界模型这条长期路线上最关键的一环摆到了明面上，验证了多模态世界模型可以被压缩进浏览器能承受的延迟区间。Atlas 负责推演，Marble 负责生成，Frameboy 负责让人走进去，World Labs 这三层的分工已经相当清晰。至于 15 帧什么时候变成 60 帧、成本什么时候降到本地能承受，这取决于算力价格曲线，而这恰好是所有生成式技术最终要回答的同一个问题。

相关阅读

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：

Related News