李飞飞 World Labs 发 Frameboy:网页 15 帧跑 AI 世界

11 月 6 日,李飞飞创办的 World Labs 推出演示项目 Frameboy,让网友直接在网页端实时探索 AI 生成的多模态世界,最高帧率为每秒 15 帧,通过云端 GPU 流媒体传输。

从 Atlas 到 Frameboy

World Labs 今年 9 月发布了 Atlas,宣称是全球首个多模态世界模型,能够以像素级精确的相机控制生成图像和视频帧,并将其在 3D 中重建。时隔两个月,Frameboy 是这套模型第一次被放进一个可以直接上手的交互壳里,用的是高度优化的 Atlas 版本,定位也从生成工具变成了可以逛的模拟世界。

像游戏机一样操作

Frameboy 是一个类似游戏机的模拟项目。网友点击不同的游戏卡带来选择不同的模拟世界,经过十几秒加载后就能自由探索。按键和摇杆支持触屏与键盘操控,十字键负责移动,摇杆调整视角。IT之家实测后提到整体操作稍微有些卡顿,毕竟最高只有 15 帧。

成本决定了谁能把玩

一个绕不开的现实是,Frameboy 目前必须跑在云端强大的 GPU 服务器上,成本与本地渲染方法相比并不便宜。这也把路线差异摆得很清楚。一边是像VAST EdenLive 那样单卡 RTX 5090 跑出实时世界模型的本地路线,把重活压到本地显卡上;一边是把渲染全丢给云端、用户只用浏览器接管的流媒体路线。前者的瓶颈在单卡算力,后者的瓶颈在带宽与算力账单,帧率、成本、体验上限三者的取舍完全不同,而 Frameboy 眼下显然还只是后者的一个演示样品。