Google Genie 4 发布:2 分钟世界模拟与原生音频,Gemini 做导演

一句话结论:Google DeepMind 于 2026 年 10 月 27 日发布世界模型 Genie 4,它把连续交互时长从 Genie 3 的一分钟左右推到约两分钟,首次让实时世界模型原生生成环境音与人物对话,可用自然语言在模拟运行中途改写场景,目前以研究预览形式向可信测试者开放。

这是 DeepMind 继 2025 年 8 月 5 日发布 Genie 3 之后,世界模型方向上的第二次大版本更新。Genie 4 的官方公告由 Raia Hadsell、Diego Rivas、Hang Qi 署名,标题为《Genie 4: A new generation of world simulation》。公告把这次升级拆成四块能力:自然语言实时操控、物理与人体动作真实感、原生音频、用 Gemini 模型处理复杂事件。

理解 Genie 4 的关键在于它的定位。DeepMind 把理解并模拟世界看作通往 AGI 的必要一步,Genie 4 要造的是一个可以无限变化的训练环境,让机器人和智能体在部署到真实世界之前,先在模拟里把流程走通。要做到这一点,模型必须同时处理三件事:画面要像真的,物理要对得上,声音得跟着画面同步长出来。这正是 Genie 3 没能覆盖完整的一块。

四项能力:操控、物理、声音与复杂事件

第一项是用自然语言实时改写正在运行的模拟。用户在演示里用键盘控制移动和镜头,同时用一句提示语改变天气、挪动镜头、加入新的人或新物体。关键机制在于 Gemini 会先把这句提示按当前场景做上下文适配,再把它翻译成对模拟的实际指令。两次输入之间,Gemini 也没有闲着,它持续观察场景并引导世界保持连贯。

第二项是物理与人体动作的真实感。公告点名了空气动力学和碰撞这类物理场景,也举了枫树种子落向草地、西瓜落在石台上、1980 年代日本乡村车站里行人行走候车登车这些演示例子。人物部分被官方称为变化最大的一块,角色不再有明显恐怖谷感,能自然移动、对环境变化做出即时反应,并且可以被用户实时引导。演示覆盖的场景还包括南极冰川与热气球、彩色玻璃构成的三维世界、骑士骑乘巨龙竞速、机器人执行实验室操作、鹤在雪地行走。

第三项是原生音频,这是 Genie 4 相对前代最本质的变化。它是 DeepMind 第一个自带音频生成的实时世界模型,每个世界都带着自己的环境声:树上的风、海岸的浪、室内房间的底噪、地板的吱呀、火焰的噼啪、飞行时的翼拍。人物之间还能实时对话,对话会响应用户输入,也会对世界里正在发生的事件作出反应。公告对语音的措辞很直接,认为人类语音才是真正的技术前沿。

第四项是用 Gemini 家族模型处理复杂的多步骤事件。Gemini Omni 负责把模拟锚定在现实世界的外观与行为上,其他 Gemini 模型负责维持模拟的连贯性。

Gemini 3.8 Flash 在幕后做导演

复杂事件的处理依赖一个闭环。Gemini 3.8 Flash 作为引导智能体在回路里持续工作:观察 Genie 4 生成的场景,把目标拆成一步步的动作,检查每一帧以确认那一步是否成功,当场景变化或用户插进来时立即重排计划。

这套机制换来的东西被官方概括成三点:可靠的因果关系、程序化行为、多步骤推理。DeepMind 的说法是,用户设一个事件之后,模型会推演世界如何响应、发出什么声音、人怎么动怎么反应怎么说话。

更完整的形态叫混合世界模型,Google 研究主管 Tejas Kulkarni 在媒体简报里把它说成未来的方向:一部分由 Gemini 写代码和文本,一部分由 Genie 实时摄入并模拟现实,两者按不同抽象层级配合。Gemini 在幕后映射结构、规划叙事时间线,Genie 逐像素渲染出即时的物理现实。

Genie 4 还和 Gemini 4 Argon、Gemini Robotics 做了组合实验。Argon 把用户指定的机器人任务拆成步骤,以文字字幕的形式一边交错发给正在渲染的 Genie 4,模拟随之实时改变,演示案例是 Apptronik 的 Apollo 人形机器人下国际象棋,模拟会随任务推进不断调整。这类做法此前在站内讨论过,Gemini 4 Argon 的机器人版本同样走的是用一图生成数千条训练数据的路子。

五类测试者已经在用

官方把 Genie 4 定位成研究里程碑,同时强调它仍是早期实验模型,先以研究预览形式向可信测试者开放,覆盖创意产业、新闻业、教育、游戏和工程等行业。

电影创作者把它当作快速草稿模式用:进入一个实时模拟场景,在其中连续拍多个 take,实时调整镜头角度、灯光、对白和动作。这类工作原本需要多轮静态渲染和预演才能收敛,现在可以边跑边改。新闻摄影工作者在测试把一张二维历史档案照片变成基于该环境的三维模拟,数秒内生成带人物和动态的场景,用来体验历史空间,也用来观察山洪暴发、野火这类短期环境事件的演进过程。

游戏开发者在用它在几秒内从初始想法生成可探索原型,在动手写引擎代码之前先测视觉风格、材质美学和交互机制。企业伙伴在评估它能不能做零到一的场景生成,用来快速构造可交互模拟做假设测试,不过官方也承认测试者仍在找模型与真实企业需求之间的差距。

机器人方向则更基础:把 Genie 4 当训练环境用,让智能体在模拟里获得无限变化的场景。DeepMind 在发布前做了内部严格安全评估,所有生成的视频和音频都带 SynthID 水印,这也是 Google 用来识别 AI 生成内容的那套隐形标记机制。

六项没有解决的问题

官方列出的限制清单比宣传语长得多,这份清单对判断 Genie 4 现在能干什么更实用。

第一项是长会话一致性。会话越长、复杂提示编辑越多、用户在场景里探索越充分,视觉细节越容易漂移,物体恒存性也会丢失。公告的表述是环境在较短会话里保持连贯,但持续运行后会变。Genie 3 的官方博客里同样写着视觉记忆只能回溯到一分钟之前,一分钟前去过的地方再回来,模型需要重新回忆相关信息。

第二项是复杂物理互动。精确碰撞、精细接触关系、多物体互动,这些仍属于活跃研究领域,需要严格物理一致性的长序列行为还没有解决。

第三项是实时音频准确性。原生音频已经能跑起来,但声音和真实事件之间的精确对应关系并不完整。第四项是文字渲染,清晰稳定的可读文字依然做不到,这意味着 Genie 4 不适合当文字生成或排版系统用。

第五项是空间准确性,场景导航里的位置关系会漂移,长距离探索时一致性下降。第六项是长期一致性,场景布局、物体外观、物体是否持续存在、多次提示编辑后的世界连续性都会随时间变化。

Genie 3、Genie 4 与 GWM Worlds 2 对照

把三者的公开参数放在一起看,Genie 4 提升在哪里就清楚了。需要说明的是,DeepMind 至今没有公布 Genie 4 的基准分数,下表中的可量化项来自官方公告与产品页,缺失项如实标注为未公布。

维度 Genie 3 Genie 4 Runway GWM Worlds 2
发布时间 2025 年 8 月 5 日 2026 年 10 月 27 日 2026 年 8 月前后,媒体报道为 Genie 4 前两个月
连续交互时长 约一分钟(媒体据前代上限推算,官方口径为几分钟) 约两分钟 未公布明确上限
分辨率与帧率 720p / 24 fps 未公布 未公布
原生音频 无 有,环境音加人物对话 有
中途自然语言改写 无 有,改天气、镜头、人物、物体 可玩模型,响应用户输入
引导模型 模型自身维持 Gemini Omni 加 Gemini 3.8 Flash 引导代理 未公布
发布形态 研究预览 研究预览,先向可信测试者开放 产品化发布
公开基准分数 未公布 未公布 未公布
价格 未公布 未公布 订阅制

表里最值得留意的一行是时长。720p 与 24 fps 这两个数字停留在 Genie 3,Genie 4 没有更新分辨率和帧率的说法,一致性时长的翻倍是唯一被量化的改进。世界模型这条赛道同时在收拢,DeepMind 的 Genie 4 撞上 Runway 的 GWM Worlds 2,而 World Labs 被 AMD 收购、Decart 传出被亚马逊洽购、Rivian 拿下 Third Dimension,都是把模拟能力往自己手里收的动作。

常见问题

Genie 4 现在谁能用

当前只有可信测试者能用,官方按研究预览的方式推进。后续开放顺序是先给 Project Genie 里的 Google AI Ultra 订阅者,再给 Gemini API 与 Google AI Studio 的早期访问合作伙伴,公开的等待名单表单已经挂出。定价与具体日期官方都没有给出。

Genie 4 能连续用多久

官方口径是几分钟,产品页与报道普遍记为约两分钟,相比 Genie 3 的一分钟左右翻了一倍。这个数字是体验上限而非硬性规格,DeepMind 明确说长会话会出现细节漂移与物体恒存性丢失,而且没有公布会话时长的精确规格与衰减曲线。

开发者现在能用 API 调到 Genie 4 吗

不能。官方没有公布 Genie 4 的 API 规格、参数与定价,Gemini API 和 Google AI Studio 的早期访问合作伙伴是唯一拿到资格的开发者通道。普通开发者要等这轮预览跑完、开放名单公布之后才能动手。

小结

Genie 4 这次推进的不是画面分辨率,而是交互的完整度。声音第一次和世界一起长出来,场景可以在运行中途被改写,人物能开口说话并且回应用户,这些变化让实时世界模拟第一次接近可用的产品形态,而不是一段预录的演示视频。

它同时踩在自己的短板上。两分钟的上限、漂移的物体、算不准的碰撞、不够准的音频、渲染不出的文字,这几项决定了它离真正的机器人训练场还有距离。DeepMind 把它放在研究预览而不是正式发布,态度是诚实的。对关注者来说,值得盯的是接下来两件事:开放给 Google AI Ultra 订阅者之后普通人的实际体验有多稳,以及 Gemini 4 Argon 加 Genie 4 加 Gemini Robotics 这条组合路线能不能把模拟环境的价值真正落到机器人训练上。

相关阅读