米哈游 Gamer 模型解析:20 倍延迟压缩与 49.7% 成功率

一句话结论:米哈游《崩坏》系列 AI 研发团队 11 月 17 日公布的通用视觉语言动作基础模型 Gamer,用 20 倍延迟压缩把视觉操作型智能体推到了可实时交互的门槛上,40 个未见过的小游戏任务宏平均成功率 49.7%,而最强通用基线 GPT-6.1-Sol 只有 17.1%。

这项工作的看点不在于「AI 会打游戏」这个结论,而在于它给出了可复算的一组数字:端到端请求延迟从 1306 毫秒压到 65.12 毫秒,训练轨迹超过 1 万小时,思维标注约 120 万条,记忆标注约 22.3 万条。Gamer 背后的团队是米哈游的 Honkai AI R&D Team,技术报告 arXiv:2611.18397 于 11 月 13 日挂出,代码仓库以 Apache 2.0 协议公开。

它与市面上「让模型操作网页」的智能体不同。Gamer 不读游戏内存,不调用游戏私有接口,只看屏幕像素,输出真实的键盘与鼠标事件。这种设定意味着任何有画面和键鼠的应用都能套用同一套管线,代价是难度指数级上升。同一团队在 10 月开源过 GameScaling,用实时模型玩 Minecraft 与 Doom,Gamer 是一个月内的第二个游戏智能体项目。

5 帧画面输入,30 赫兹键鼠输出

Gamer 的观察端每秒采样 5 帧画面,动作端却要输出相当于 30 Hz 的原生按键状态与鼠标移动。这个频率差是整篇论文的工程核心。团队的做法是:在每个 200 毫秒的观测间隔里,模型一次性预测一个鼠标位移量(ΔX、ΔY、滚轮)和 6 个连续的 33 毫秒按键状态块,靠这套时间分块在不额外增加动作头的前提下把控制频率抬到 30 Hz。

动作序列里重复的按键状态会淹没 token 级监督,因为按住一个键十次和按住一次在文本序列上长度差十倍,权重却几乎一样。团队为此加了重复感知损失衰减,把第 n 次连续重复的权重按 γ 的 n-1 次方缩进,γ 取 0.90 时,动作转移点的权重占比被拉高,而按住时长信息仍然保留。

另一个容易被忽略的细节是随机按键重映射。训练时同一条轨迹里的可重绑定按键会被随机一一映射,例如 A/D 变成 D/A,但控制规范和动作标签同步改写。模型因此被迫学习「向左移动」这类按键功能,而不是死记某个字母。真实玩家用左手还是右手、用什么键位都不影响表现,这一点对通用性至关重要。

三阶段训练与 1 万小时轨迹

训练被拆成三段,每段解决一个具体问题。

持续预训练阶段用超过 1 万小时的跨游戏键鼠操作轨迹做规模化训练,轨迹覆盖模拟游戏与具身环境,模型先学会把屏幕观察映射到统一动作表示。指令微调阶段补上任务监督,数据量级可以直接读出来:原始游戏录像超过 1 万小时,其中整理出约 1 千小时的《崩坏:星穹铁道》片段,思维标注约 120 万条,记忆标注约 22.3 万条,活动片段约 6.3 万条。强化学习阶段用时序感知 GRPO(TA-GRPO)在线优化,不设价值评论家也不训练奖励模型,奖励直接来自环境可验证结果。

训练阶段 数据或方法 解决的问题
持续预训练 CPT 超过 1 万小时跨游戏键鼠轨迹 统一动作表示下的可迁移视觉控制
指令微调 SFT 约 120 万条思维标注、约 22.3 万条记忆标注 关键决策点推理与跨上下文记忆
在线强化学习 RL TA-GRPO,环境可验证奖励,无价值评论家 长程执行、稀疏奖励与上下文窗口限制

推理与记忆共用同一条自回归输出序列。模型在路线切换、目标转移、新交互提示、任务切换这些节点上才生成推理文本,平常的操作步直接输出动作。记忆摘要会保留已完成目标、失败尝试、重要位置、可用资源和剩余计划,让旧交互退出活跃上下文后任务进度不丢。TA-GRPO 的处理方式也值得注意,它训练的是由记忆串联起来的轨迹片段,把奖励的时间信用分配落到具体片段上,而不是把整条长轨迹压成一个标量。

15.0% 到 49.7% 的三级跳

官方给出的评测在《崩坏:星穹铁道》的两段支线和 40 个小游戏上展开,小游戏覆盖 7 种类型,指标是七类等权宏平均。

评测项 Gamer-CPT Gamer-SFT Gamer-RL
支线 Opportunity Makes the Thief (Part I) 34.4% 72.2% 80.0%
支线 Bestial Ferocity 47.9% 69.1% 83.6%
40 个小游戏宏平均(七类等权) 15.0% 39.2% 49.7%

同一张表里还有一条参照线:最强通用基线 GPT-6.1-Sol 的宏平均是 17.1%,比 Gamer-CPT 的持续预训练版本还高不了多少。这条对比说明三件事。视觉控制能力主要来自规模化轨迹与训练配方,而不是通用模型的参数规模;强化学习阶段的贡献是决定性的,宏平均一次抬升 10.5 个百分点,两段支线分别抬升 7.8 和 14.5 个百分点;49.7% 距离人类熟练玩家仍有距离,官方表述是操作效率与熟练玩家相当,而不是超越。

2D 基准上还测了 MCU、ViZDoom、OmniGameArena 和 GameWorld 四个。结果一致:切换到实时协议后,通用模型平均掉 17 到 35 个百分点,而 Gamer-35B-A3B-CPT 反而提升 3.4 个百分点。环境不暂停,模型的动作延迟就会变成错误累积,这类差异直接决定一个视觉智能体能不能落地。同一思路在机器人策略上也有对应物,可参考 Runway Praxis-1 怎么跑:46.2% 榜首与 80GB 显存门槛 里的策略模型评测口径。

Streaming-vLLM:1306 毫秒到 65.12 毫秒

20 倍的延迟压缩来自自研推理引擎 Streaming-vLLM,它做三件事:跨轮复用每个客户端的 KV cache,用架构专用 kernel 加速,在解码完成之前就把已验证的动作块派发出去。三者叠加后,NVIDIA H200 加 Qwen3.5-35B-A3B MoE 这套负载的端到端请求延迟从 1306 毫秒降到 65.12 毫秒,压缩比 20.1 倍,对应的理论控制频率从 4.62 Hz 抬到 92.16 Hz。

这里有两个容易被引用的数字错位。一是 65.12 毫秒绑定在 H200 加 35B 级 MoE 的专用组合上,换成消费级显卡不成立;二是理论控制频率 92.16 Hz 高于人手动操作节奏,说明这套引擎的设计目标是把「模型思考时间」彻底从操作节奏里摘出去,而不是刚好跟得上。Gamer 的骨干可以从 Qwen3-VL-8B 稠密模型换成 Qwen3.5-35B-A3B MoE,两种骨干的延迟表现被分开测量,这是同系列大模型的工程细节,可对照 Qwen4-Max 怎么用:2.4 万亿参数与 10 元每百万 token 定价 里的参数与部署口径。

实时推理还反过来喂强了强化学习。八个导航任务上,实时 rollout 在相同训练步数预算下拿到的最终奖励高于 0.6 FPS 的冻结环境基线。延迟越低,采样越密,在线强化学习信号就越密,这条闭环让推理工程和算法训练互相加成。

现在能不能自己跑起来

不能直接复现。截至目前,论文、项目页与游戏演示都已公开,GitHub 仓库 RainBowLuoCS/Gamer 以 Apache 2.0 协议开放,但 Streaming-vLLM 的实现与使用说明仍在 TODO 列表里,官方写明会在后续更新的 streaming-vllm 目录发布。权重方面,团队只放出了 CPT 缩放研究阶段使用的 checkpoint,出于数据安全考虑,《崩坏:星穹铁道》相关训练数据以及用该数据训练或微调后的模型权重都不公开。

所以现在能做的事是读方法、读评测、读工程取舍,跑通完整的实时推理管线还需要等代码。国内把这套「小尺寸模型加专用推理引擎」的思路做落地时,部署侧的显存与吞吐问题同样存在,Xinference 4.2 部署实测:默认单请求只有 5120 token 记录了这类框架默认配置里的常见坑。世界模型与视频生成的实时化对比可以看 CloudRobo-WM1.2 昇腾原生:88.98% 双榜第一与 4 档推理怎么选。

常见问题

问:Gamer 能下载下来自己玩吗?
答:现阶段不行。Streaming-vLLM 代码尚未发布,模型权重只开放了持续预训练缩放研究那一部分,与《崩坏:星穹铁道》数据相关的权重不公开。可读的是论文、项目页和 Apache 2.0 的代码仓库。

问:49.7% 的成功率算高吗?
答:横向比同类算高,纵向比人类还有距离。它是 40 个此前未接触过的小游戏任务上的七类等权宏平均,对照的最强通用基线 GPT-6.1-Sol 为 17.1%,官方对操作水平的表述是与熟练玩家相当,不是超越。

问:65 毫秒延迟意味着什么?
答:意味着在 H200 搭配 35B 级 MoE 的组合下,模型思考时间已经不再拖慢操作节奏,理论控制频率 92.16 Hz 远超人手动操作。这组数字绑定了专用引擎与专用硬件,换硬件不成立。

小结

Gamer 把视觉智能体从「能演示」推到「可实时交互」,靠的是三件可复算的事:1 万小时以上的键鼠轨迹、稀疏思维加持久记忆的训练配方、以及把延迟压到 65 毫秒的专用推理引擎。它留下的开放问题同样具体,Streaming-vLLM 未发布、真实游戏数据不开放、宏平均成功率停在 49.7%,这三点决定了接下来几个月社区能复现多少。视觉操作型智能体的竞争,正在从单一基准分数转向延迟、数据规模与推理工程的组合能力。

全部文章归档与模型专题