Qwen4 登顶 GameFeel 榜 49.9 分:成本仅 Opus 5.5 的 15%

一句话结论:阿里千问 Qwen4 的两个早期版本在游戏开发专项基准 GameFeel Bench 上拿下 49.9 分和 44.6 分,首次有国产模型在创意编程维度压过 Claude Opus 5.5,而单任务成本只有对方的六分之一到十六分之一。

11 月 8 日,一批 Qwen4 系列的跑分数据在社区流传。数据来自 GameFeel Bench 这一个面向游戏开发的创造力评测,不是通用大模型榜单。排在前面的两个条目分别写作 Qwen-4-Flash-Early 和 Qwen-4-27B-Early,49.9 分和 44.6 分,把 Claude Opus 5.5(XHigh 档,47.2 分)和 Claude Sonnet 5.5(Max 档,45 分)压到了身后。

这条消息最容易被误读的地方在于:榜单原始数据里其实写着这两个模型尚未正式发布,条目名里带着 Early 后缀。换句话说,这是一次发布前的内测成绩外流,评测方自己也标注了它是 RUMOR。理解这件事的正确姿势,是把它当成阿里 Qwen4 家族的能力上限预告,当参考可以,当采购清单还差得远。

GameFeel Bench 测的到底是什么

这个基准由开发者社区维护,代码和全部原始数据以 CSV 形式公开在 GitHub 上。它和 Arena、AA 这类打通用能力总分的榜单思路不同,测的是模型能不能真上手做游戏开发。

测评素材是 12 个真实存在但从未公开发布的游戏项目,覆盖 Roguelike、MMORPG、单人 RPG、生存或沙盒四种类型各三个。选未发布项目是为了避免训练数据污染。模型要在这 12 个项目里应对 7 个子项:写新机制、修预先埋好的 bug、在不破坏平衡的前提下加新内容与数值调整、创意提案、视觉表现、音频设计,以及反向评估。合计 84 个子项与项目的组合,总任务量约 6 万个。

其中三个子项用标准答案对照,由 Opus 5.5 判定算不算错(格式差异还是实质接近);另外四个子项是人工评分,每个子项每个游戏约 800 个任务,全部加起来约 3.84 万个人工评分项,每项 1 到 10 分取均值,再乘 10 换算成百分制。

这里有个细节值得注意:反向评估子项统计的是模型给别的 AI 生成结果和真实开发者更新日志打分的平均误差。分数越低,说明模型越分不清 AI 味和人类手笔。这一项是后面解读榜单时最有信息量的坐标。

榜单当前版本收录 25 个完整条目(另有 2 个条目只跑了反向评估子项,不参与总分排名)。它不是由某个大厂实验室统一调度跑出来的,评测方自述在自家一台 32GB 显存的机器上执行,每模型多次限时尝试后取平均。这套方法的透明度和独立性都不错,但也天然带着单一执行环境的局限。

把 27 行原始数据摊开看

下面是榜单按总分排序的前若干条目,数字全部取自公开 CSV。价格一栏是完成单个任务的成本,不是每百万 token 的计费单价,这两者不能混着换算。

模型与档位 总分 单任务成本 单任务耗时 输出速度 是否开放权重
Qwen-4-Flash-Early(Max) 49.9 0.40 美元 23 分钟 240 tok/s 未标注
Claude Opus 5.5(XHigh) 47.2 2.60 美元 90 分钟 67 tok/s 否
Claude Sonnet 5.5(Max) 45.0 7.80 美元 90 分钟 120 tok/s 否
Qwen-4-27B-Early(XHigh) 44.6 0.16 美元 185 分钟 370 tok/s 是,35GB
Claude Sonnet 5.5(XHigh) 42.8 3.20 美元 90 分钟 120 tok/s 否
DeepSeek V4.1-Flash-1017(Max) 42.8 0.85 美元 85 分钟 345 tok/s 是,800GB
Claude Opus 5.5(Medium) 42.3 0.88 美元 210 分钟 67 tok/s 否
Gemini 4 Argon(High) 41.6 4.60 美元 35 分钟 158 tok/s 否
Qwen3.8-Flash-Next(XHigh) 40.3 0.02 美元 15 分钟 140 tok/s 是,128GB
DeepSeek V4.1-Flash(Max) 40.2 0.20 美元 45 分钟 330 tok/s 未标注
Qwen3.8-Max(XHigh) 38.3 0.75 美元 15 分钟 60 tok/s 未标注
Claude Haiku 5.5(XHigh) 36.1 0.12 美元 22 分钟 180 tok/s 否
Gemini 3.8-Flash(Max) 34.0 0.80 美元 75 分钟 325 tok/s 否
GLM-5.3-Flash(Max) 30.9 0.58 美元 270 分钟 110 tok/s 是,730GB
Kimi K3.1-Pro(Max) 30.0 2.10 美元 77 分钟 73 tok/s 是,3000GB

完整 27 行还包含 gpt-6-auto 26.3 分、Qwen3.7-Plus 24.6 分、Meta Muse Spark 1.3 23.4 分、MiniMax M3.1-Flash 22 分、Nemotron-3.5-Super-VL 17.8 分和 gpt-6-luna 17.6 分。整个榜单里同时出现 Qwen3.7、Qwen3.8、Qwen4 三代阿里模型,可以看出迭代轨迹。

49.9 分是怎么赢下 Opus 5.5 的

拆到子项就清楚了。总分是七项的平均,赢在哪儿一目了然。

子项 Qwen-4-Flash-Early Claude Opus 5.5(XHigh) Claude Sonnet 5.5(Max) Qwen-4-27B-Early
写新机制 65 65 65 64
修 bug 63 65 65 63
游戏手感 52 50 48 51
创意提案 54 41 39 43
视觉表现 64 63 54 48
音频设计 31 25 21 28
反向评估 19.95 21.67 23.33 14.88

代码能力是平手,不是超越。写新机制三家同为 65 分,修 bug 落后两分。真正拉开差距的是创意提案,54 对 41 分,13 分的差距在创意维度算很大;视觉表现 64 对 63 分基本持平;游戏手感 52 对 50 分,属于小赢。

所以更准确的表述是:Qwen4-Flash 在写代码这件事上和 Opus 5.5 站在同一起跑线,然后在创意与视觉这两块把总分拉过去了。反向评估一项 19.95 分低于 Opus 的 21.67 分和 Sonnet 的 23.33 分,这是它唯一的明确短板。

反向评估这一列还有更值得看的信息。榜单里国产模型的这一项普遍很低:DeepSeek V4.1-Flash 两个条目是 6.53 和 5.51,GLM-5.3-Flash 0.63,Kimi K3.1-Pro 0.12,gpt-6-auto 1.36。Qwen3.8 系列维持在 7.4 到 12.97 区间,到 Qwen4 Early 升到 19.95 和 14.88。这一项衡量的是模型能否识破 AI 生成内容的痕迹,阿里这条线在改善。

成本差 6.5 倍,比分数差更有意义

把单任务成本和总分放在一起看,性价比排序跟总分排序完全是两套体系。用总分除以单任务成本做一个粗略的性价比指数,榜单会重排:

模型 总分 成本 每分成本效率
Qwen-4-27B-Early 44.6 0.16 美元 278.8
Claude Haiku 5.5(XHigh) 36.1 0.12 美元 300.8
Qwen-4-Flash-Early 49.9 0.40 美元 124.8
Claude Opus 5.5(Medium) 42.3 0.88 美元 48.1
Claude Opus 5.5(XHigh) 47.2 2.60 美元 18.2
Claude Sonnet 5.5(Max) 45.0 7.80 美元 5.8

Opus 5.5 用最高档位跑出 47.2 分,每一分成本 18.2 美元效率单位;Qwen-4-Flash-Early 是 124.8,Sonnet 5.5 的 Max 档只有 5.8。按这个口径算,Qwen4-Flash 相对 Opus 5.5 XHigh 的性价比大约是六点八倍,跟媒体口径的六点五倍基本对得上。

更狠的是 Qwen-4-27B-Early。0.16 美元的任务成本、44.6 分、开放权重、35GB 体积。它比 Qwen3.8-Flash-Next 更贵八倍,但分数高 4.3 分。Qwen3.8-Flash-Next 单任务 0.02 美元、15 分钟跑完、40.3 分,性价比指数是榜单第一,这套 Flash-Next 架构此前已有专文拆解过训练成本那套账。

代价写在耗时列里。27B 版单任务 185 分钟,比 Opus 5.5 XHigh 的 90 分钟还慢一倍多,输出速度 370 tok/s 倒是不低。本地部署一个 27B 模型跑创意编码任务,速度瓶颈在推理侧而不是带宽侧。这条对想在自家机器上跑游戏原型的团队是真金白银的取舍,具体显存怎么估可以看站内那份本地大模型显存算法那篇。

Qwen4 现在到底是什么状态

要讲清楚这件事得把已确认的和流传的分开。

阿里官方书面说过 Qwen4 的全部内容,只有一句:9 月 22 日杭州云栖大会的路线图发布中,Qwen4 正在训练中。同一份材料里提的 5 万亿到 10 万亿参数,指的是 Qwen4.5 和 Qwen5 这两代之后的路线,不是 Qwen4 本身。Qwen4 的参数量、上下文长度、价格、许可证,阿里至今没有公布过任何一个。

四档产品线(Max、Plus、Flash、27B)这个说法流传很广,但官方从未正式命名确认。云栖大会上被公开点名的就是这四个档位,7 月的一次内部预热图里出现过同样四个名字。榜单上 27B 那行的 35GB 体积,CSV 里 size_basis 一栏写的是 quantization not stated,即量化方式未注明,这个数字来自社区填写,不是官方规格。

截至 11 月 7 日,Qwen 的 Hugging Face 组织下没有带 qwen4 的仓库,最新上传的还是 10 月的图像模型变体。OpenRouter 与 Qwen Cloud 的模型目录里也没有 qwen4 的条目。代码侧倒是有痕迹:阿里自研的 Qwen Code 工具从 10 月 28 日起在测试用例里出现过 qwen4、qwen4-max、qwen4-plus 和 qwen4-coder-plus 这些名字,同时把 Qwen4 全系的默认上下文窗口写成 100 万 token,提交这个改动的开发者自己注明这是推测而非官方数值。

另一个没被证实的细节是递归式自我改进。中文媒体有报道称 Qwen4 核心版本会使用 RSI 生成的行业数据训练,但这一点查不到官方技术报告支撑。阿里确实在 9 月披露过 Qwen3.8-Max 的 RSI 结果,约一个月自动化运行、33 轮循环,Artificial Analysis 分数从 40 升到 45,还有一次超过 60 小时、1 万多次 EDA 工具调用的芯片设计任务,官方称芯片面积缩减 42%。这些属于现有代际的成果,不能直接算到 Qwen4 头上。

这份榜单能说明什么,不能说明什么

先说能说明的。它给出的排序来自约 6 万个任务、3.84 万个人工评分项,模型改的是真实游戏工程代码,改坏了会破坏平衡,评分是人打的而不是另一个模型打分。数据以 CSV 公开,任何人都能复核。这比任何转述的跑分图都硬。

要说清楚局限,得分三层。

第一层是执行环境。榜单由单个运营者在自家一台 32GB 显存的机器上跑,每模型做若干次限时尝试再平均。这个规模不是独立实验室的大样本,偶然性无法完全排除。更麻烦的是流传过程中出现了两个版本的方法描述:早期描述说每个模型在四次 30 分钟限时内用单个 HTML 文件做 2D 小游戏,后来的官方仓库说明换成了 12 个真实未发布项目的七子项结构。以仓库 README 为准更可靠,但版本漂移本身就说明二手转述不可信。

第二层是能力覆盖面。它测的是创意编码与游戏设计,30 分钟或单任务级别的产出。说不了长程推理、数学、复杂智能体任务。榜单上 gpt-6-auto 只有 26.3 分、gpt-6-luna 17.6 分,跟这两款模型在通用榜上的位置完全对不上,说明这个基准的偏好非常具体:它奖励敢做、愿意自己试玩、自己写机器人来测试的模型,而不只是推理链条严密的模型。

第三层是时间。榜单当前版本是 v1.4,条目会持续变动。Qwen4-Flash-Early 是 11 月 8 日才出现在榜上的,早期版本的排名完全不同。

如果要在今天做技术选型

给几条可以直接用的判断。

要做游戏原型验证、关卡和数值的快速提案,Qwen4-Flash-Early 的 23 分钟单任务和 0.4 美元成本是这套数据里最舒服的组合,分数还最高。正式发布后价格大概率会变,这里说的是内测期的一次性读数。

要在本地机器上跑,27B 档是阿里这次专门留的位置。35GB 权重意味着量化后能塞进 24GB 显存级别的卡,44.6 分对 Sonnet 5.5 只差 0.4 分。代价是单任务 185 分钟,适合夜间批处理任务,不适合交互式试玩迭代。

如果只需要创意提案和视觉表现这两块强,Opus 5.5 XHigh 依然是稳妥选择,它的 21.67 分反向评估是榜单里四个头部模型最高的。

如果预算极度敏感又不追分,榜单里还有一堆性价比更高的选项:Haiku 5.5 XHigh 36.1 分 0.12 美元、Qwen3.8-Flash-Next 40.3 分 0.02 美元、Nemotron-3.5-Super-VL 17.8 分 0.01 美元。后者总分垫底但价格是全场最低之一,做批量的简单脚本生成反而合适。

常见问题

Qwen4 已经发布了吗?

截至 11 月 8 日,Qwen4 尚未正式发布。榜单上的条目名带 Early 后缀,属于内测阶段的成绩外流。官方唯一书面表述是 9 月云栖大会说的正在训练中,发布日期、参数量、价格、上下文长度、许可证均未公布。

GameFeel Bench 和 Arena、AA 这类榜单有什么区别?

它是垂直专项基准。素材是 12 个从未公开发布的真实游戏项目,测七个子项共约 6 万个任务,其中约 3.84 万项由人工逐项打分。通用榜单拼的是知识面和综合推理,它拼的是能不能真把游戏功能写出来、改平衡、判断自己做得像不像人做的。

Qwen4-Flash 比 Opus 5.5 强多少?

总分 49.9 对 47.2,领先 2.7 分。分项看,代码能力两者打平,差距来自创意提案 54 对 41 分,视觉表现基本持平。反向评估一项 19.95 分低于 Opus 的 21.67 分,算它唯一的短板。成本差距倒是压倒性的,单任务 0.4 美元对 2.6 美元。

这个榜单一共收录了多少模型?

完整条目 25 个参与排名,另有 2 个只完成了反向评估子项不计入总分。CSV 里共 27 行数据,涵盖阿里三代模型、Anthropic 两代、Google 两代、DeepSeek 两版、MiniMax、Kimi、智谱、Mimo、Meta、字节空间 bunny 以及 Nemotron 等。

小结

这次曝光的真实看点有三个层次。表面是国产模型在创意编程榜上第一次压过 Opus 5.5,深一层是阿里把 27B 这个可本地部署的档位和 Flash 这个高性价比档位放进了同一个家族,底层是国产模型在反向评估这项上第一次进入头部区间。

同时别把公告当现货。榜单里的 Early 后缀、仓库里的空缺目录、代码里的推测性注释都指向同一个事实:这批数据是发布前的预告。真正该等的是正式发布后的 Model Studio 定价、开放权重的许可证条款,以及 Qwen4-Max 这一档在正式版上的实际表现。这三项目前全部待定。

对要动手的人,GameFeel Bench 的 CSV 是现成的资源,25 个条目的分数、成本、耗时、速度、权重体积全部公开,可以直接拿去做你自己的选型测算,不必等发布会。

相关阅读