一句话结论:阿里千问 Qwen4 的两个早期版本在游戏开发专项基准 GameFeel Bench 上拿下 49.9 分和 44.6 分,首次有国产模型在创意编程维度压过 Claude Opus 5.5,而单任务成本只有对方的六分之一到十六分之一。
11 月 8 日,一批 Qwen4 系列的跑分数据在社区流传。数据来自 GameFeel Bench 这一个面向游戏开发的创造力评测,不是通用大模型榜单。排在前面的两个条目分别写作 Qwen-4-Flash-Early 和 Qwen-4-27B-Early,49.9 分和 44.6 分,把 Claude Opus 5.5(XHigh 档,47.2 分)和 Claude Sonnet 5.5(Max 档,45 分)压到了身后。
这条消息最容易被误读的地方在于:榜单原始数据里其实写着这两个模型尚未正式发布,条目名里带着 Early 后缀。换句话说,这是一次发布前的内测成绩外流,评测方自己也标注了它是 RUMOR。理解这件事的正确姿势,是把它当成阿里 Qwen4 家族的能力上限预告,当参考可以,当采购清单还差得远。
GameFeel Bench 测的到底是什么
这个基准由开发者社区维护,代码和全部原始数据以 CSV 形式公开在 GitHub 上。它和 Arena、AA 这类打通用能力总分的榜单思路不同,测的是模型能不能真上手做游戏开发。
测评素材是 12 个真实存在但从未公开发布的游戏项目,覆盖 Roguelike、MMORPG、单人 RPG、生存或沙盒四种类型各三个。选未发布项目是为了避免训练数据污染。模型要在这 12 个项目里应对 7 个子项:写新机制、修预先埋好的 bug、在不破坏平衡的前提下加新内容与数值调整、创意提案、视觉表现、音频设计,以及反向评估。合计 84 个子项与项目的组合,总任务量约 6 万个。
其中三个子项用标准答案对照,由 Opus 5.5 判定算不算错(格式差异还是实质接近);另外四个子项是人工评分,每个子项每个游戏约 800 个任务,全部加起来约 3.84 万个人工评分项,每项 1 到 10 分取均值,再乘 10 换算成百分制。
这里有个细节值得注意:反向评估子项统计的是模型给别的 AI 生成结果和真实开发者更新日志打分的平均误差。分数越低,说明模型越分不清 AI 味和人类手笔。这一项是后面解读榜单时最有信息量的坐标。
榜单当前版本收录 25 个完整条目(另有 2 个条目只跑了反向评估子项,不参与总分排名)。它不是由某个大厂实验室统一调度跑出来的,评测方自述在自家一台 32GB 显存的机器上执行,每模型多次限时尝试后取平均。这套方法的透明度和独立性都不错,但也天然带着单一执行环境的局限。
把 27 行原始数据摊开看
下面是榜单按总分排序的前若干条目,数字全部取自公开 CSV。价格一栏是完成单个任务的成本,不是每百万 token 的计费单价,这两者不能混着换算。
| 模型与档位 | 总分 | 单任务成本 | 单任务耗时 | 输出速度 | 是否开放权重 |
|---|---|---|---|---|---|
| Qwen-4-Flash-Early(Max) | 49.9 | 0.40 美元 | 23 分钟 | 240 tok/s | 未标注 |
| Claude Opus 5.5(XHigh) | 47.2 | 2.60 美元 | 90 分钟 | 67 tok/s | 否 |
| Claude Sonnet 5.5(Max) | 45.0 | 7.80 美元 | 90 分钟 | 120 tok/s | 否 |
| Qwen-4-27B-Early(XHigh) | 44.6 | 0.16 美元 | 185 分钟 | 370 tok/s | 是,35GB |
| Claude Sonnet 5.5(XHigh) | 42.8 | 3.20 美元 | 90 分钟 | 120 tok/s | 否 |
| DeepSeek V4.1-Flash-1017(Max) | 42.8 | 0.85 美元 | 85 分钟 | 345 tok/s | 是,800GB |
| Claude Opus 5.5(Medium) | 42.3 | 0.88 美元 | 210 分钟 | 67 tok/s | 否 |
| Gemini 4 Argon(High) | 41.6 | 4.60 美元 | 35 分钟 | 158 tok/s | 否 |
| Qwen3.8-Flash-Next(XHigh) | 40.3 | 0.02 美元 | 15 分钟 | 140 tok/s | 是,128GB |
| DeepSeek V4.1-Flash(Max) | 40.2 | 0.20 美元 | 45 分钟 | 330 tok/s | 未标注 |
| Qwen3.8-Max(XHigh) | 38.3 | 0.75 美元 | 15 分钟 | 60 tok/s | 未标注 |
| Claude Haiku 5.5(XHigh) | 36.1 | 0.12 美元 | 22 分钟 | 180 tok/s | 否 |
| Gemini 3.8-Flash(Max) | 34.0 | 0.80 美元 | 75 分钟 | 325 tok/s | 否 |
| GLM-5.3-Flash(Max) | 30.9 | 0.58 美元 | 270 分钟 | 110 tok/s | 是,730GB |
| Kimi K3.1-Pro(Max) | 30.0 | 2.10 美元 | 77 分钟 | 73 tok/s | 是,3000GB |
完整 27 行还包含 gpt-6-auto 26.3 分、Qwen3.7-Plus 24.6 分、Meta Muse Spark 1.3 23.4 分、MiniMax M3.1-Flash 22 分、Nemotron-3.5-Super-VL 17.8 分和 gpt-6-luna 17.6 分。整个榜单里同时出现 Qwen3.7、Qwen3.8、Qwen4 三代阿里模型,可以看出迭代轨迹。
49.9 分是怎么赢下 Opus 5.5 的
拆到子项就清楚了。总分是七项的平均,赢在哪儿一目了然。
| 子项 | Qwen-4-Flash-Early | Claude Opus 5.5(XHigh) | Claude Sonnet 5.5(Max) | Qwen-4-27B-Early |
|---|---|---|---|---|
| 写新机制 | 65 | 65 | 65 | 64 |
| 修 bug | 63 | 65 | 65 | 63 |
| 游戏手感 | 52 | 50 | 48 | 51 |
| 创意提案 | 54 | 41 | 39 | 43 |
| 视觉表现 | 64 | 63 | 54 | 48 |
| 音频设计 | 31 | 25 | 21 | 28 |
| 反向评估 | 19.95 | 21.67 | 23.33 | 14.88 |
代码能力是平手,不是超越。写新机制三家同为 65 分,修 bug 落后两分。真正拉开差距的是创意提案,54 对 41 分,13 分的差距在创意维度算很大;视觉表现 64 对 63 分基本持平;游戏手感 52 对 50 分,属于小赢。
所以更准确的表述是:Qwen4-Flash 在写代码这件事上和 Opus 5.5 站在同一起跑线,然后在创意与视觉这两块把总分拉过去了。反向评估一项 19.95 分低于 Opus 的 21.67 分和 Sonnet 的 23.33 分,这是它唯一的明确短板。
反向评估这一列还有更值得看的信息。榜单里国产模型的这一项普遍很低:DeepSeek V4.1-Flash 两个条目是 6.53 和 5.51,GLM-5.3-Flash 0.63,Kimi K3.1-Pro 0.12,gpt-6-auto 1.36。Qwen3.8 系列维持在 7.4 到 12.97 区间,到 Qwen4 Early 升到 19.95 和 14.88。这一项衡量的是模型能否识破 AI 生成内容的痕迹,阿里这条线在改善。
成本差 6.5 倍,比分数差更有意义
把单任务成本和总分放在一起看,性价比排序跟总分排序完全是两套体系。用总分除以单任务成本做一个粗略的性价比指数,榜单会重排:
| 模型 | 总分 | 成本 | 每分成本效率 |
|---|---|---|---|
| Qwen-4-27B-Early | 44.6 | 0.16 美元 | 278.8 |
| Claude Haiku 5.5(XHigh) | 36.1 | 0.12 美元 | 300.8 |
| Qwen-4-Flash-Early | 49.9 | 0.40 美元 | 124.8 |
| Claude Opus 5.5(Medium) | 42.3 | 0.88 美元 | 48.1 |
| Claude Opus 5.5(XHigh) | 47.2 | 2.60 美元 | 18.2 |
| Claude Sonnet 5.5(Max) | 45.0 | 7.80 美元 | 5.8 |
Opus 5.5 用最高档位跑出 47.2 分,每一分成本 18.2 美元效率单位;Qwen-4-Flash-Early 是 124.8,Sonnet 5.5 的 Max 档只有 5.8。按这个口径算,Qwen4-Flash 相对 Opus 5.5 XHigh 的性价比大约是六点八倍,跟媒体口径的六点五倍基本对得上。
更狠的是 Qwen-4-27B-Early。0.16 美元的任务成本、44.6 分、开放权重、35GB 体积。它比 Qwen3.8-Flash-Next 更贵八倍,但分数高 4.3 分。Qwen3.8-Flash-Next 单任务 0.02 美元、15 分钟跑完、40.3 分,性价比指数是榜单第一,这套 Flash-Next 架构此前已有专文拆解过训练成本那套账。
代价写在耗时列里。27B 版单任务 185 分钟,比 Opus 5.5 XHigh 的 90 分钟还慢一倍多,输出速度 370 tok/s 倒是不低。本地部署一个 27B 模型跑创意编码任务,速度瓶颈在推理侧而不是带宽侧。这条对想在自家机器上跑游戏原型的团队是真金白银的取舍,具体显存怎么估可以看站内那份本地大模型显存算法那篇。
Qwen4 现在到底是什么状态
要讲清楚这件事得把已确认的和流传的分开。
阿里官方书面说过 Qwen4 的全部内容,只有一句:9 月 22 日杭州云栖大会的路线图发布中,Qwen4 正在训练中。同一份材料里提的 5 万亿到 10 万亿参数,指的是 Qwen4.5 和 Qwen5 这两代之后的路线,不是 Qwen4 本身。Qwen4 的参数量、上下文长度、价格、许可证,阿里至今没有公布过任何一个。
四档产品线(Max、Plus、Flash、27B)这个说法流传很广,但官方从未正式命名确认。云栖大会上被公开点名的就是这四个档位,7 月的一次内部预热图里出现过同样四个名字。榜单上 27B 那行的 35GB 体积,CSV 里 size_basis 一栏写的是 quantization not stated,即量化方式未注明,这个数字来自社区填写,不是官方规格。
截至 11 月 7 日,Qwen 的 Hugging Face 组织下没有带 qwen4 的仓库,最新上传的还是 10 月的图像模型变体。OpenRouter 与 Qwen Cloud 的模型目录里也没有 qwen4 的条目。代码侧倒是有痕迹:阿里自研的 Qwen Code 工具从 10 月 28 日起在测试用例里出现过 qwen4、qwen4-max、qwen4-plus 和 qwen4-coder-plus 这些名字,同时把 Qwen4 全系的默认上下文窗口写成 100 万 token,提交这个改动的开发者自己注明这是推测而非官方数值。
另一个没被证实的细节是递归式自我改进。中文媒体有报道称 Qwen4 核心版本会使用 RSI 生成的行业数据训练,但这一点查不到官方技术报告支撑。阿里确实在 9 月披露过 Qwen3.8-Max 的 RSI 结果,约一个月自动化运行、33 轮循环,Artificial Analysis 分数从 40 升到 45,还有一次超过 60 小时、1 万多次 EDA 工具调用的芯片设计任务,官方称芯片面积缩减 42%。这些属于现有代际的成果,不能直接算到 Qwen4 头上。
这份榜单能说明什么,不能说明什么
先说能说明的。它给出的排序来自约 6 万个任务、3.84 万个人工评分项,模型改的是真实游戏工程代码,改坏了会破坏平衡,评分是人打的而不是另一个模型打分。数据以 CSV 公开,任何人都能复核。这比任何转述的跑分图都硬。
要说清楚局限,得分三层。
第一层是执行环境。榜单由单个运营者在自家一台 32GB 显存的机器上跑,每模型做若干次限时尝试再平均。这个规模不是独立实验室的大样本,偶然性无法完全排除。更麻烦的是流传过程中出现了两个版本的方法描述:早期描述说每个模型在四次 30 分钟限时内用单个 HTML 文件做 2D 小游戏,后来的官方仓库说明换成了 12 个真实未发布项目的七子项结构。以仓库 README 为准更可靠,但版本漂移本身就说明二手转述不可信。
第二层是能力覆盖面。它测的是创意编码与游戏设计,30 分钟或单任务级别的产出。说不了长程推理、数学、复杂智能体任务。榜单上 gpt-6-auto 只有 26.3 分、gpt-6-luna 17.6 分,跟这两款模型在通用榜上的位置完全对不上,说明这个基准的偏好非常具体:它奖励敢做、愿意自己试玩、自己写机器人来测试的模型,而不只是推理链条严密的模型。
第三层是时间。榜单当前版本是 v1.4,条目会持续变动。Qwen4-Flash-Early 是 11 月 8 日才出现在榜上的,早期版本的排名完全不同。
如果要在今天做技术选型
给几条可以直接用的判断。
要做游戏原型验证、关卡和数值的快速提案,Qwen4-Flash-Early 的 23 分钟单任务和 0.4 美元成本是这套数据里最舒服的组合,分数还最高。正式发布后价格大概率会变,这里说的是内测期的一次性读数。
要在本地机器上跑,27B 档是阿里这次专门留的位置。35GB 权重意味着量化后能塞进 24GB 显存级别的卡,44.6 分对 Sonnet 5.5 只差 0.4 分。代价是单任务 185 分钟,适合夜间批处理任务,不适合交互式试玩迭代。
如果只需要创意提案和视觉表现这两块强,Opus 5.5 XHigh 依然是稳妥选择,它的 21.67 分反向评估是榜单里四个头部模型最高的。
如果预算极度敏感又不追分,榜单里还有一堆性价比更高的选项:Haiku 5.5 XHigh 36.1 分 0.12 美元、Qwen3.8-Flash-Next 40.3 分 0.02 美元、Nemotron-3.5-Super-VL 17.8 分 0.01 美元。后者总分垫底但价格是全场最低之一,做批量的简单脚本生成反而合适。
常见问题
Qwen4 已经发布了吗?
截至 11 月 8 日,Qwen4 尚未正式发布。榜单上的条目名带 Early 后缀,属于内测阶段的成绩外流。官方唯一书面表述是 9 月云栖大会说的正在训练中,发布日期、参数量、价格、上下文长度、许可证均未公布。
GameFeel Bench 和 Arena、AA 这类榜单有什么区别?
它是垂直专项基准。素材是 12 个从未公开发布的真实游戏项目,测七个子项共约 6 万个任务,其中约 3.84 万项由人工逐项打分。通用榜单拼的是知识面和综合推理,它拼的是能不能真把游戏功能写出来、改平衡、判断自己做得像不像人做的。
Qwen4-Flash 比 Opus 5.5 强多少?
总分 49.9 对 47.2,领先 2.7 分。分项看,代码能力两者打平,差距来自创意提案 54 对 41 分,视觉表现基本持平。反向评估一项 19.95 分低于 Opus 的 21.67 分,算它唯一的短板。成本差距倒是压倒性的,单任务 0.4 美元对 2.6 美元。
这个榜单一共收录了多少模型?
完整条目 25 个参与排名,另有 2 个只完成了反向评估子项不计入总分。CSV 里共 27 行数据,涵盖阿里三代模型、Anthropic 两代、Google 两代、DeepSeek 两版、MiniMax、Kimi、智谱、Mimo、Meta、字节空间 bunny 以及 Nemotron 等。
小结
这次曝光的真实看点有三个层次。表面是国产模型在创意编程榜上第一次压过 Opus 5.5,深一层是阿里把 27B 这个可本地部署的档位和 Flash 这个高性价比档位放进了同一个家族,底层是国产模型在反向评估这项上第一次进入头部区间。
同时别把公告当现货。榜单里的 Early 后缀、仓库里的空缺目录、代码里的推测性注释都指向同一个事实:这批数据是发布前的预告。真正该等的是正式发布后的 Model Studio 定价、开放权重的许可证条款,以及 Qwen4-Max 这一档在正式版上的实际表现。这三项目前全部待定。
对要动手的人,GameFeel Bench 的 CSV 是现成的资源,25 个条目的分数、成本、耗时、速度、权重体积全部公开,可以直接拿去做你自己的选型测算,不必等发布会。
相关阅读
- Qwen3.8-Flash-Next 深度解读:125B MoE 训练成本砍到 1/9:榜单上性价比第一的那一档,技术路线详解
- 本地大模型显存怎么算:8B 每 1K 上下文 144MB:27B 开放权重落到自家机器前先算这笔账
- DeepSeek V4.1 Flash 深度解读:8B 输入激活、KV Cache 缩 437 倍:同榜单 42.8 分那一款的架构拆解
- PLE 工程基准:Claude Opus 5.5 交付通过率仅 41.3%:Opus 5.5 在工程类基准上的另一面
- Kimi K3.1 Pro 发布:Terminal-Bench 4.0 拿 65.7%:同榜单 30 分那一款的详细规格
延伸阅读
- 千问办公电商版深度解读:一个AI入口打通多平台电商经营,邀测中4 周前
- 阿里达摩院玄铁芯片出货超60亿颗:RISC-V中国峰会透露最新数据3 周前
- Qwen-UI-Agent 发布:阿里通义 GUI 智能体基座模型,100+ 真机 150+ 应用训练超越 GPT、Claude、Gemini2 月前
- 小红书 FireRedTTS3 开源:统一语音生成与编辑,24 语种 21 种中文方言零样本克隆2 月前
继续读
同一批更新里这几篇值得一看:
- 千问 AI Office 端内编辑:3 类文件直改与 78 元档位账本2026-11-06
- PLE 工程基准:Claude Opus 5.5 交付通过率仅 41.3%2026-11-06
- 斯坦福复核 50 条大模型结论:44% 过期与 15.7 个月保质期2026-11-05
想快速查定义?对应的词条在这里:
- Qwen词条 · AI 自学笔记
