OpenMobile-2 开源手机智能体:110 个应用,79.9 分

一句话结论:南京大学与商汤等团队开源的 OpenMobile-2 用 110 多个模拟应用训练手机智能体,27B 版本在 AndroidWorld 上从 67.1 分提到 79.9 分,真机 SPA-Bench 从 31.9 分提到 59.6 分,是目前开源模型在该项上的最好成绩。

10 月 25 日,OpenMobile-2 的模型、训练环境、数据和复现说明一起公开。这套系统研究的是手机智能体的一个老问题:怎么让开源模型学会操作手机,而不是只能在有限的几个应用里打转。团队给出的答案有点反常识,在训练数据总量固定的前提下,把应用数量铺开比继续堆数据更有效。

开源手机智能体为什么长期落后

这类智能体主要靠实践学习,需要的数据却大多锁在大公司手里。真实应用没法当训练场,登录态、真实下单、状态无法重置,每一次跑批的成本高得离谱,可复现性也谈不上。数据在谁手里,开源模型就在谁后面。

此前开源社区有过不少尝试,小米 MiMo-V2.6 开源,75 万条轨迹练出 72 分超越 GPT-6走的是纯轨迹路线,谷歌的 Gemini 4 Argon:百万 Token 输出、13 项基准领先则把重心放在长上下文与通用能力上,各类手机智能体方案都在往这个方向挤。但应用覆盖面窄这件事始终没解。

重建 35 个真实应用,铺到 110 多个

团队的做法是重建应用。他们复刻了 35 个以中国市场为主的热门应用,包括淘宝、京东、滴滴、美团,以及 Slack、Google Drive 这类全球服务。加上既有仿真和安卓模拟器里的应用,练习场覆盖 110 多个应用。

重建的标准很严。人工审核者把重建应用和原版对比,反复修改直到工作流和界面一致。三个细节值得留意:订单、预算、旅行计划能跨会话保留,数据还能通过剪贴板在应用之间传递,每次仿真会自动重置回初始状态。

最关键的一条限制是,智能体只看屏幕截图,拿不到应用的内部数据。模拟的是人使用手机的方式,你能看到什么、点到什么,仅此而已。这让训练分布更接近真实使用,也让成绩更难靠内部信息作弊。

混合模式是另一层设计。智能体可以一边做常规的屏幕动作,一边调用应用直接暴露出来的工具函数。50 多个模拟应用提供了「加入购物车」这类直接命令,让智能体跳过菜单层级。智能体可以在两种方式之间自由切换。

11600 条工作流与 Gemini 教师模型

这套环境生成了约 11600 条示例工作流,以及 2000 多个带自动成功判定的练习任务。教师模型是谷歌的 Gemini 3.1 Pro,负责产出这些示例。

这个环节需要说明白。OpenMobile-2 的权重、训练环境和数据都开放,但它学到的示例流程来自一个封闭系统,实际效果是在向一个专有模型学习。这不否定开源的价值,开放的是权重与流水线,知识则部分来自谷歌。

还有一层,混合模式下的成功判定不靠另一个语言模型打分,而是用程序核对。每个重建应用都预先定义了哪个动作改变哪个状态,执行后自动验证。配合环境自动重置,整套训练可以无限重复跑。

基准分数:模拟器与真机的巨大落差

基准 OpenMobile-1 OpenMobile-2 基础 OpenMobile-2 提升后 OpenMobile-2 27B
AndroidWorld 64.7 分 67.1 分 — 79.9 分
MobileWorld — 35.9 分 — 50.4 分
SPA-Bench(真机) — 31.9 分 — 59.6 分
9B 版本 AndroidWorld — 54.3 分 — 74 分

AndroidWorld 上,27B 版本从 67.1 分提升到 79.9 分,9B 版本从 54.3 分提升到 74 分,上一代 OpenMobile-1 在同一测试里是 64.7 分。更难的 MobileWorld 覆盖跨多个应用的长任务,27B 版本从 35.9 分提升到 50.4 分。

提升幅度最大的地方在真实安卓设备上,27B 版本在 SPA-Bench 从 31.9 分涨到 59.6 分,研究者称这是目前开源模型中的最好成绩。在 AndroidWorld 上,它只排在 Gemini 3.1 Pro 后面。

MobileWorld 那 50.4 分值得多看一眼。它意味着在需要跨应用串起长任务的场景里,智能体仍然有一半左右的任务做不完。模拟器上 79.9 分和真机上 59.6 分之间的落差,说明了为什么真机评测对手机智能体格外重要。

核心结论:应用数量比数据量更关键

这是整篇论文最有价值的发现。团队做了一个受控实验,把训练数据总量固定住,只改变智能体练过的应用种类数。结果是,在训练中从未见过的应用上,成功率从 60.7% 提升到 67.5%。

同样的数据预算,应用种类比在少数应用上多堆几倍示例更管用。这对开源社区是个好消息,因为铺应用种类只需要投入重建和审核的工程量,不需要更多的标注预算。缺点也在这里,35 个应用的人工复刻本身就是重活。

混合训练之后还有一个附带效果,模型更倾向使用工具完成的任务,步骤数也更少。直接的命令能绕开菜单层级,对智能体来说相当于把界面复杂度的负担卸掉。

强化学习几乎没有带来提升

这个结果可能比分数本身更值得记。额外的强化学习只带来有限收益,主要出现在与训练环境相似的场景。在 AndroidWorld 上,27B 版本做完强化学习后反而略降,得分是 79.9 而不是 80.8 分。

在 RL 阶段,用了至少一次直接命令的运行会拿到奖励加成,但奖励仍然取决于任务是否真正完成。声称成功而实际没做成会挨罚。这个设计避免了智能体学会糊弄判定逻辑。

对比结论:在这个任务上,铺环境多样性带来的收益远大于在已有环境里反复训练。想把手机智能体做上去,功夫要花在训练场而不是训练算法上。

直接命令的收益与代价

50 多个模拟应用提供直接命令,比如「加入购物车」。没有针对性训练时,模型基本会忽略这些捷径,几乎没有效果。经过专门训练后,智能体多解出最多 10.3 个百分点的任务,步骤数少用大约 5 步。研究者称这项能力可以迁移到训练中没见过的工具上。

代价是这套接口目前只存在于模拟应用里,研究者自己也把这种方式标注为实验性质。真实手机应用没有统一的直接命令接口,这决定了它短期内更像是论文里的探索方向,而不是能直接搬上生产的功能。

另一个自建基准用了 215 个任务,近一半跨多个应用,判定方式是用程序比较运行前后应用里存储的数据,而不是让模型来判断。这套不用模型当裁判的打分方式,某种程度上比模型打分更可信。

这套系统对做手机智能体的人意味着什么

它把「应用多样性」这个变量单独拎出来量化,给出了 60.7% 到 67.5% 这条可复现的曲线。做手机端智能体的团队可以据此重新分配预算,把钱从加数据挪到加应用。

端侧小模型的选择可以对照 Ternary Bonsai 2:Qwen 3.5 基座,手机端每秒 120 词元 的做法,端侧算力预算和开放训练环境的组合正在成为一条独立的路。豆包 SAEP 公示期结束:第三方应用自动化权限正式开放与 阿里千问 Go! 发布:个人 AI 助理可代办理赔比价等 7 类事务 都是同一个方向的产业侧动作。

先要承认几处限制。教师模型来自谷歌的 Gemini 3.1 Pro,训练知识有封闭成分。直接命令接口只在模拟环境存在。强化学习收益有限说明这套流水线还没有榨干。MobileWorld 50.4 分说明跨应用长任务离可用还有距离。作者自己也把接口方式标注为实验性质。

常见问题

OpenMobile-2 是什么,模型有多大

OpenMobile-2 是南京大学、商汤等团队开源的手机操作智能体项目,放出了两个模型,分别基于 Qwen3.5 9B 和 Qwen3.6 27B。配套还开源了覆盖 110 多个模拟应用的训练环境、约 11600 条示例工作流、2000 多个带自动判定的练习任务以及完整的复现说明,可以自行部署训练。

为什么应用数量比数据量更重要

团队做了受控实验,把训练数据总量固定住,只增加智能体练习过的应用种类数,在未见过的新应用上成功率从 60.7% 提升到 67.5%。同样的数据预算下,应用多样性带来的泛化收益超过在少数应用上堆更多示例,这是手机智能体训练里成本结构的直接体现。

OpenMobile-2 的成绩能和闭源模型比吗

部分可以。27B 版本在 AndroidWorld 上 79.9 分,只落后 Gemini 3.1 Pro;真机 SPA-Bench 59.6 分是开源模型里的最好成绩。但 MobileWorld 只有 50.4 分,跨应用长任务仍会失败约一半,同时训练示例来自 Gemini 教师模型,开放的是权重与流水线而非全部知识,这几点需要一并考虑。

相关阅读

小结

OpenMobile-2 把手机智能体训练里最模糊的一环量化清楚了。铺 110 多个模拟应用、只给 110 多条工作流配合 2000 多个任务,就把 AndroidWorld 从 67.1 拉到 79.9,真机从 31.9 拉到 59.6。它同时也暴露了这个方向的真实天花板,跨应用长任务仍然只有一半完成率,强化学习在这套环境里几乎不涨分。下一个能拉开差距的地方,大概在训练场本身怎么被重建得更快,而不在模型规模。