11 月 6 日，淘宝旗下 MNN 团队开源了 MNN-Pocket-0.3B 模型，把一套约 3 亿参数的轻量语言模型放进手机应用里。团队公布的真机实测显示，这个模型在苹果 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行，平均解码速度约为 350 token/s。
四个维度的设计目标
MNN-Pocket-0.3B 面向的是手机应用的任务需求与资源预算，而不是通用对话。速度上，团队把解码吞吐目标定在指定设备与上下文配置下超过 200 token/s，参照的是高速云端模型服务的生成水平。内存上，峰值要压在 300MB 以内，因为即使手机有 8 到 16GB 内存，也得由系统和多个应用分着花；以约 500MB 的模型模块预算为例，把推理峰值控制在 300MB 以下，才能给上下文增长和集成开销留出余量。
功耗口径给得更具体。在典型推理负载下，也就是输入 512 到 1024 token、输出 128 token，单次推理的增量能耗目标不超过参考手机电池能量的万分之一，换算过来是 100 次推理耗能不超过电池总量的 1%。能力上，模型以在指定业务场景达到 8B 级模型效果为目标，重点强化指令遵循，同时为长上下文与多步骤任务留扩展空间。
和 Qwen3-0.6B 的对比数据
在 iPad Pro M5、Metal 后端、512 token 的测试配置下，模型加载与推理期间的峰值 Metal 驻留内存相对加载前基线增加了 228MB。同样测试中，Qwen3-0.6B 的部署文件体积为 340MB，峰值内存增量为 427MB。相比之下，MNN-Pocket-0.3B 的部署体积减少约 49%，峰值内存增量减少约 47%。它的 INT4 MNN 部署文件体积为 173MB，里面包含模型权重、分词器、计算图和推理配置。
为什么手机应用要自己训一个小模型
这个模型从零设计并训练，重点支持中文与英文，团队把模型结构、词表、训练数据、预训练与后训练方法，以及量化和推理引擎放在一起做协同优化。对手机应用来说，部署体积直接决定下载与更新成本，运行内存则关系到页面、图片、视频这些业务模块还能剩下多少空间，集成负担由此降下来。端侧小模型这条路线上的其他尝试，可以参考手机端每秒 120 词元的 Bonsai 2。
延伸阅读
- 千问 AI 眼镜 N1 Pro 发售：5000 万像素三芯架构，2600 元起戴主动 AI2 周前
- 阿里千问首次开源 Max 级旗舰：Qwen3.8-2.4T-A95B 权重开放，2.4 万亿参数对标 Fable 53 月前
- AI 制药赛道升温：Anthropic 自建湿实验室并收购 Coefficient Bio，字节分拆实验室完成首轮融资2 月前
- HappyOyster 1.0系列模型上架阿里云百炼：Adventure实时生成开放世界，Directing驱动剧情镜头2 月前
继续读
同一批更新里这几篇值得一看：
- Meta Muse 视频聊天开放美区：2 款实时模型驱动 Jolly 头像2026-11-06
- 千问 AI Office 端内编辑上线，3 类文件直接改2026-11-06
- 苹果 Apple 智能国行定档：11 月 4 日开测 12 月推 iOS 27.32026-11-02
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记