prefix="og: https://ogp.me/ns#"> 面壁智能MiniCPM-V 4.7发布:iPhone 3GB内存跑出13+ token/s|AI自学笔记

面壁MiniCPM-V 4.7发布:iPhone 3GB内存跑13+ token/s

10月13日,面壁智能推出新一代端侧多模态大模型MiniCPM-V 4.7,一口气给出35B-A3B与1B两种规格。其中35B-A3B是MiniCPM-V家族首个MoE(混合专家)模型,依托全新LES”前瞻专家调度”推理加速技术,成为业界首个能在端侧无损、流畅运行的开源MoE多模态模型。

3GB内存+13+ token/s:iPhone 17 Pro Max本地跑多模态

最亮眼的落地数字来自实测:iPhone 17 Pro Max上仅占用3GB内存,便跑出13+ token/s的解码速度。这意味着旗舰手机无需数据上云,端侧就能扛住多模态推理,隐私与延迟双重受益。目前主流端侧模型普遍需要6GB以上内存,MiniCPM-V 4.7将门槛压缩了一半以上,对推动端侧AI普及意义显著。

三大系统全适配,兼容五大主流芯片平台

4.7版本同时覆盖iOS、安卓与鸿蒙三大系统,兼容Intel、AMD、Arm、瑞芯微、后摩等主流芯片平台,将移动端与本地计算场景一并纳入。面壁还同步放出配套开源工具链,降低开发者部署门槛,推动端侧AI应用生态建设。

1B小参数版本:嵌入式设备和IoT全覆盖

除了35B-A3B旗舰版本,1B小参数版本面向嵌入式设备和IoT场景优化,进一步拓宽了端侧AI的应用边界。开源协议允许商业使用,模型权重已在GitHub和HuggingFace同步上线,开发者可免费下载并商业部署。

技术意义:端侧推理从”能用”到”好用”的跨越

3GB内存实现13+ token/s这一指标的意义不仅在于数字本身,更代表端侧多模态推理首次跨越了”实用门槛”——用户在实际使用中能够感受到流畅的实时响应,而非等待数秒才有反馈。