Ternary Bonsai 2深度：Qwen 3.5基座+iPhone实测120词元/秒，手机AI进入三元量化时代|AI自学笔记

三元权重网络（Ternary Weight Networks）正将手机端AI智能体的性能边界推到全新高度。10月15日，AI公司PrismML发布Ternary Bonsai 2系列模型：基于Qwen 3.5开源基座构建，仅用-1、0、+1三个数值编码全部模型参数，存储缩小约10倍，同时保持了可用的任务表现。实测iPhone 18 Pro Max上2B版本达到每秒120个词元的生成速度，实现了在消费级手机上运行完整AI智能体的技术突破。

三元权重：极简编码的工程逻辑

传统深度学习模型以32位浮点数存储每一个参数。以一个2B参数的模型为例：2B×4字节=约8GB的存储空间，在手机和PC上几乎不可接受。三元表示法将参数约束在{-1, 0, +1}三个离散值，每个参数仅需约2 bit即可完整编码，存储空间缩小约10倍。

这一编码方式并非学术概念。传统INT8量化将参数映射到256个整数值，INT4进一步压缩到16个值，但始终保留了相对精细的精度粒度。三元权重的思路更为激进：每个参数只有三种状态，编码效率更高，理论存储压缩比约为16倍（相对32位浮点）。实际工程中，PrismML将三元权重与知识蒸馏相结合，在压缩存储的同时通过蒸馏过程弥补精度损失，使最终模型在任务表现上更接近全精度基线。

2B、4B、9B三种规模的存储占用分别约为0.43GB、0.95GB和2GB。以9B模型为例：同等精度的32位浮点版本需要约36GB存储，三元权重后仅需2GB，在手机和可穿戴设备上实现了真正的本地运行。

实测性能：iPhone 18 Pro Max每秒120个词元

PrismML在19项基准上测试了智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力。Ternary Bonsai 2 9B模型相较全精度基线，在标准指令执行和日常数学任务中所需词元数量减少约40%，有效降低了计算量。在RTX 4090和M5 Pro上，最高实现5倍吞吐量提升和3倍能效提升。

在iPhone 18 Pro Max上的实测结果最为引人关注：2B版本最高达到每秒120个词元的生成速度，9B版本则可达每秒34个词元。以一次智能助手查询的平均回复长度为30个词元计算，2B版本约0.25秒即可生成完整回复，已接近实时交互体验。对于推理、识图、工具调用等轻量级智能体任务，这一速度已具备实用价值。

Qwen 3.5基座：开源生态的又一次延伸

Ternary Bonsai 2基于Qwen 3.5开源基座构建，而非从零训练。Qwen 3.5是阿里通义千问经过大量应用验证的开源基座，在代码生成、逻辑推理、多语言处理等方面有扎实表现。这一选择带来了两方面优势：一是复用Qwen 3.5在各类任务上经过大量应用验证的能力基座；二是0.43GB的极小存储占用使模型可以直接随应用分发，无需从云端下载更新。

从产品线看，Ternary Bonsai 2与PrismML此前发布的27B版本共同组成了完整的产品系列：2B/4B/9B覆盖从轻量推理到复杂工作流的全场景，27B版本面向高复杂度任务，形成了清晰的层次化布局。

横向对比：手机端AI竞争格局

Ternary Bonsai 2并非唯一的手机端AI方案。高通骁龙X Elite/Plus系列面向Windows笔记本电脑，Apple Silicon上的设备端模型面向iPhone和iPad，Google的Pixel端侧AI面向原生安卓生态——各路玩家在不同维度竞争。

但Ternary Bonsai 2采用的极致参数量化路径独树一帜：INT4/INT8等常规量化保留了一定的精度粒度，而三元权重以更激进的方式压缩参数，在精度损失和存储收益之间找到新的平衡点。这不仅意味着更小的存储占用，也意味着更低的内存带宽需求——这是移动端推理的关键瓶颈之一。

数据表：Ternary Bonsai 2 系列规格一览

模型规模	存储占用	等效32位浮点大小	iPhone 18 Pro Max 速度	RTX 4090/M5 Pro 吞吐提升	能效提升
2B	约0.43GB	约8GB	最高120 词元/秒	最高5倍	最高3倍
4B	约0.95GB	约16GB	未披露	未披露	未披露
9B	约2GB	约36GB	最高34 词元/秒	最高5倍	最高3倍

FAQ：关于三元权重手机AI的几个关键问题

问：三元权重相比INT4/INT8量化有什么优势？
INT4或INT8量化将参数映射到16或256个离散整数值，保留相对较细的精度粒度。三元权重将参数约束在仅3个值（-1、0、+1），编码效率更高（每个参数仅需约2 bit），理论存储压缩比约为16倍（相对32位浮点）。PrismML在论文中指出，在相同存储预算下，Ternary Bonsai 2的任务表现更接近全精度基线。

问：每秒120个词元在iPhone上能做什么？
以一次智能助手查询的平均回复长度为30个词元计算，120词元/秒意味着约0.25秒即可生成完整回复，已接近实时交互体验。这一速度在执行推理、识图、工具调用等轻量级智能体任务时已具备实用价值。相比完全依赖云端推理的服务模式，本地运行的模型还具有隐私保护和网络依赖低的优势。

问：Ternary Bonsai 2基于Qwen 3.5基座意味着什么？
Qwen 3.5是阿里通义千问经过大量应用验证的开源基座，在代码生成、逻辑推理、多语言处理等方面有扎实表现。Ternary Bonsai 2以Qwen 3.5为底座，结合极致三元量化，在约0.43GB的极小存储占用下提供了接近全精度模型的智能水平。

小结

Ternary Bonsai 2以三元权重这一极致量化路径，将存储压缩做到极致。约10倍的空间节省，使AI智能体在手机和可穿戴设备上的本地运行从技术可能变为实际产品。约0.25秒的iPhone端推理延迟，意味着用户在实际使用中已接近即时响应的体验。对于手机和可穿戴设备而言，能够在本地运行完整AI智能体，意味着更快的响应、更强的隐私保护和更低的服务依赖——这是端侧AI智能体迈出的关键一步。

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：

想快速查定义？对应的词条在这里：

Qwen词条 · AI 自学笔记
AI Agent词条 · AI 自学笔记

Ternary Bonsai 2：Qwen 3.5 基座，手机端每秒 120 词元