prefix="og: https://ogp.me/ns#"> Ternary Bonsai 2系列AI模型登场:iPhone上2B模型每秒120个词元|AI自学笔记

Ternary Bonsai 2:iPhone 上 2B 模型每秒 120 个词元

10月15日,AI公司PrismML发布博文,宣布推出Ternary Bonsai 2系列模型,包含2B、4B和9B三种规模,目标在手机、PC及可穿戴设备上本地运行AI智能体,执行推理、识图、调用工具等任务。

Ternary Bonsai 2基于阿里Qwen 3.5基座构建,采用”三元”权重表示法——仅用-1、0、+1三种数值编码模型参数。官方数据显示,2B、4B、9B模型的存储占用分别约为0.43GB、0.95GB和2GB。

iPhone 18 Pro Max上9B模型每秒34个词元,2B模型每秒120个词元

PrismML在19项基准上测试了智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力。其中9B模型在标准指令执行和日常数学任务中,所需token数量约减少40%。性能方面,在RTX 4090和M5 Pro等硬件上,新模型相较全精度模型可实现最高5倍吞吐量提升和3倍能效提升;在iPhone 18 Pro Max上,9B模型最高可达每秒34个词元,2B模型最高可达每秒120个词元。

三元权重表示法:极低存储占用的关键

传统模型参数以32位浮点数存储,而三元表示法将参数压缩为3个离散值,存储空间缩小约10倍。这是Bonsai 2能够在消费级设备上本地运行的核心技术原因。该系列可与已有的Bonsai 2 27B组成从轻量任务到复杂工作流的完整产品线。