needle 开源：2-bit 量化、最小 8MB 端侧模型

2 months ago AI笔记

needle 是给微型设备准备的基础模型，量到 2-bit 之后体积只有 8 到 29 MB。这个尺寸意味着它能塞进手机、可穿戴设备、智能家居、机器人、汽车，甚至微控制器。

这个体积意味着什么

8 MB 是个分水岭。它小到可以完整放进片上存储，不必依赖网络往返。对需要在断网环境下工作的设备来说，这是能不能落地的关键。

tool calls、结构化抽取和 embeddings 是它的三个主要用途。这三件事都不追求通用对话能力，而是把端侧最常需要的能力单独做小做快。

一天新增两百多星，说明端侧小模型这个方向确实有人等。

素材没有给出精度对比数据。极低比特量化的代价通常体现在复杂任务上，具体损失要看官方评测。

不适合。它的定位是在设备本地处理轻量任务，复杂推理仍然需要云端。

needle 代表的是端侧模型的一条务实路线，不追通用能力，只把设备上最需要的那几种能力压到足够小。对做硬件和物联网的团队来说，这类模型值得放进选型清单。