Liquid AI LFM3 发布：6 款 2B 模型 22T Token 预训练

一句话结论：Liquid AI 在 10 月 27 日发布 LFM3 家族，用一条 1.7B 骨干派生出文本、视觉、音频、全模态与决策共六款 2B 级模型，文本模型上下文拉到 256K、4 比特量化后约 1GB，在智能体基准上已经能跟 9B 级模型掰手腕，而全部权重当天开放下载。

这批模型的定位很直接：把能力压进能塞进手机、树莓派和笔记本的尺寸，然后在本地把它改造成某个行业的专家，通用的更大模型由云端去承担。Liquid AI 官方给出的对比口径是，LFM3-1.7B 用比 LFM2.5-2.6B 少 35% 的参数拿到了更好的成绩，并且继承了 128K 词表、22T Token 预训练与 3.5T Token 的中训练阶段。

有意思的地方在于，官方在硬件搜索环里把测试设备从上一代的一台手机加一台笔记本，扩到了 14 种设备与后端组合，包括三星 Galaxy S26 Ultra、一加 15、树莓派 5、苹果 M4 Max、AMD Ryzen AI 笔记本、Arm 与 x86 云端 CPU、各类 GPU 以及高通 Hexagon NPU。架构方案由这批真实硬件反向筛出来，卷积与注意力的配比因此带着很强的工程味。

六款模型共用一条 2B 骨干，分工各不相同

LFM3 家族的第一版全部从 LFM3-1.7B-Base 派生，参数规模都在 2B 左右。四款覆盖不同输入模态，两款是从中分化出来的决策模型。相比以前的做法，Liquid AI 的思路是让使用者按场景挑模型，而不是拿一个通用大模型包打天下。

其中文本模型 LFM3-1.7B 是家族的门面，官方把它描述为可以塞进 Hermes Agent、Pi、OpenClaw 这类智能体框架运行，能处理收件箱分拣、日程管理、网页调研这类任务，还能用工具搜索在上千个工具里挑对那个。上下文窗口从 25K 一路推到 256K，配合 128K 词表，这套配置在今天的端侧模型里算是顶配。

三混合架构：13 层卷积、5 层滑窗注意力、6 层全局注意力

LFM2 的卷积加注意力混合结构来自 Liquid AI 的自动化硬件在环架构搜索，LFM3 沿用这条路，但目标从跑得快换成了在长上下文里同时保持速度与表达力。搜索出的结果叫三混合层，三种算子各管一段。

24 层里有 13 层门控短卷积，卷积核从上一代的 3 提到 7；5 层是 256 token 窗口的滑动窗口注意力；剩下 6 层是全局注意力。卷积层依然占了一半以上，这部分决定速度；滑动窗口注意力负责在长序列上控制成本；全局注意力保证远处的信息还能被看到。官方在边缘设备上的实测是，短提示词下 LFM3-1.7B 与上一代的 LFM2-1.2B 表现持平，8K 上下文时快出约 25%。

另外三处细节值得记下来。头级门控注意力用 sigmoid 门给每个注意力头的输出缩放，没有贡献的头可以自行关掉，用来压制激活离群值、缓解量化掉点并稳定训练。部分 RoPE 只旋转每个头频率最高的那一半维度，低频一半保持不旋转，这样那些维度的相似度不再受距离影响，而滑动窗口注意力层保留完整 RoPE。夹心归一化则是每个模块对输入和输出各做一次归一化。

跑分拆解：1.7B 在智能体任务上顶住 9B

官方给了 6 个模型的横向对照，其中 Qwen3.5-4B 与 Qwen3.5-9B 是最直接的参照。看智能体与工具调用这一组数据，能感觉到小模型在这两年涨得有多快。

结论很直白：LFM3-1.7B 的全项平均 49.37 分，略高于 Qwen3.5-9B 的 47.24，比同为 4B 的 Qwen3.5-4B 高出 10 分。它赢在智能体与工具调用这类操作上，输在知识密度和长上下文极限上，GPQA 上 63.37 分比 9B 低了 17 分，RULER 128K 也落后近 20 分。官方给的解释是检索可以补知识缺口， Humanity’s Last Exam 开着工具时分数几乎翻倍。编码这一块值得单独看一眼，Terminal-Bench 2.1 的 12.92 分不算亮眼，跟站内记过的 Kimi K3.1 Pro 在终端基准 65.7 分那种量级不在一个维度上，两者的测试设置与 harness 不同，不能直接比。

后训练走的是四段式：先做 1.75T Token 的监督微调，覆盖对话、推理、工具调用与智能体轨迹；再混合作者式强化学习，把数学、代码、SQL、结构化输出一起训，奖励里加了长度惩罚让回答更短；然后是混合域在线蒸馏，用代码、数学、工具使用、长上下文、智能体与企业流程六个专门 RL 教师蒸回一个模型；最后在真实智能体框架里跑网页浏览到办公流程的任务做智能体强化学习。

视觉与全模态：2B 模型对标 12B，差距 7.4 分起

LFM3-VL-2B 是这次改动最大的一个型号，它是首个以视频作为输入的 LFM 视觉模型，同时具备分步思考、空间视觉推理与图形界面理解三项能力。官方给出的对比结论是，在 62 项视觉基准上，它比同尺寸模型至少高 7.4 分，与大六倍以上的 Gemma 4 12B 持平，越过 Gemini 3.5 Flash Lite，落在 GPT-5.6 Luna 的 2 分以内。

视觉编码器换成自研版本，算力比上一代用的 SigLIP2 省了 3 倍。这套 1.64 亿参数的编码器在 13 项视觉语言基准上平均准确率 55.9%，与 Qwen3.5-2B 的视觉编码器持平，FLOPs 少 2.2 倍。处理视频时，编码器把每两帧采样合成一个时间切片，先把时间序列长度砍半再往下编码。

全模态型号 LFM3-Omni-2B 是家族里第一个 Omni 模型，把视觉、音频与语言合到一个 2.2B 的模型里。它在音视频理解上表现抢眼，Daily-Omni 拿到 70.1 分，Qwen2.5-Omni-3B 是 58.8 分；WorldSense 47.1 对 45.0；AV-SpeakerBench 46.8 对 40.4。但纯图像加音频的 OmniBench 总分 46.3，反而略低于 Qwen2.5-Omni-3B 的 47.1，RealWorldQA 64.7 也低于 7B 版的 69.9。

音频与决策模型：首字 50 毫秒，结构化输出一步到位

LFM3-Audio-2B 换了自研的音频编码器与编解码器，语音质量超过 LFM2.5-Audio，语言支持扩到 18 种，新增了音频理解、通用音频推理与工具调用。编码器用滑动窗口注意力与短卷积混合、完全因果，因此能在你说话的同时做 prefill，首字延迟低到 50 毫秒。配套的 LiquidCodec 在苹果 M4 Max 的单线程上做到约 87 倍实时，每 80 毫秒语音压成 12 个离散 token，并且允许多 token 并行预测而不是逐个生成。

值得注意的是它把参数从 7B 压到 2B 之后，英文识别误差只比 10B 的 Kimi-Audio-7B 高 0.9 个点，多语言还做到了 18 种。端侧纯语音这条路线上的其它尝试可以对照Block 发布纯语音模型 Dessa的记录，方向一致但尺寸差了一个量级。

决策模型是这一代新增的品类。d1-2B 从 LFM3-VL-2B 派生，d1-Omni-2B 从全模态版派生，它们的输出形式也变了，给出的是针对一组问题的结构化判断，每个答案都带一个校准过的概率，段落式回答不在输出范围内。相比上一代的 d1-3B，d1-2B 参数少三分之一，但成绩全面上升：真实企业记录上的 Decision Bench 从 83.6 涨到 85.2，公开套件 Decision Index 从 49.0 到 51.1，从照片和规则做决策的 ImajevBench 从 64.0 跳到 75.5，官方自建的 117 项基准指数从 58.8 涨到 63.2。

新的类型化输出有四种。Point 可以在画面上框出目标并统计数量；Read 能从文档里抽出文字、数字和日期并给出确切出处，字段不存在时会明确回答找不到；Estimate 给出带区间范围的数值；Pick 则是多选，每一项带独立概率。所有问题在一次前向里读完，说话版 d1-Omni-2B 相对打字版只掉几个点，DecisionBench 书面 83.4 对语音 78.2，JevBench 语音 89.0 反而高于书面 87.6。

落地成本：单卡微调与 14 种设备后端

端侧指标是官方给的另一组硬数字。用 llama.cpp 以 Q4_0 量化和 32K 上下文测量，LFM3-1.7B 在三台测试设备上都是最快的，解码速度比第二名快 1.8 到 2.8 倍，同时占用内存最少。长上下文的账也算得清楚，跑满 128K token 需要 1.6GB 的 KV 缓存，而 Qwen3.5-4B 需要 4.3GB，MiniCPM5-2B 需要 5.6GB。这类固定 KV 的优化思路，可以和EdgeRock-4B 把 KV 压到 72 MiB的做法放在一起看，目标都是把长上下文的内存账单压下来。

服务端另一头，单张英伟达 B300 跑 SGLang 用 BF16，LFM3-1.7B 在 1024 并发下每天能产出 36 亿 token，超过同组其他所有模型。官方拿这个吞吐做了个实验，同时跑了超过 30 万个 LFM3-1.7B 智能体去检索 Enron 邮件档案。液态自研的推理引擎 Liquid RIPL 在随机流量下 P95 延迟保持稳定，比同类的 vLLM 部署更抗压。

第三方从 macOS 真实环境里测出的结果更直接。MacPaw 的工程师把 LFM3-1.7B 和 Qwen3.5-2B 放在 65 项日常智能体任务上对比，任务成功率 64% 对 48%，每个任务消耗 token 少 58%，卡住的概率不到 1% 而对手是 15%。

微调门槛是官方最想传达的卖点。官方演示用约 3000 张公开的风机叶片照片做 SFT 与 GRPO，在单张 A100 上训了几小时，然后在约 1400 张留出照片上和基线对比。未微调的 LFM3-VL-2B 与 GPT-6 Luna 能正确识别缺陷类型的比例都不到 10%，微调之后 LFM3-VL-2B 的分类准确率到 67%，检测 F1 从 0.003 提升到 0.11，而 GPT-6 Luna 停在 0.01。官方还演示了机器人的三条路线：工具编排用 rank-32 的 LoRA 适配器在约 4 万样本上训了 6 个 GPU 小时；视觉语言导航用 280 万样本训 72 GPU 小时，R2R 成功率 53%、RxR 43%；最激进的视觉语言动作模型用了 170 GPU 小时、覆盖 15 种本体形态，在 LIBERO 四个套件上平均成功率 96.2%，RoboCasa-GR1 桌面任务 45.7%。跨本体复用这条思路，千诀 Polibrain 世界模型也在做类似的事。

谁在第一天就接入了

首日支持的平台名单不算长但覆盖完整：Ambarella、AMD、Arm、英特尔（走 OpenVINO）、英伟达、OpenRouter、高通（Qualcomm AI Hub 与 GenieX）以及 Vercel。预发布测试阶段有梅赛德斯-奔驰和 Shopify 参与。工具链一侧，llama.cpp、LM Studio、MLX、Ollama、vLLM、SGLang、Unsloth 这些都在名单里，权重当天就能下载、微调和部署。

首日合作伙伴的表态也透露了各自的打算。AMD 侧提到要在搭载 Ryzen AI 处理器的 AI PC 上铺开 LFM3 家族，Ambarella 已经在 Cooper Model Garden 里支持 LFM2.5-VL 并开始为 LFM3 提供支持，高通则把 LFM3 放在下一代端侧交互的路线图上。梅赛德斯-奔驰的 MBUX 虚拟助手是车载语音与视觉融合的一个现实落点。

常见问题

LFM3 和上一代 LFM2 到底差在哪

核心差异有三条：架构从两混合换成三混合，全局注意力层数从零变成 6 层；训练量从上一代的规模扩到 22T Token 预训练加 3.5T Token 中训练；能力面从单一模态扩成文本、视觉、音频、全模态、决策六款模型。落到数字上，官方给的说法是 LFM3-1.7B 用少 35% 的参数超过了 LFM2.5-2.6B。

2B 参数的模型能撑起真实的智能体任务吗

在受控基准上可以，在通用知识上不行。WebArena-Verified 38.42 分、AutomationBench 41.29 分、LiveClaw 45.60 分说明它能跑完整流程，但 GPQA Diamond 只有 63.37 分，比 Qwen3.5-9B 低 17 分。它更适合被微调成某个垂直领域的专家，而不是拿来当通用大脑。

本地跑这些模型需要什么硬件

文本模型 4 比特量化后约 1GB，官方在手机、树莓派 5、M4 Max、Ryzen AI 笔记本以及各类云端 CPU、GPU、高通 NPU 上都做过测试。用 llama.cpp 以 Q4_0 跑 32K 上下文时它是最快的型号之一，长上下文下 128K 需要 1.6GB KV 缓存。想要 256K 全上下文则需要按比例再算内存。

小结

LFM3 的意义不在于刷新了什么排行榜，而在于把一批 2B 级的模型做到了在智能体、工具调用、视觉和语音这四条线上都够用，并且全部开放权重。官方的算法很直白：与其把所有能力堆进一个大模型，不如让使用者挑一款 2B 的、能在自己设备上跑、还能用单卡微调成行业专家的模型。1.7B 在 LiveClaw 上拿到 45.60 分、视觉型号平均 71.4 分、音频首字 50 毫秒、决策模型参数少三分之一反而更强，这些数字放在一起，说明端侧小模型与云端大模型之间的分工正在重新划线。至于要不要押注，得看你的任务是否真的能塞进那个尺寸。

相关阅读

• EdgeRock-4B 开源：72 MiB 固定 KV，AIME 82.9 分
• Gradium Phonon 开源：3100 万参数端侧 TTS，词错率 1.70%
• Block 发布纯语音模型 Dessa：单台 GB200 训练，M4 Max 本地跑
• Recursive Flint 开源：40B 只激活 2.5B，本地跑 131 tok/s
• 千诀 Polibrain 世界模型发布：5 类机器人复用，隐变量早 LeCun 一年