10 月 22 日，Liquid AI 发布实时推理引擎 Liquid RIPL（Real-time Inference Pipeline），用于在在线请求链路里跑 LFM2.5 系列模型。公司称该引擎能在 50 毫秒内返回完整生成结果，且在峰值持续流量下延迟保持稳定，最佳一组基准中 p95 延迟为 155.8 毫秒。
对比 vLLM 拉开数倍差距
在单张 B200 上以开放环泊松到达方式测试，LFM2.5-1.2B 在 256 输入 128 输出场景下 p95 为 155.8 毫秒，Qwen3.5-0.8B 在 vLLM 上是 4431 毫秒，差距 28.4 倍。规模拉大后优势收窄，LFM2.5-2.6B 对 Qwen3.5-2B 是 449.1 毫秒对 2499 毫秒，为 5.6 倍，长请求下已无法守住 50 毫秒目标。同一款 LFM2.5-350M 在两个引擎上的对比曲线，也把一部分增益归到引擎本身而非模型结构。
为在线决策场景设计
传统推理栈面向大批量与长时智能体任务，秒级延迟可以接受，而搜索排序、风控拦截、支付授权这类链路需要毫秒级结果。RIPL 支持 230M 到 2.6B 参数的 LFM2.5，部署在 NVIDIA H100、H200、B200 与 RTX PRO 6000 上，目前仅对企业客户开放。Shopify 已在搜索增强场景上线 LFM，官方称推理低于 20 毫秒，参数用量比替代方案少约一半。
LFM2.5 本身是混合架构，1.2B 版本 16 层里含 10 个双门控卷积块与 6 个 GQA 块，2.6B 版本 30 层里是 22 个卷积块加 8 个 GQA 块。官方在广告查询改写、搜索意图分类、搜索重排、支付风控、信用决策、图片 alt 文本六类实时任务上分别设定了 20 毫秒到 150 毫秒不等的预算，RIPL 的目标就是把这些场景从梯度提升树手里接过来。
把模型拆进低延迟链路的做法，llm-d 1.0 的 17000 节点吞吐实践从集群侧给出了另一种解法。
延伸阅读
- llm-d 1.0发布：17000节点吞吐提升2.9倍，首token延迟砍掉85%1 天前
- NVIDIA下代Groq LPU放弃SRAM：3D堆叠DRAM能解决大模型推理的存储墙吗2 天前
- 是石科技 TokenFleet 发布：P95 首 Token 延迟降 32.4%2 天前
- 谷歌云llm-d 1.0发布：17000节点部署吞吐提升2.9倍1 天前
继续读
同一批更新里这几篇值得一看：
- 谷歌云llm-d 1.0发布：17000节点部署吞吐提升2.9倍2026-10-21
- 是石科技 TokenFleet 发布：P95 首 Token 延迟降 32.4%2026-10-21
- TypeSafe AI 与 Liquid AI 48 小时内的快速对决：决策模型王座易主2026-10-16
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记