寒武纪适配商汤 Loop-9B:4bit 权重 4.9GB 显存 10GB

11 月 18 日消息,商汤科技于 17 日晚间发布 SenseNova Loop-9B 模型,寒武纪随后宣布已完成对该模型的 Day 0 适配,打通了模型在 MLU 平台上的推理链路。适配基于 vllm_mlu 完成,围绕 Loop 循环结构、MLU 算子适配、mHC 路由优化三个方向展开。

9B 参数展开成 56 次层计算

SenseNova Loop-9B 通过 Loop 结构复用模型层参数,并结合流形约束超连接 mHC,在有限参数规模下扩展计算深度,模型使用约 9B 参数,通过循环执行共享的中间层,把 32 个物理解码层扩展为 56 次层计算。官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10GB 以内。

静态展开复用 vLLM 调度机制

为兼容 vLLM 现有的模型执行与调度机制,寒武纪采用静态展开方案,把循环计算转换为 56 个顺序执行的层,使模型能够复用标准调度与 KV cache 机制,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。Attention、Linear Attention 和 MLP 等核心模块被替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现,多模态部分复用 Qwen3.5-VL 的视觉 Transformer 与 Processor。

mHC 的双流信息路由涉及归一化与 Sinkhorn 迭代计算,对算子执行效率提出了额外要求,适配工作围绕这一点做了专门优化。商汤方面表示,SenseNova Loop-9B 面向复杂推理、代码、工具调用和多模态任务,在 Agent、代码与数据分析任务上持续优化循环计算的能力边界。

相关阅读

模型在复杂推理、代码、工具调用与多模态任务上做优化,Day 0 适配的意义在于国产芯片厂商与国产模型厂商的发布节奏已经对齐到同一天。

相关阅读

全部文章归档与模型专题