11 月 18 日消息,商汤科技于 17 日晚间发布 SenseNova Loop-9B 模型,寒武纪随后宣布已完成对该模型的 Day 0 适配,打通了模型在 MLU 平台上的推理链路。适配基于 vllm_mlu 完成,围绕 Loop 循环结构、MLU 算子适配、mHC 路由优化三个方向展开。
9B 参数展开成 56 次层计算
SenseNova Loop-9B 通过 Loop 结构复用模型层参数,并结合流形约束超连接 mHC,在有限参数规模下扩展计算深度,模型使用约 9B 参数,通过循环执行共享的中间层,把 32 个物理解码层扩展为 56 次层计算。官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10GB 以内。
静态展开复用 vLLM 调度机制
为兼容 vLLM 现有的模型执行与调度机制,寒武纪采用静态展开方案,把循环计算转换为 56 个顺序执行的层,使模型能够复用标准调度与 KV cache 机制,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。Attention、Linear Attention 和 MLP 等核心模块被替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现,多模态部分复用 Qwen3.5-VL 的视觉 Transformer 与 Processor。
mHC 的双流信息路由涉及归一化与 Sinkhorn 迭代计算,对算子执行效率提出了额外要求,适配工作围绕这一点做了专门优化。商汤方面表示,SenseNova Loop-9B 面向复杂推理、代码、工具调用和多模态任务,在 Agent、代码与数据分析任务上持续优化循环计算的能力边界。
相关阅读
模型在复杂推理、代码、工具调用与多模态任务上做优化,Day 0 适配的意义在于国产芯片厂商与国产模型厂商的发布节奏已经对齐到同一天。
相关阅读
延伸阅读
- 爱芯元智AX8860发布:256 TOPS对标DGX Spark,售价减半1 月前
- 寒武纪否认百万颗出货传闻:Q3营收35.31亿增104%3 周前
- 商汤发布日日新SenseNova6.8Flash正式版 支持动态PPT与3D设计2 周前
- 商汤 SenseNova 6.8 Flash 深度:9 项基准与 7 类设计交付2 周前
继续读
往下这几篇值得接着看:
- 商汤前三季度营收 37.92 亿元:生成式 AI 收入同比翻倍2026-11-18
- 英伟达 Q3 财报:营收 1158 亿美元 净利同比增 105%2026-11-18
- SenseNova Loop-9B 正式版:9B 参数 56 层,10GB 显存怎么部署深度2026-11-18
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
