SenseNova Loop-9B 正式版:9B 参数 56 层,10GB 显存怎么部署

一句话结论:商汤在 11 月 17 日正式发布 SenseNova Loop-9B,用约 9B 独立参数在单次前向里跑出 56 次解码器层计算,4bit 量化后权重体积约 4.9GB,256K 上下文的多模态推理显存需求约 15GiB,首日同步提供 AWQ 4bit 量化权重,同一天寒武纪完成 MLU 平台 Day 0 适配。

这是日日新(SenseNova)系列里第一个把「循环计算」做成正式版发布的开源模型,和 10 月 30 日那版 Preview 预览稿相比,它在 Agent、代码、数据分析三类任务上全面跑赢了自己。站内此前记录过 Preview 阶段的架构思路,商汤开源 SenseNova Loop-9B:9B 模型媲美 27B 效果 那一篇讲的是循环模块怎么设计,而这次正式版把焦点从「能不能做」换成了「怎么跑、跑多快、显存要多少」。

正式版和 Preview 的差距:七项基准全面抬高

正式版最直观的进步在 Agent 终端任务上。AutomationBench 从 14.33 涨到 36.67,接近翻倍;Terminal-Bench 2.1 从 40.45 涨到 59.55,提升 19.10 分;GAIA 从 37.86 跳到 69.90,增幅接近 32 分。数据分析类的 BIRD 得分为 72.34,比 Preview 的 71.38 高 0.96 个百分点。

基准 Preview(10 月 30 日) 正式版(11 月 17 日) 变化
AutomationBench 14.33 36.67 +22.34
Terminal-Bench 2.1 40.45 59.55 +19.10
GAIA 37.86 69.90 +32.04
BIRD 71.38 72.34 +0.96
AIDABench — 65.31 对比 Qwen3.8-27B 的 65.01
NL2Repo — 41.36 对比 Qwen3.8-27B 的 44.60

这里的参照物换成了 Qwen3.8-27B,不是上一版稿里的 Qwen3.5-27B。正式版在 AutomationBench 上与 Qwen3.8-27B 同为 36.67,AIDABench 上以 65.31 略微反超 65.01,NL2Repo 的 41.36 则落后 44.60 约 3.24 分。用 9B 独立参数顶住一个 27B 稠密模型,在仓库级代码任务上还差一口气,这是这份成绩单的真实边界。

32 层怎么变成 56 次:Loop 结构拆解

模型是自回归多模态解码器,输入文本和图像、输出文本。32 个物理解码器层被切成三段:第 0 到 3 层是前置,第 28 到 31 层加输出头是后置,中间第 4 到 27 层这 24 层构成循环模块,被连续执行两遍。用 B 表示循环模块、h 表示输入,整个循环计算写成 B(B(h))。

推理时每次前向完成 56 次解码器层计算,但只存储 32 层的权重。循环模块两次执行共享同一组权重,第一次的输出成为第二次的输入。这正是「让更少的参数走更深的计算路径」这句话的技术含义:推理等效参数规模约 14.6B,独立参数仍只有约 9B。站内 JTok 与 xHC:61B 模型省 35% 训练算力的两条扩展轴 讨论过扩展与压缩的张力,Loop 是同一条赛道上的另一种解法,它不扩宽模型,而是让同一段权重多跑几遍。

注意力采用混合模式,四层一组,三层线性注意力加一层全注意力,循环边界与完整的四层组对齐,所以两遍执行的注意力排列完全一致。隐藏维度 4096,前馈维度 12288,词表 248320,全注意力头 16 个、KV 头 4 个,上下文长度做到 512K tokens。

双流 mHC:20 次 Sinkhorn 迭代在管什么

循环模块内部用两条残差流并行传递隐藏状态。可学习映射决定每一层怎么从残差流读取、怎么在两条流之间混合信息、怎么把层输出写回去。流间混合矩阵用 Sinkhorn 归一化约束,模型配置里设了 20 次迭代。

这一点容易和循环本身混淆。官方文档专门强调:这 20 次归一化迭代属于 mHC 内部计算,与循环模块执行两遍是两个独立步骤。Sinkhorn 的作用是让两路信息混合时保持行与列的双随机特性,避免某一条残差流在多轮循环中数值失控。模型主干权重用 BF16,而 mHC 路由参数保持 FP32,这种精度差也说明路由部分在训练中被当成了需要精细控制的状态变量。

Loop Scaling:把循环次数从 1 加到 4 能拿多少

官方用原始 9B 模型的标准单次前向(Loop 1)作基准,在训练数据等配置不变的前提下同步调整训练与推理循环次数,观察四项核心任务的表现。整体趋势是随循环次数上升而提升,最优区间落在 3 到 4 次循环。

任务 最优循环次数 相对 Loop 1 提升
AIDABench-QA 3 次 +6.42%
Workbuddy-office 3 次 +16.93%
LiveCodeBench V6 4 次 +8.10%
AIDABench-data_visualization 4 次 +8.55%

但 Preview 和正式版默认都用 2 次循环,因为要平衡推理效率。从 2 次加到 4 次,LiveCodeBench V6 还能再涨 1.04 个百分点,AIDABench 数据可视化再涨 1.35 个百分点。这组数据说明当前发布的 2 循环配置是效率折中的产物,不是能力上限,官方后续的方向是 Dynamic Loop,也就是按任务复杂度动态分配循环次数。

显存账:4bit 权重 4.9GB,最低要多少卡

Loop 结构的一个直接好处是独立参数少,4bit 量化后权重体积约 4.9GB。配合 8bit 或 4bit KV 缓存,官方给出了三档上下文的最低显存估算。

上下文长度 8bit KV 缓存 4bit KV 缓存
64K 约 10 GiB 约 9 GiB
128K 约 12 GiB 约 10 GiB
256K 约 15 GiB 约 12 GiB

64K 上下文用 4bit KV 缓存能压到 9 GiB,一张 12GB 卡起步就能跑起来,这与站内 本地大模型显存怎么算:8B 每 1K 上下文 144MB 给出的估算量级一致。走 256K 长上下文多模态推理,8bit KV 缓存需要约 15 GiB,换成 4bit 可以省下 3 GiB。首日同步发布的官方 AWQ 4bit 量化版本就是为了让这一步不折腾。

三条部署路径与寒武纪的 Day 0 适配

官方给出的部署方案有三种。Transformers 路线已验证的环境是 Transformers 5.18.0、PyTorch 2.11.0、CUDA 13.0,加载时必须带 trust_remote_code=True,因为 Loop 的自定义实现不在标准库里。推理引擎方面,LightLLM 用四卡张量并行直接跑 docker 镜像;SGLang 对应 PR 47281;vLLM 对应 PR 64832,两者都需要从 PR 分支拉取后本地安装,因为 Loop 架构还没进主干。

服务起来之后是 OpenAI 兼容接口,curl 直接打 /v1/chat/completions。模型还支持 MTP 推测解码,DSpark 与 DFlash2 两个 draft model 的训练脚本放在 OpenSenseNova/SenseSpec 仓库。

国内算力侧的动作更快。寒武纪在商汤正式发布当晚就宣布完成 Day 0 适配,打通了 MLU 平台上的推理链路,适配基于 vllm_mlu 完成。技术上采用静态展开方案,把循环计算转成 56 个顺序执行的层,从而复用 vLLM 既有的调度和 KV cache 机制,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。Attention、Linear Attention、MLP 被替换为 vllm_mlu 里已有的 Qwen3-Next 系列 MLU 算子,多模态部分复用 Qwen3.5-VL 的视觉 Transformer 与 Processor。

国产模型与国产芯片的发布节奏对齐到同一天,这件事本身比算子适配更有信号量。站内 LongCat-2.5 开源:1.6T 参数 MIT 协议,W4A4 量化怎么跑 走的是另一条 W4A4 路线,商汤 SenseNova 6.8 Flash 深度:9 项基准与 7 类设计交付 则是同厂商同代的另一条产品线,Loop-9B 的定位更偏底层架构实验。

三个已知局限别忽略

官方自己列了三条短板。复杂指令跟随方面,面对较多且复杂的工具定义或多重条件约束时,模型可能出现理解与执行偏差。代码与通用 Agent 能力上表现不稳定,虽然能通过增加步骤修正部分错误,处理复杂长程任务的能力仍需提升。复杂网页生成上,含复杂 3D 场景和丰富动态元素的网页未必能单轮完成,部分案例需要两到三轮反馈迭代。

最后一条和模型强项有关。Loop-9B 的 Showcase 里有 3D 场景、SVG 交互网页、实验字体展这类视觉生成任务,官方能拿出单轮样例,但从 Showcase 好看到网页真正能用之间还隔着 2 到 3 轮修改。这恰好是它当前最典型的使用姿势。

小结

SenseNova Loop-9B 正式版把「循环计算」从论文概念推到可下载可部署的形态。9B 独立参数、56 次层计算、512K 上下文、4bit 权重 4.9GB、256K 上下文约 15GiB 显存,这几个数字构成了它的实际使用边界。GAIA 从 37.86 到 69.90 的跳升说明循环结构在 Agent 任务上确实有效,NL2Repo 落后 Qwen3.8-27B 3.24 分则划出了它的天花板。想上手的话,64K 上下文加 4bit KV 缓存的 9 GiB 显存路线是最省事的起点,vLLM 需要从 PR 64832 分支安装是唯一需要留意的门槛。

常见问题

SenseNova Loop-9B 需要多大的显卡才能跑?

4bit 量化后权重约 4.9GB。64K 上下文配 4bit KV 缓存最低约需 9 GiB 显存,一张 12GB 卡即可;128K 约 10 GiB,256K 约 12 GiB。走多模态 256K 推理且用 8bit KV 缓存时,显存需求约 15 GiB。

Loop 架构和普通的循环调用有什么区别?

它不是推理时反复调用同一个模型,而是把中间 24 层参数共享的解码器层在网络内部连续执行两遍。权重只存一份,但每次前向完成 56 次解码器层计算,推理等效参数规模约 14.6B。相比深度优先的多次采样,延迟结构完全不同。

vLLM 和 SGLang 怎么选?

两者都需要拉 PR 分支本地安装,vLLM 对应 PR 64832,SGLang 对应 PR 47281。要多模态输入和 OpenAI 兼容接口优先选 vLLM,它的社区适配面更宽;只做纯文本吞吐且已经在用 SGLang 的团队直接沿用原配置更省事。LightLLM 适合已经在用该镜像的部署环境。

全部文章归档与模型专题