11 月 20 日,英伟达发布 Nemotron-Labs-Sigma,一组共 14 个开放检查点的连续扩散语言模型家族,规模覆盖 3B 与 8B。Sigma 在一个 16 维嵌入空间里对文本做去噪,与 LLaDA、Dream 这类在离散 token 上工作的扩散语言模型路线不同。研究团队称这是首批大规模连续扩散语言模型家族。
少步蒸馏与轨迹可调控
离散扩散在 token 状态之间跳跃,轨迹难以调控,连续空间的优势在于路径平滑,属于常微分方程与随机微分方程的平滑轨迹,低步数下性能退化平缓,蒸馏效率也更高,嵌入空间的轨迹调控还可以直接微调生成质量。生成按块推进,每个去噪块在下一个块开始前提交进 KV 缓存,块大小默认 64 token,骨干是 Ministral 风格的仅解码 Transformer。
跑分与部署条件
性能方面,Sigma-8B 基座在英伟达六任务套件上平均 71.16 分,高于 NLD-8B 的 70.22,最好成绩是 GSM8K 上的 91.96 分,来自 Sigma-8B-instruct 与 256 步 DDPM 采样,最差是 AIME25 的 17.00 分。8 步蒸馏版 8B 保持 70.34 的平均分,而指令版平均 59.14 分仍低于 NLD-8B 的 59.92 分。部署上支持单张 GPU 以 bfloat16 运行,覆盖 Ampere、Lovelace、Hopper 与 Blackwell,单卡 H100 上约每秒 120 到 140 token,暂不支持 CPU,也未列出量化版本。
开源权重与生态位
模型卡推荐 guidance 为 3、温度 0.3、32 步 DDIM 采样。训练从约 1 万亿 token 的自回归热启动开始,之后追加约 0.3 万亿 token 的扩散训练。站内 Qwen3.8-Omni-Flash 的 29 项评测 提供了开源权重在真实部署中成本与效果的另一组对照。
延伸阅读
- 黄仁勋:2029 年内存不太可能过剩,LPDDR 能效高出一倍4 周前
- 英伟达 RTX 5090 官方商城下架:Blackwell 旗舰疑似停产让路 AI 算力1 月前
- 沃尔沃扩大与英伟达合作:Hyperion 自动驾驶将搭载下一代旗舰车型1 月前
- 英伟达开源 Run:ai 深度:KAI Scheduler 与 3 至 6 倍加载加速1 月前
继续读
往下这几篇值得接着看:
- 英伟达拟 5 亿美元收购 Inception,30 余名员工将加入2026-11-21
- 英伟达 GPU 租赁价最高翻倍:B300 涨超 60%2026-11-19
- 英伟达 Q3 财报:1158 亿美元营收与下季毛利率下滑深度2026-11-18
