英伟达 Nemotron 3.5 Transcribe：4.71% 词错率与 40 语种

英伟达在 10 月 28 日开源 Nemotron 3.5 Transcribe，把转写、说话人分离和语音翻译合并进同一个模型。总参数 340 亿，激活参数约 43 亿，官方给出的英文 Open ASR 榜单九数据集平均词错率是 4.71%，在开放权重阵营排在第一。

这个模型值得单独拆开看的地方有三个。它不只做转写这一件事，而是用文字指令切换输出形态；它把长音频、多说话人、上下文热词这些此前需要不同专用模型处理的任务收进一个 checkpoint；它公开了完整的训练数据规模与逐语种成绩，让第三方可以自己核对。

一个模型，三种活儿

纯文本转写系统听不出谁在说话，也不会翻译或正确拼写专业术语。Nemotron 3.5 Transcribe 的做法是把任务选择权交给提示词。同一段会议录音，通过不同的文字指令可以得到带说话人标签的逐字稿、英文译文，或者一份决策摘要。用户还可以把药名一类专有词作为提示喂进去，让模型在转写时优先采用这些写法。

架构上它由三部分拼起来：Transformer 语音识别编码器加上约 9900 万参数的说话人编码器负责感知，一个 CTC 时间戳对齐头负责定位，再由 Nemotron-3.5 Lightning 30B-A3B 的语言骨架负责生成。感知模块用了 1280 维身份连接器，再经学习投影映射到 2688 维，与文本提示拼在一起送进语言模型。语言骨干本身约 35 亿激活参数，加上约 8 亿参数的联合音频编码器，合计约 43 亿。

模型支持联合多 token 预测，推理时复用重复层最多支持 8 个投机 token，另外还提供 DFlash2 草稿模型作为投机解码的可选方案。

英文单说话人：九数据集平均 4.71% 词错率

官方成绩采集于 2026 年 10 月 12 日。英文 Open ASR 榜单的结果是九个数据集的等权平均。

对照来看，开放权重阵营里排第二的是 Qwen3-ASR-1.7B，九数据集平均 4.94%。差距只有 0.23 个百分点，但激活参数规模相差一个数量级。长音频榜单上差距更明显，Nemotron 3.5 Transcribe 的长音频平均词错率 10.98%，次优的 Parakeet-TDT-0.6B-v3 是 13.37%。

真正能体现模型价值的还有结构化内容的转写。数字转写基准 Numb3rs 的词错率 3.55%，而针对邮箱地址、文件路径这类结构化值的 VoiceCodeBench 词错率 8.38%，其中规范 token 与实体匹配率 88.53%，任务成功率 59.33%。后一个数字偏低，恰好说明这类任务目前还没被解决干净。

多说话人与上下文热词：真正的使用场景

会议录音的难点从来不是单句准确率，而是谁说了什么。模型在多说话人基准上用 cpWER 衡量，即先把预测的说话人标签对齐到参考说话人再算词错率。

耳麦与远场麦克风之间的差距普遍在 7 到 11 个百分点之间，单通道远场条件下错误率显著上升。这组数据把「会议室远场拾音仍是难点」写得很直白。

上下文热词是另一个实用维度。给定词表后模型可以显著提升专有名词的识别精度。ContextASR-Bench 上不加上下文时词错率 3.33%，给出细粒度上下文后降到 1.71%，命名实体词错率从 12.21% 降到 2.20%，实体漏识率从 14.99% 降到 1.32%。财报电话会议场景的关键词 F1 从无上下文的 73.01% 提升到 97.09%。

这解决了转写系统最常见的落地痛点。人名、公司名、药品名只要提前喂进提示词，就不必依赖通用语言模型的词频猜测。

多语与语音翻译：40 语种的成绩单

模型支持 40 种语言，多语 Open ASR 榜单七种语言的整体词错率 4.62%，次优的 Qwen3-ASR-1.7B 为 6.49%。七种语言各自的均值分别是德语 2.82%、西班牙语 2.82%、意大利语 3.61%、法语 3.92%、葡萄牙语 4.06%、荷兰语 5.96%、印地语 9.15%。

逐语种看 FLEURS 与 CoVoST2 的错误率，能看出语系之间的分化。意大利语 1.41%、西班牙语 2.20%、德语 2.73%、葡萄牙语 3.01%、英语 3.35% 处于前列；希腊语 26.93%、希伯来语 20.97%、菲律宾语 18.28% 明显落后；挪威语 63.76% 是最差的一档，中文以字符错误率计为 8.62%，日语 4.42%，韩语 2.78%。

语音翻译方向上，FLEURS 与 CoVoST2 各自报告到英语和从英语两个方向的 BLEU 或 spBLEU，官方不提供汇总值。中文相关的成绩是：FLEURS 到英语 21.88，英语到 FLEURS 38.51，CoVoST2 到英语 20.54，英语到 CoVoST2 38.45。方向之间的落差提示了一件事，同传质量的提升并不自动带来翻译质量的提升。

训练数据：172 万小时音频与 Granary v2

公开训练数据规模是这个模型区别于多数开源语音模型的地方。官方给出的数字是约 1.72 百万小时去重索引音频，含重复曝光约 652.8 万小时，唯一音频样本约 3.72 亿条，唯一文本 token 约 56 亿。

随模型发布的 Granary v2 数据集覆盖 48 种语言、16 个源语料库，标注时长 463,062 小时，其中流水线自身质量门控标为高质的约 165,300 小时。语音翻译部分包含约 92,496 小时的 X 译英语，以及约 39,375 小时的英语译 X，后者每条记录一次性扇出到 31 个目标语种。每条 utterance 给出六个文本目标：规范化逐字稿、逆文本正则化、图像描述、语码混写、语音问答与翻译。

生成流水线的源码已在 NeMo Curator 的 audio 目录公开，端到端运行脚本与各阶段脚本随后跟进。对想复现训练的小团队来说，这意味着标签生成的方法论可以直接查证，不必逆向工程。

部署效率：一卡每秒转写 2238 秒音频

性能数据来自 Nemotron Transcribe NIM 中经过优化的 vLLM 实现。在单张 RTX PRO 6000 Blackwell 服务器版 GPU 上，配合 NVFP4 精度与 DFlash2 投机解码，每秒可以转写最多 2238 秒音频，一段 30 秒录音的逐字稿返回耗时 0.13 秒。

这里有一条必须写明的边界。上述服务优化尚未进入开源版本，官方计划后续上游到 NeMo Speech 与 vLLM。发布当天随 NeMo Speech 交付的 vLLM 集成面向模型开发用途，预计速度约为上述数字的两倍左右。开源版本要求单张 H100 80 GB 起，vLLM 版本不低于 0.32.0。

还应注意这是一个离线模型。官方明确说明，内部音频分块不等于实时流式 ASR 服务，模型只处理已录制的音频。它也不做直播流，音频问答能力只用英语训练过。

与现有开源语音栈的位置关系

把视角拉远一点，Nemotron 3.5 Transcribe 并非孤例。站内此前记录过 IBM Granite Speech 5.0 开源，英文词错率 5.68%，当时它排在开放权重第二；现在 Nemotron 3.5 Transcribe 用 4.71% 把这个位置换掉了。也有走极小参数路线的 Gradium Phonon 开源，3100 万参数端侧 TTS，以及 Block 的纯语音模型 Dessa 这种单卡能训的路线。

合成方向同样热闹，蚂蚁百灵开源 Ming-3.0 语音系列 一次性放出了五款模型，分别覆盖合成、理解与识别。而 Granary v2 数据集本身也支持 PII 标记与脱敏任务，这类合规需求在录音转写场景里是刚需。苹果 M6 上新 一文里提到 M6 配备双 16 核神经网络引擎，设备端 AI 性能相对 13 英寸 M1 最高提速 13 倍，这类端侧算力增长决定了小参数语音模型能走多远。

小结

Nemotron 3.5 Transcribe 的价值可以概括为把「转写」从一个专用任务变成一个可用指令切换的通用能力。4.71% 的英文平均词错率、43 亿激活参数、单卡 H100 起部署、172 万小时训练音频的公开规模、逐语种公开成绩与 16 个源语料库的高质量时长分布，这些信息让这个模型可以被独立复核，而不只是被信任。上下文热词把命名实体错误率从 12.21% 压到 2.20% 这一项，是最容易被企业用户直接感知到的改进。它的短板同样清楚：实时流式不在射程内，音频问答只覆盖英语，结构化值转写的任务成功率只有 59.33%，远场拾音条件下多说话人识别仍然吃力。

常见问题

Nemotron 3.5 Transcribe 是实时模型还是离线模型

它是离线模型，只处理已录制的音频，最长支持 1 小时录音。官方明确说明内部音频分块不等于实时流式 ASR 服务，同时也不支持直播流。

它的词错率与 Qwen3-ASR-1.7B 相比如何

英文 Open ASR 榜单九个数据集的等权平均词错率是 4.71%，Qwen3-ASR-1.7B 是 4.94%；长音频榜单是 10.98% 对 13.37%；多语七语言整体是 4.62% 对 6.49%。差距在多语与长音频两项上更为明显。

怎么让它正确转写专有名词

用文字提示提供领域词汇。粗粒度上下文把 ContextASR-Bench 的词错率从 3.33% 降到 3.34% 效果有限，细粒度上下文能降到 1.71%，命名实体词错率从 12.21% 降到 2.20%，漏识率从 14.99% 降到 1.32%。财报电话会议场景的关键词 F1 则从 73.01% 提升到 97.09%。

相关阅读

• IBM Granite Speech 5.0 开源：英文词错率 5.68%，开源第二
• 蚂蚁百灵开源 Ming-3.0 语音系列：五款模型覆盖合成、理解与识别
• Gradium Phonon 开源：3100 万参数端侧 TTS，词错率 1.70%
• Block 发布纯语音模型 Dessa：单台 GB200 训练，M4 Max 本地跑
• 苹果 M6 上新：MacBook Pro 15999 元起，双 16 核神经网络引擎