英伟达 Nemotron 3.5 Transcribe 开源:40 语种转写

10 月 28 日,英伟达开源语音识别模型 Nemotron 3.5 Transcribe,把转写、说话人分离与翻译合进同一个模型,总参数 300 亿,每步只激活约 40 亿,单张英伟达 GPU 就能跑起来。

一只模型干三件事

纯文本转写听不出谁在说话,也不会翻译或正确拼写专业术语。Transcribe 用文字提示控制输出,同一段会议录音可以变成带说话人标签的逐字稿、英文译文,或者一份决策摘要。用户还可以把药名一类专有词作为提示喂进去。它只处理已录制的音频,不支持直播流,音频问答能力也只用英语训练过。

参数与跑分

模型从紧凑的 DGX Spark 到数据中心机型都能部署,官方称在 RTX Pro 上处理 100 小时音频用时不到 3 分钟。在 Hugging Face 英文 Open ASR 榜单上,Transcribe 以 5.33% 的平均词错率位居开放权重模型第一;Artificial Analysis 的对比中它拿到 2.81%,贴近最好的开放模型 Voxtral Small 的 2.77%,而激活参数只有对方的六分之一。同类的开源语音路线,站内这篇 IBM Granite Speech 5.0 开源可以对照着看。

说话人分离与数据集

VoiceArena 用 14 套系统测试互相打断的对话,Transcribe 排第一,漏词率 8.32%,中位数约 31%。随模型发布的 Granary v2 数据集含约 84.4 万小时 48 语种语音,上一版是 64.3 万小时 25 语种,每段录音提供逐字稿和润色稿等多种转写风格。英伟达在印度医生与医学生的录音上做定向微调,错误率从 30.8% 降到 23.8%,微调之后进一步降到 11.8%,但通用英语场景略有回退。官方建议做定制版本时至少留 100 段核验过的真实录音做测试。

模型与数据集都已放到 Hugging Face,微调指南和让编码助手跑训练流程的扩展同步提供。