10 月 28 日,英伟达开源语音识别模型 Nemotron 3.5 Transcribe,把转写、说话人分离与翻译合进同一个模型,总参数 300 亿,每步只激活约 40 亿,单张英伟达 GPU 就能跑起来。
一只模型干三件事
纯文本转写听不出谁在说话,也不会翻译或正确拼写专业术语。Transcribe 用文字提示控制输出,同一段会议录音可以变成带说话人标签的逐字稿、英文译文,或者一份决策摘要。用户还可以把药名一类专有词作为提示喂进去。它只处理已录制的音频,不支持直播流,音频问答能力也只用英语训练过。
参数与跑分
模型从紧凑的 DGX Spark 到数据中心机型都能部署,官方称在 RTX Pro 上处理 100 小时音频用时不到 3 分钟。在 Hugging Face 英文 Open ASR 榜单上,Transcribe 以 5.33% 的平均词错率位居开放权重模型第一;Artificial Analysis 的对比中它拿到 2.81%,贴近最好的开放模型 Voxtral Small 的 2.77%,而激活参数只有对方的六分之一。同类的开源语音路线,站内这篇 IBM Granite Speech 5.0 开源可以对照着看。
说话人分离与数据集
VoiceArena 用 14 套系统测试互相打断的对话,Transcribe 排第一,漏词率 8.32%,中位数约 31%。随模型发布的 Granary v2 数据集含约 84.4 万小时 48 语种语音,上一版是 64.3 万小时 25 语种,每段录音提供逐字稿和润色稿等多种转写风格。英伟达在印度医生与医学生的录音上做定向微调,错误率从 30.8% 降到 23.8%,微调之后进一步降到 11.8%,但通用英语场景略有回退。官方建议做定制版本时至少留 100 段核验过的真实录音做测试。
模型与数据集都已放到 Hugging Face,微调指南和让编码助手跑训练流程的扩展同步提供。
延伸阅读
- Reflection AI 发布 Beam:5010 亿参数 MoE 开源模型登场3 周前
- 英伟达 DGX Spark 支持 8 台集群:统一内存最高 1TB7 天前
- Cactus 开源 16.9MB 端侧语音模型,词错率降到 10.47%6 天前
- FF 发布 9 款 EAI 机器人:6.7 万到 92.6 万覆盖人形与四足,四套行业方案同步上市1 月前
继续读
同一批更新里这几篇值得一看:
- 伯克利 LEANN 向量索引:6000 万块从 201GB 压到 6GB2026-10-29
- FlashMap 投机解码:一次起草 16 token,加速 6.14 倍2026-10-29
- 英伟达 30 亿美元入股 Meta:950 亿融资加码算力2026-10-28
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
