IBM 开源 Granite Speech 5.0:错误率 5.68%

10 月 22 日,IBM 发布开源语音语言模型 Granite Speech 5.0 2B,用于语音转写与翻译。模型为 20 亿参数稠密结构,Apache 2.0 许可,支持 6 种语言的 ASR 与语音翻译,可在 GPU、苹果芯片以及本地 CPU 上运行,官方推荐用 Q8_0 量化。

开源语音识别第二名

按 10 月 21 日的 Open ASR Leaderboard 数据,模型在 9 个公开与 2 个私有测试集上的平均英文词错误率为 5.68%,位列开源权重模型第二,仅次于 Qwen3-ASR-1.7B 的 5.40%。分项成绩差异较大,LibriSpeech Clean 上为 0.99%,Other 为 2.21%,私有口语集上则到 13.79%。在噪声场景的 FFASR 榜单上排 42 个模型中的第 4,平均错误率 14.80%。多语种方面,CommonVoice 葡萄牙语错误率 2.60%、西班牙语 3.50%,日语最弱为 10.74%。

2000 词条热词偏置

相比 4.1 代,新版本加入语言 ID 提示、最多 2000 个词条的热词列表,并可按需输出标点与大小写。在 Earnings-22 基准上,正确热词列表把关键词 F1 从 67.2 拉到 90.1,混入 2000 个含错误项的列表时仍有 82.8。训练用了 39 万小时公开音频加合成数据,在 8 张 H100 上训了 40 天。

同批更新的还有 Granite Speech 5.0 Turbo CTC,吞吐从约 12600 RTFx 提升到 19870 RTFx,语种扩到 7 种,4.1 2B Plus 的长音频错误率从 13.53% 降到 10.22%。

翻译方向上,X 译英的 CoVoST BLEU 葡萄牙语 53.6、德语 40.1,官方没有给出英译中的成绩。模型的骨干是一个 granite-4.0-1b-base 的中间检查点,经 YaRN 扩展到 16k 位置后用 LoRA 适配器微调,语音前端是 16 个 Conformer 块按 4 秒音频分块做块注意力,再由 2 层窗口 q-former 下采样 10 倍,LLM 侧看到的是 10 Hz 的嵌入。

语音模型的迭代节奏,Mistral Voxtral 3 的端到端语音智能体是另一条对照线。