IBM Granite Speech 5.0 开源：英文词错率 5.68%，开源第二

IBM 把 Granite Speech 升到 5.0，2B 参数稠密结构，Apache 2.0 许可，支持英语、法语、德语、西班牙语、葡萄牙语、日语六种语言的语音识别与语音翻译。模型卡上的英文平均词错误率是 5.68%，在 Open ASR 榜单上排开源权重第二，落后 Qwen3-ASR-1.7B 的 5.40%。同批发布的还有 Granite Speech 5.0 Turbo CTC，吞吐从约 12600 RTFx 抬到 19870 RTFx。

先给结论：这是一个参数规模克制、部署路径完整、跑分可复现的开源语音底座，它的真实价值在于把本地可跑的转写能力压到了 2B 稠密模型的量级，热词偏置和标点恢复这两项工程能力的提升尤其实用。但日语仍是短板，私有口语集的误差也偏高，离可以放心用于严肃场景还有距离。

榜单表现：5.68% 是什么水平

模型卡引用的成绩取自 Open ASR 榜单 2026 年 10 月 21 日的官方结果，覆盖 9 个公开测试集与 2 个私有测试集。5.68% 是这些集合上的英文平均词错误率，在开源权重模型里排第二。

分项成绩的波动比平均值更能说明问题。在 LibriSpeech Clean 上错误率只有 0.99%，Other 换成 2.21%，两者都属于干净朗读语料的常规水平。可到了私有口语集，错误率直接跳到 13.79%，翻了六倍多。真实会议与电话录音夹杂着背景噪音、口音、抢话和断句，这部分差距才是选型时该重点看的。

噪声场景的成绩来自 FFASR 榜单 2026 年 10 月 18 日的结果。模型在 42 个参评模型里排第 4，平均错误率 14.80%。第 4 这个名次在语音识别里不算靠前，噪声鲁棒性正是 4.1 代之后被反复强调的改进方向，这一代只做到部分兑现。

热词偏置：2000 个词条，F1 从 67.2 拉到 90.1

这一代最实用的改进是热词列表扩容，从上一代的规模上限提到最多 2000 个词条，并且支持多语种场景下的热词偏置识别。

官方在 Earnings-22 基准上给出了完整数据。给一份正确的热词列表，关键词 F1 从 67.2 抬到 90.1，接近满分三成以上的提升。如果换一份塞进 2000 个词条、其中混有大量错误项的列表，F1 仍有 82.8。

第二个数字更值得琢磨。列表里掺进成百上千个错误词条，模型并没有被带偏到胡乱命中，热词召回只掉了 7 个点。这说明模型在热词偏置上做的是软提示，并非硬替换，遇到模糊匹配时会自己权衡。

对做会议纪要、客服质检、播客转写这类场景的人，这项能力的价值直接体现在两处。人名、公司名、产品名这类低频但关键的词，用通用转写模型出错率高，一旦命中就影响整段可用性。热词偏置把这类词的有效召回托到了可用的水平。同时它对多语种也有意义，跨语种场景里的专有名词更难靠通用声学模型猜出来。

标点与大小写：逐项对比 4.1 代的实测数据

模型卡给出了一张完整的标点错误率与大小写 F1 对比表，测试集包括 LibriSpeech 相关的四组以及 CommonVoice 的五个语种。

读这张表要留个心眼。九行里有四行是 5.0 的标点错误率更低，两行大小写 F1 更高，但 VoxPopuli、Earnings-22、CV-FR 这几项的大小写反而略降，CV-FR 的标点错误率从 11.00 升到 11.43。改进并非在每个集合上单调发生，整体趋势偏向更好，个别项目有回退。模型卡里的大小写 F1 采用按编辑距离对齐的词对匹配而非整句匹配，因此在 ASR 本身有错的句子上仍能给出有意义的大写判断分。

架构：16 层 Conformer 加一个 2B 语言模型骨干

模型结构分三段。语音编码器是 16 个 Conformer 块，用 CTC 训练，配字符与 BPE 两套分类头，字符表由前 256 个 ASCII 码位加一套 92 个假名片假名音素字符构成，BPE 词表来自 granite 4.0 的分词器。编码器使用 4 秒音频块的分块注意力，并从中间层取自条件 CTC 信号。中间层同时提供非空白概率，用于帧级后验加权池化，窗口大小为 4。

第二段是语音投影器与时间下采样器，用 2 层窗口查询变换器，也就是 q-former，作用在最后一层 Conformer 输出的 15 组 1024 维声学嵌入上，下采样倍数 5，每个块每层用 3 个可学习查询。编码器贡献 2 倍、项目仪贡献 5 倍，总下采样倍数 10，语言模型侧看到的是 10 Hz 的嵌入。投影器与语言模型的 LoRA 适配器在全部语料上联合训练。

第三段是语言模型，取 granite-4.0-1b-base 的中间检查点，经 YaRN 扩展到 16k 位置后用全部语料微调。整体配置为输入维度 160（80 维 log-mel 乘 2）、隐藏维度 1024、8 个注意力头、头维度 128、卷积核 15、字符输出维度 348、BPE 输出维度 100353。

用 q-former 做 10 倍下采样、把声学信息压到 10 Hz 再喂给语言模型，这条路线与端到端语音模型的做法差异明显。端到端方案把语音和文本统一建模，Granite 这套保留了 CTC 前端的稳定性，同时借语言模型后端的语义能力。缺点是窗口化的处理方式，长音频被切成固定窗口，硬切边界可能截断词句，模型卡自己把这条列为当前限制，流式还不支持。

训练规模：39 万小时音频，8 张 H100 跑 40 天

训练数据里公开语料与合成数据各占大头。公开部分包含 CommonVoice-17 的六个语种共 5500 小时、MLS 英语及五个语种共 48400 小时、Librispeech 英语 1000 小时、LibriHeavy 英语 45600 小时、Granary 英语长音频 24000 小时，加上 YODAS 英语 9100 小时与日语 1400 小时、ReazonSpeech 3300 小时等等。加权标点的语料另有一整套，LibriHeavy 标点版 45800 小时、Granary 标点版 23900 小时、CommonVoice 标点版 4600 小时。

上下文 ASR 那一栏规模最大，59900 小时，做法是把前一段带噪的历史上下文拼进提示里，模拟真实对话的承接关系。日语音频靠合成数据补强，包括用 Kokoro-82M TTS 生成的 Fineweb-2 日语合成语音 9600 小时。合成数据还覆盖了多说话人混合、书面语体转写、日语 ASR、关键词偏置和语音翻译几类任务。

训练算力由 IBM 的 Blue Vela 超算集群提供，装配的是英伟达 H100。模型卡给出的训练耗时是 40 天，跑在 8 张 H100 上，其中编码器 26 天、投影器 14 天。

这个训练配置有两个可参考的地方。一是 39 万小时这个量级，配合 2B 的参数规模，说明语音模型的算力需求已经压到了多数团队可以自行复现的程度。二是迭代周期的分布，编码器与投影器分阶段训练而非端到端联合，某种程度上是在压成本。

翻译方向：X 译英有成绩，英译中留白

模型定位是多语种语音识别加双向语音翻译，覆盖英语、法语、德语、西班牙语、葡萄牙语、日语，支持从上述语言译入英语，也支持从英语译出这些语言，另外还支持英语译意大利语与英语译普通话。

公开的翻译成绩是 X 译英方向的 CoVoST BLEU，葡萄牙语 53.6，德语 40.1。英文译出的方向覆盖英语译德语、西语、意语、日语、葡语和中文，但模型卡没有给出英文译中文的具体 BLEU 分数，这一项没有对外披露。

另一个实用信息是长音频的改进。4.1 2B Plus 版本的长音频错误率是 13.53%，这一代降到 10.22%。长录音的稳定性直接影响会议转写与播客处理这类实际使用方式。

同批发布的 Granite Speech 5.0 Turbo CTC 走的是 CTC 路线，吞吐从约 12600 RTFx 提升到 19870 RTFx，语种从 6 种扩到 7 种。RTFx 衡量的是每秒能处理多少秒的音频，这个数字意味着单卡处理一小时录音所需时间会被压到几分钟量级。

部署：四条路径，量化选择有讲究

模型卡给了四条使用路径，覆盖不同的硬件条件。

走 transformers 时要求版本不低于 4.52.1，推荐把音频切成 2 分钟以内的片段解码，更长的录音先做语音活动检测再切分。走 vLLM 时，max_model_len 设成 2048，limit_mm_per_prompt 的音频数设为 1，可以跑离线批处理也可以起 vLLM 服务对外提供 OpenAI 兼容接口。走 llama.cpp 时，官方推荐的量化方式是 Q8_0，理由是这个档位与未量化模型在测试中表现一致，而更低的比特量化在一分钟以上的音频上会掉准确率。走 mlx-audio 则是给苹果芯片的用户准备的，版本要求 0.5.9 及以上，并且要额外装 jinja2。

配套的 granite-speech Python 库把自己定位成 Whisper 的平替，接口设计基本照着 Whisper 靠拢，但明确不伪造 Whisper 的置信度字段，比如平均对数概率、压缩比和无语音概率。库内还提供 VAD 模式、片段裁剪、关键词偏置、说话人标注和词级时间戳等能力。VAD 用的是基于能量的检测器，并非学习型语音检测器，模型卡把这一点也列为限制。退出码设计成三档，0 表示全部窗口成功，1 表示有部分窗口失败并列出警告，2 表示不可恢复的错误。

另外 IBM 建议配合 Granite Guardian 一起使用，用它来检测提示与响应里的风险。模型卡还提到了一个安全设计上的取舍，这个模型只做转写，遇到陌生或格式错误的提示会忽略并退回默认转写行为，因此相比那些直接解读音频的通用模型，受对抗输入攻击的暴露面更小。

常见问题 FAQ

Granite Speech 5.0 和上一代 4.1 差在哪，值得升级吗？

参数规模相同，差别在四项能力：英文短音频识别准确率提升，对噪声、混响和远场麦克风语音的鲁棒性增强，支持输入语种 ID 提示，长音频与会话式语音翻译有改进，热词列表上限提到 2000 个词条。已经用 4.1 的场景，如果主要痛点是专有名词识别不准，换 5.0 的收益最直接。

这个模型能离线跑在本地机器上吗？

可以。模型权重以 Apache 2.0 许可发布在 Hugging Face 上，llama.cpp 路径支持 GGUF 量化格式，官方推荐 Q8_0 档位。苹果芯片用户走 mlx-audio，普通显卡用户走 vLLM 或 transformers，纯 CPU 也能跑 granite-speech 库，模型卡说明英语短音频建议按 2 分钟以内的片段切分解码。

和 Qwen3-ASR-1.7B 比，Granite Speech 5.0 选哪个？

英文平均词错误率上 Qwen3-ASR-1.7B 的 5.40% 略优于 Granite 的 5.68%，差距很小。Granite 的差异化在热词偏置的容量，2000 个词条上限且混入错误项时 F1 仍有 82.8，在企业专有名词密集的场景里更实用。做多语种选型的话要额外留意日语，Granite 在 CommonVoice 日语上错误率 10.74%，是六个语种里最弱的一项。

小结

Granite Speech 5.0 的定位很清楚。用 2B 稠密参数换 39 万小时训练量，把本地可跑的语音转写压到了多数团队能自行部署的门槛上。Apache 2.0 许可加上 transformers、vLLM、llama.cpp、mlx-audio 四条部署路径，覆盖从显卡到苹果芯片到纯 CPU 的各种条件。热词偏置与标点恢复这两项工程能力的提升，是它当下最容易被直接感受到的价值。

短板同样清楚。噪声场景排名只到第 4，私有口语集 13.79% 的错误率说明真实会议录音仍有距离，日语是六个语种里最弱的一项，英文译中文的成绩没有对外给出。窗口化处理与能量型 VAD 是模型卡自己列出的限制，流式还不支持。

相关阅读

• Qwen-Audio-3.1 发布：五款语音模型齐发，ASR 降价 95%
• Mistral AI 发布 Voxtral 3：端到端联合优化，WER 降低 40%
• 蚂蚁百灵开源 Ming-3.0 语音系列：五款模型覆盖合成、理解与识别
• 讯飞发布 Spark-ASR-2.0：同步开放 API