Soniox STT v6 发布:60+ 语言语音识别与智能体回声消除

一句话结论:Soniox 在 11 月 3 日发布的 STT v6,把语音识别模型从只听用户一方,推进到能理解自己智能体在说什么并自动滤除回声,同时把精度覆盖扩展到 60 多种语言。

这是语音智能体落地链条上一个具体而麻烦的缺口。传统语音识别模型只拿到用户一侧的音频,智能体自己播出去的内容如果被麦克风收进来,模型会当成用户输入,于是自问自答、抢话、甚至陷入自己打断自己的反馈循环。v6 的两项核心能力针对的正是这里。

Agent text input:让模型听见对话的另一半

Agent text input 的做法很直接。开发者把智能体即将播出的文本,在送进语音合成的同时,同步流式传给 STT 模型。这样识别侧就拿到了对话双方的上下文。

官方给的例子是一个航班改签场景。智能体说你的里斯本航班被取消了,可以改到波尔图或者法鲁,用户回答去法鲁,智能体确认后继续问靠窗还是过道,用户说要过道。没有左侧上下文时,用户单独说出过道两个字,模型很难判断这是在回答座位偏好还是别的什么。有了完整对话链,识别准确率明显不同。

这项能力解决的实际问题是省掉澄清轮次。专有名词、数字、专业术语、简短回答,这几类在没有上下文时最容易识别错,一旦识别错,用户就得停下来纠正,语音交互的节奏就断了。

Agent voice echo cancellation:智能体不再自己打断自己

第二项能力处理智能体自听回声。原理与 Agent text input 是同一套上下文的延伸:既然模型已经知道智能体即将说什么,就能把智能体的播放内容从识别结果中区分出来并自动滤除。

更关键的一点是滤除的同时不停止收听。用户在智能体说话过程中插话时,模型要能识别用户的话,同时屏蔽智能体自己的声音。这一点在免提通话、笔记本内置麦克风、车载系统这类设备上尤其要紧,因为设备外放很容易串回麦克风。

厂商给的适用场景包括语音输入、会议转写、多语种识别与实时翻译,其中会议转写与说话人分离被单独强调,因为既要把话听清,也要把人分清。

60 多种语言共用一个模型

v6 的另一条主线是语言覆盖。官方称在 60 多种语言上都有显著精度提升,基础是 v5 的母语者识别精度之上,进一步改善口音、多语种对话以及同一句内切换语言的处理。升级项同时覆盖说话人分离、口语语言识别与端点检测,并强化了对上下文提示的利用。

这里有一个架构选择值得注意。Soniox 强调所有语言跑在同一个统一的语音 AI 模型上,开发者不需要为不同语言维护不同模型,也不需要做语言路由切换。每个受支持的语言都能拿到完整的特性集,包括上面两项智能体能力。

实时翻译也在这套统一模型里。v6 动态调整翻译前收集多少语音量,以拿到足够的上下文同时保持输出响应,这对德语、韩语这类信息后置的语言尤其重要,因为短语后半段到达才能决定前半段该怎么译。

价格:每小时 0.12 美元,与公开基准对照

定价方面,Soniox 实时语音识别按 token 计费,输入音频 token 每百万 1.50 美元,实时流式为每百万 2.00 美元,输出文本 token 每百万 3.50 美元到 4.00 美元。官方给出的换算是异步文件转写约合每小时 0.10 美元,实时流式约合每小时 0.12 美元。

在 Pipecat STT 公开基准上,Soniox 的实时模型排在前列。这套基准用 1000 条真实样本测试 20 家供应商,两个指标分别是语义词错率和首段最终延迟。

供应商与模型 每小时价格 平均词错率 完整转写率 首段延迟中位数
Azure 1.60 美元 1.21% 82.9% 1016 毫秒
Soniox stt-rt-v5 0.12 美元 1.34% 83.3% 260 毫秒
Speechmatics 0.54 美元 1.40% 83.2% 495 毫秒
AssemblyAI universal-3-5-pro 0.62 美元 1.44% 84.7% 282 毫秒
Cartesia ink-2 0.43 美元 1.47% 84.2% 299 毫秒
Deepgram nova-3-general 0.75 美元 1.71% 76.5% 247 毫秒
NVIDIA Nemotron 3.0 ASR(英文) 无公开价 1.90% 76.1% 221 毫秒
Google gemini-3.5-transcribe-live 0.54 美元 2.24% 78.0% 458 毫秒
OpenAI gpt-realtime-whisper 1.02 美元 2.92% 72.5% 740 毫秒
NVIDIA Nemotron 3.5 ASR(多语种) 无公开价 4.54% 62.0% 236 毫秒

几点值得读出来的信息。词错率最低的 Azure 并不是延迟最好的,首段延迟中位数超过 1 秒,是 Soniox 的近四倍。延迟最低的英伟达 Nemotron 3.0 ASR 是 221 毫秒,词错率 1.90%,完整转写率 76.1%,比 Soniox 的 83.3% 低。价格上 Soniox 的 0.12 美元每小时是 OpenAI gpt-realtime-whisper 的约八分之一,按每月 1000 小时算,两家差 900 美元。

需要说明的是,这张榜单上 Soniox 参与测试的是 v5。v6 的官方基准数据尚未发布,厂商口径是各语言精度相比 v5 有显著提升。这块后续值得盯。

和其他语音路线的对照

把 v6 放进站内的语音相关稿件序列里看,位置比较清楚。

英伟达 Nemotron 3.5 Transcribe 走的是另一条路径,公开数据是 4.71% 词错率与 40 语种覆盖,重点在自部署与多语种精度。蚂蚁百灵开源的 Ming-3.0 语音系列覆盖合成、理解与识别三块,还加了导演模式来描述情绪。Block 的 Dessa 是纯语音模型,训练门槛压到单台 GB200,推理侧可以在 M4 Max 本地跑。百川的 Orilo 语音智能体则把关注点放在交互延迟上,打断后重开口 1.08 秒。

v6 的差异点在于它没有去卷单点指标,而是把语音智能体部署时会撞到的两个具体麻烦一次性处理掉。对已经在做语音智能体的团队来说,回声消除和双向上下文这类问题往往不在模型选型表里,却在实际联调时反复出现。

API 规格与接入方式

v6 同时提供实时流式模型与异步模型两种形态,实时模型用于直播会议,异步模型用于已录完的音频,两者输出都是带说话人归属的记录,供下游 AI 使用。

Soniox 同时提供了一个开源的对比工具,可以把同一段音频同时送进多家供应商的官方流式 API 实时比较转写结果,代码在 GitHub 上以 MIT 许可证发布。这个工具对要做选型的人比任何榜单都有用,因为基准用的是别人的语料,自己的真实音频才是唯一有效的测试。

常见问题

Soniox STT v6 和 v5 的区别主要在哪里

核心是两项智能体能力,Agent text input 与 agent voice echo cancellation。v5 只接收用户一侧音频,v6 可以接收智能体播出的文本作为上下文,并据此把智能体自己的声音从识别结果里滤掉,同时保持对用户插话的收听。此外是精度与语言覆盖的提升,官方称 60 多种语言上都有改进,价格结构与 v5 一致,实时流式约合每小时 0.12 美元。

语音识别选型该看哪些指标

先看延迟指标而不是只看板面词错率。首段最终延迟的 P95 比中位数更重要,因为偶发的尖峰会打断对话流,实时语音智能体对此更敏感。其次看完整转写率而非平均词错率,一个模型可能整体误差很小但经常整段丢失。再看场景是否需要说话人分离,会议类场景要听清是谁说的。最后看多语种需求是否要求统一模型,混合语种对话和句内切换语言是常见的踩坑点。

回声消除和前端降噪是一回事吗

不是。前端降噪处理的是环境噪声和混响,回声消除处理的是设备自己外放的声音重新进入麦克风这条特定回路。传统回声消除是信号处理层面的,v6 的 agent voice echo cancellation 走的是另一条路,用对话上下文判断哪段音频属于智能体自己,因此还能解决信号层面处理不掉的语义级误判。

小结

语音智能体这一年的进展,识别精度和延迟两个指标的提升已经相当扎实,剩下的问题开始往交互语义这一层转移。模型说错了话、模型自己听到了自己,这类问题用调参数解决不了。v6 把两侧上下文都交给识别模型,是一个务实的解法。60 多种语言共用一个模型加上每小时 0.12 美元的定价,让这套方案在多语种场景里的成本结构也算得清。

相关阅读