这段对比一句话能说完:纯中文录音,228MB 的 SenseVoice 字错率 1.77%,比 1.5GB 的 whisper large-v3-turbo(2.36%)更准,快 3.6 倍,装的时候一次 PyTorch 都不用碰。14 段音频、330 秒素材、五个引擎六个配置跑下来,粤语那段 whisper 直接把粤语翻成了普通话,SenseVoice 原样留住了原文。整套环境从零搭到出第一段文字,实测不到 5 分钟。
一、结论先摆出来:三个场景各有一个赢家
纯中文纪实录音、会议转写、粤语或方言素材,选 SenseVoiceSmall。它的 int8 权重 228MB,Python 依赖装完 77MB,加载 0.43 秒,124 秒音频跑 2.67 秒。
中英混排多、专有名词密集、要求标点位置自然的场景,选 whisper large-v3-turbo。它那 1549MB 的权重在英文缩写上的表现是唯一没有错的,代价是同样音频要 9.72 秒,内存峰值 1.93GB。
Paraformer 的定位比较窄。它中文干净、噪声下最稳、不输出阿拉伯数字,适合下游还要自己做文本规整的流水线,对只想拿到一段能读的文字的人来说多了一层麻烦。
二、这组数字是怎么测出来的
素材全部用系统语音合成,好处是每个字都已知,评分不靠感觉。macOS 自带婷婷(普通话)和善怡(粤语),改一个字就换一条测试样本。
say -v Tingting -o s5.aiff "本地部署语音识别有三个难点,第一是中文分词……"
ffmpeg -i s5.aiff -ac 1 -ar 16000 -c:a pcm_s16le s5.wav
十四段样本分成六组:干净朗读 5 段(日常句、数字金额、中英混排、多音字、188 字长句),粤语 1 段,人工劣化 3 段,白噪四档(信号噪声比 20 / 10 / 5 / 0 dB),拼接长音频 1 段(124.55 秒)。总时长 330.8 秒。
评分脚本做了三件归一化:繁体转简体、去掉所有标点与空白、把中文数字与阿拉伯数字统一成同一写法。之后算 Levenshtein 编辑距离除以参考文本字数,得到字错率。数字准确率单独统计,逐个数字段严格比对,因为整段订单号错一位,在字错率里只算一个字的错。
三、六个配置放在一张表里
turbo 我测了两档权重,fp16 与 q8_0,量化的代价到底多少值得单独看一列。
| 引擎 | 权重 | 加载 | 124 秒音频耗时 | 1 小时录音 | 总字错率 | 数字段准确 | 数字规整 | 粤语 |
|---|---|---|---|---|---|---|---|---|
| SenseVoiceSmall int8 | 228MB | 0.43s | 2.67s | 约 1.3 分钟 | 1.77% | 77/80 | 是 | 0% |
| Paraformer zh int8 | 217MB + 标点 72MB | 0.54s | 1.84s | 约 0.9 分钟 | 2.36% | 80/80 | 否 | 23.08% |
| whisper turbo fp16 | 1549MB | 1.42s | 9.72s | 约 4.7 分钟 | 2.36% | 75/80 | 是 | 23.08% |
| whisper turbo q8_0 | 874MB | 1.26s | 8.72s | 约 4.2 分钟 | 2.29% | 75/80 | 是 | 23.08% |
| whisper base | 141MB | 0.81s | 5.80s | 约 2.8 分钟 | 17.18% | 63/80 | 是 | 30.77% |
| whisper small | 465MB | 1.88s | 7.69s | 约 3.7 分钟 | 23.75% | 43/80 | 是 | 26.92% |
表里最反常识的一行是 whisper small。它的权重是 base 的 3.3 倍,字错率反而高 6.6 个百分点,数字准确率从 63/80 掉到 43/80。同一个模型家族里,参数变多不等于中文变好,这个结论在 whisper.cpp 上很稳定。模型体积与精度的错位还有另一条线索,量化档位本身就会吃掉几个点,GGUF 量化档位怎么选 里有七档的逐档对比。而 whisper.cpp 这条线上,上一轮用 182 秒音频测五档模型的结论是 medium 在磁盘、内存、耗时三项上全输 turbo,详见 whisper.cpp 中文转写实测。
内存口径要说清:SenseVoice 与 Paraformer 走 Python 进程,峰值 937MB 和 1077MB,里面含解释器与 numpy 约 46MB 底噪;whisper 是独立命令行进程,base 385MB、small 856MB、turbo fp16 1928MB、turbo q8_0 1158MB。跨栏比较要减掉底噪,同一栏内比较才准确。
四、数字这一列比总字错率更能决定能不能用
同一句「订单号是二零二六一一一八,实付一千二百八十元,优惠百分之十五,退款期限七天」,五个引擎给出了五种结果。
| 引擎 | 实际输出 | 问题 |
|---|---|---|
| SenseVoice | 订单号是20261118,实付1280元,优惠15%,退款期限7天。 | 全对,直接可用 |
| Paraformer | 订单号是二零二六一一一八,实付一千二百八十元…… | 字全对,但没转阿拉伯数字 |
| whisper turbo | 订单号是2026118,10-1280元,优惠15% | 订单号少一位,实付变成 10- |
| whisper base | 订单好是20261118,10副1280元 | 订单号→订单好,实付→10副 |
| whisper small | 订单号是20221118,时付1280元 | 订单号错了四年,实付→时付 |
这类错误在总字错率里只占 2 到 3 个百分点,但在业务上是废掉整条记录。工程上的处理办法只有一个,凡是数字、编号、金额,转写完之后必须拿原始音频回听或者做二次校验,别信任何单一模型的数字输出。
英文缩写的分化更明显。测试句是「用 Python 调用 GPU 接口,RTX 四零九零 跑 一零二四 分辨率」,只有 turbo 完整写对了 Python、GPU、RTX4090。SenseVoice 把 Python 听成 Pon、GPU 听成 GTU,两个词的首字母都换了;Paraformer 写成中文小写 python、gpu,还把 RTX 切成「r tx」;whisper base 干脆读成「批声」和「R、T、X、4090」。中英混排的会议录音,这一条就足以否掉前三个。
五、粤语只剩一家
测试句是「今日天氣好好,我哋去飲茶,順便傾下個項目嘅進度,下晝三點見」。SenseVoice 输出「今日天气好好,我哋去饮茶,顺便倾下个项目嘅进度下昼三点见」,除了把晝简化成昼,一个字没错,字错率 0。
whisper turbo 输出「今天天气好好,我们去喝茶,顺便谈下个项目的进度,下午三点见」。它没有转写,它做的是翻译,把粤语翻成了普通话。对做字幕的人来说这是灾难,因为你要的是原话。Paraformer 输出「我地去饮茶,顺便听下歌项目进进到下三点见」,后半句已经散了。
这条差异来自训练数据。SenseVoice 的模型名里就写了 zh-en-ja-ko-yue 五个语种,粤语是原生支持;whisper 的多语种是 99 种语言的大杂烩,粤语在它眼里更像带口音的普通话。
六、噪声从 20dB 掉到 0dB
白噪声按信号功率比精确叠加,四档实际信噪比校准到 20.0、10.0、5.0、0.0 dB,同一段 188 字音频。
| 引擎 | 20dB | 10dB | 5dB | 0dB |
|---|---|---|---|---|
| SenseVoice | 0.00% | 1.20% | 1.20% | 7.00% |
| Paraformer | 0.00% | 0.00% | 2.30% | 8.10% |
| whisper turbo | 1.20% | 1.20% | 0.00% | 10.50% |
| whisper small | 3.50% | 4.60% | 22.10% | 83.70% |
| whisper base | 22.10% | 14.00% | 31.40% | 95.40% |
三家大模型在 0dB 这个人类听着都费劲的档位还能压在 11% 以内,说明端到端架构对稳态噪声的容忍度已经够用。真正崩的是两个小 whisper,base 在 0dB 下输出了「请使用简体中文,加上标点。」,这句话是它的提示词,模型把提示词当成识别结果吐了出来。small 在 0dB 下只剩最后一句「第三件是解决了转写结果能不能直接用」。
电话音质那一段(300 到 3400Hz 带限、8kHz 采样)值得单独说:SenseVoice、Paraformer、turbo 都是 0 错,small 掉到 18.60%,base 9.30%,而且 base 把整段第一句「本地部署语音识别有三个难点」整句丢了。丢整句比错字更危险,因为错字你还能看出来,丢句在文稿里看不出来。
七、124 秒长音频:whisper small 少了一整段
把 188 字的段落首尾相接拼六遍,得到 124.55 秒音频,内容完全重复,正确输出应该有六个「本地部署语音识别有三个难点」。
SenseVoice 输出六段,字错率 1.36%,耗时 2.67 秒。Paraformer 输出六段,1.94%,1.84 秒。turbo 六段齐全,1.16%,9.72 秒。whisper small 只输出了五段,字错率 35.27%,中间一整段凭空消失,而它的退出码是 0,日志里没有任何提示。
这条对做长录音的人最关键。whisper.cpp 按 30 秒窗口切分音频,窗口之间的接缝靠上下文延续,模型一旦判断当前窗口是重复内容就会跳过。判断依据只能是「输出段数对不对」,用重复内容拼长音频正好能把这类丢段照出来,比看字错率直观。
八、踩坑:四处不报错但结果是错的
第一个坑:关掉数字规整,标点一起没了
sherpa-onnx 的 SenseVoice 接口有个 use_itn 参数,文档里说它控制逆文本规整,也就是把「一千二百八十」写成 1280。实测发现它同时控制标点。
把 use_itn 设成 False,十四段音频跑完,标点符号总数是 0。是的,一个逗号都没有。同一批音频改成 True,标点总数 123 个,数字也一起规整了。整整十四段、330 秒素材,没有出现过例外。
所以这个参数的实际含义是「是否启用富文本后处理」,不是「是否把数字转成阿拉伯数字」。你想要没有标点的纯文本给下游模型,才需要关掉它;除此之外一律保持 True。
第二个坑:pip install funasr 成功,但一行都跑不了
官方 FunASR 路线是 SenseVoice 的另一种跑法。装的时候一切正常,81 个包、497MB、几秒钟装完,import funasr 也成功。然后执行 AutoModel(model="iic/SenseVoiceSmall"),报 ModuleNotFoundError: No module named 'torch'。
funasr 1.4.27 的依赖里没有 torch,装了包不等于能推理。而且它给的提示是 --index-url https://download.pytorch.org/whl/cu126,那是 CUDA 12.6 的源,Mac 上按这条命令装会再浪费十分钟。想在 Mac 上跑官方路线,得先 pip install torch torchaudio,装完环境从 497MB 涨到 2GB 以上。
这就是我在这篇文章里选 sherpa-onnx 而不是 FunASR 当主路线的原因。同一个 SenseVoiceSmall 模型,ONNX 版本权重 228MB、依赖 77MB、不需要 torch,Python 里三行代码就能出结果。
第三个坑:Paraformer 的标点会插进词中间
Paraformer 自己不出标点,要再挂一个 72MB 的 CT-Transformer 标点模型。挂上之后中文段落的断句位置大多数正确,但它会在一个词的中间插逗号。
测试句里的「分辨率」被切成「分,辨率」,原句变成「用python调用gpu接口r tx四零九零跑一零二四分,辨率速度提升三倍」。标点模型看不到分词边界,只按语义概率下判断,遇到数字后面紧跟生僻组合就会切错。下游做 TTS 或者按句切分的时候,这种错误会被放大成读不通。
第四个坑:whisper 的提示词会变成幻觉输出
为了让 whisper 输出简体中文,常规做法是加 --prompt。这个做法的副作用在低信噪比时才会暴露:0dB 噪声下,whisper base 把提示词原样吐了出来,输出就是「请使用简体中文,加上标点。」,退出码 0,时长 0.79 秒。
判断方法是看输出长度与音频时长的比例。0.79 秒处理 20.76 秒音频,比率 0.038,而正常值是 0.028 到 0.03,快得不正常就是没真正解码。更直接的办法是比对输出与提示词的字符重合度,只要输出接近提示词原文,这一条结果就该丢掉重跑。
九、从零装到出第一段文字
SenseVoice 这条路一共四条命令。先建环境,装包只有 37MB 的计算库。
python3 -m venv .venv
.venv/bin/pip install sherpa-onnx -i https://pypi.tuna.tsinghua.edu.cn/simple
再下模型,两个文件,一共 228MB 加 308KB。国内直连 huggingface 会断,走镜像。
curl -L -o model.int8.onnx "https://hf-mirror.com/csukuangfj/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17/resolve/main/model.int8.onnx"
curl -L -o tokens.txt "https://hf-mirror.com/csukuangfj/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17/resolve/main/tokens.txt"
音频要先转成 16kHz 单声道,采样率不对会直接报错或者出乱码。调用只用到三个对象,Recognizer、Stream、result。
import sherpa_onnx, soundfile as sf
rec = sherpa_onnx.OfflineRecognizer.from_sense_voice(
model="model.int8.onnx", tokens="tokens.txt",
num_threads=4, use_itn=True, provider="cpu")
audio, sr = sf.read("s5.wav", dtype="float32")
s = rec.create_stream()
s.accept_waveform(16000, audio)
rec.decode_stream(s)
print(s.result.text)
要换成 whisper 那条路,命令是另一套。brew 装完大约 1.9.5 版本,权重单独下。
brew install whisper-cpp
curl -L -o ggml-large-v3-turbo.bin "https://hf-mirror.com/ggerganov/whisper.cpp/resolve/main/ggml-large-v3-turbo.bin"
whisper-cli -m ggml-large-v3-turbo.bin -f s5.wav -l zh -oj -of out \
--prompt 以下是普通话的句子,请使用简体中文,加上标点。
两个引擎都能在本机 CPU 上跑到实时率的 10 倍以上,不需要显卡。这是 2026 年端侧语音识别的实际水位,跑会议转写用笔记本就够。
十、按场景对号入座
| 你的场景 | 选它 | 理由 |
|---|---|---|
| 中文会议、访谈、口述笔记 | SenseVoiceSmall int8 | 字错率 1.77%,1 小时录音 1.3 分钟,自带标点与数字规整 |
| 粤语、方言、多语种素材 | SenseVoiceSmall int8 | 五语种原生支持,粤语段字错率 0,其余四家全部失败 |
| 中英混排、技术会议、含大量缩写 | whisper large-v3-turbo | 唯一写对 Python / GPU / RTX4090 的一家,代价是 3.6 倍耗时 |
| 纯中文且下游自己做文本规整 | Paraformer int8 | 数字不转阿拉伯,噪声下最稳,比 SenseVoice 快 30% |
| 树莓派、老笔记本、边缘设备 | whisper base | 内存 385MB,代价是字错率 17%,只适合粗筛 |
不建议选的是 whisper small。它夹在中间,比 base 慢一倍、字错率还更高,长音频会丢段,数字准确率 43/80 是五家里最差的。要么往上走 turbo,要么往下用 base,中间这档没有存在价值。想省磁盘就压 turbo 的权重:一条 whisper-quantize ggml-large-v3-turbo.bin ggml-turbo-q8_0.bin q8_0 跑 1.75 秒,权重从 1549MB 变成 874MB,字错率 2.29% 与 fp16 的 2.36% 差在噪声范围内,内存峰值从 1928MB 掉到 1158MB,加载还快 0.16 秒。量化在这一档上几乎不要钱,先压权重再考虑换小模型。
反方向的活也有人需要,把文稿读成语音。那条线的选型逻辑与本篇不同,字错率换成了合成后回译的错字率,中文 TTS 怎么选 里有三家的对照数据。
十一、三个常被问到的问题
能不能直接吃 mp3 或 m4a?不能,sherpa-onnx 只接受 16kHz 单声道 float32 数组,whisper.cpp 对容器格式更宽松但也要求 16kHz。统一用 ffmpeg 转一道最省事,命令是 ffmpeg -i in.m4a -ac 1 -ar 16000 -c:a pcm_s16le out.wav,44.1kHz 的源不需要手动重采样,这一步已经处理了。
需要显卡吗?不需要。这五个引擎在 M4 的 CPU 上都跑出了实时率 10 倍以上的速度,124 秒音频最慢的 turbo 也只要 9.72 秒。有 NVIDIA 显卡可以用 sherpa-onnx 的 CUDA provider 或者 whisper.cpp 的 CUDA 编译版,但收益主要在批量处理几十小时素材的场景。
为什么不用云端 API?三小时以上的会议录音、含客户信息的通话、需要反复重跑校对的长素材,本地跑一次成本为零且数据不出机器。云端 API 的优势在极端口音与专业术语,那部分本地模型确实还不够。混合做法是先本地转写,只把低置信度片段丢给云端复核。
延伸阅读
- 英伟达 Nemotron 3.5 Transcribe 开源:40 语种转写3 周前
- GGUF 量化档位怎么选:1.7B 七档实测,Q2 直接报废9 小时前
- DeepSeek Harness 接本地 Ollama:8192 上下文必崩的三个坑2 周前
- MLX 跑 8B 模型实测:比 Ollama 快 17%,长文反而慢6 天前
继续读
往下这几篇值得接着看:
- GGUF 量化档位怎么选:1.7B 七档实测,Q2 直接报废2026-11-18
- 中文 TTS 怎么选:Kokoro 与 Piper 实测,字错率差 6 倍2026-11-18
- RAG 加 rerank:第一名从 31% 到 60%,每次多 2.2 秒2026-11-18
