SenseVoice 与 Whisper 中文实测:228MB 打赢 1.5GB

这段对比一句话能说完:纯中文录音,228MB 的 SenseVoice 字错率 1.77%,比 1.5GB 的 whisper large-v3-turbo(2.36%)更准,快 3.6 倍,装的时候一次 PyTorch 都不用碰。14 段音频、330 秒素材、五个引擎六个配置跑下来,粤语那段 whisper 直接把粤语翻成了普通话,SenseVoice 原样留住了原文。整套环境从零搭到出第一段文字,实测不到 5 分钟。

一、结论先摆出来:三个场景各有一个赢家

纯中文纪实录音、会议转写、粤语或方言素材,选 SenseVoiceSmall。它的 int8 权重 228MB,Python 依赖装完 77MB,加载 0.43 秒,124 秒音频跑 2.67 秒。

中英混排多、专有名词密集、要求标点位置自然的场景,选 whisper large-v3-turbo。它那 1549MB 的权重在英文缩写上的表现是唯一没有错的,代价是同样音频要 9.72 秒,内存峰值 1.93GB。

Paraformer 的定位比较窄。它中文干净、噪声下最稳、不输出阿拉伯数字,适合下游还要自己做文本规整的流水线,对只想拿到一段能读的文字的人来说多了一层麻烦。

二、这组数字是怎么测出来的

素材全部用系统语音合成,好处是每个字都已知,评分不靠感觉。macOS 自带婷婷(普通话)和善怡(粤语),改一个字就换一条测试样本。

say -v Tingting -o s5.aiff "本地部署语音识别有三个难点,第一是中文分词……"
ffmpeg -i s5.aiff -ac 1 -ar 16000 -c:a pcm_s16le s5.wav

十四段样本分成六组:干净朗读 5 段(日常句、数字金额、中英混排、多音字、188 字长句),粤语 1 段,人工劣化 3 段,白噪四档(信号噪声比 20 / 10 / 5 / 0 dB),拼接长音频 1 段(124.55 秒)。总时长 330.8 秒。

评分脚本做了三件归一化:繁体转简体、去掉所有标点与空白、把中文数字与阿拉伯数字统一成同一写法。之后算 Levenshtein 编辑距离除以参考文本字数,得到字错率。数字准确率单独统计,逐个数字段严格比对,因为整段订单号错一位,在字错率里只算一个字的错。

三、六个配置放在一张表里

turbo 我测了两档权重,fp16 与 q8_0,量化的代价到底多少值得单独看一列。

引擎 权重 加载 124 秒音频耗时 1 小时录音 总字错率 数字段准确 数字规整 粤语
SenseVoiceSmall int8 228MB 0.43s 2.67s 约 1.3 分钟 1.77% 77/80 是 0%
Paraformer zh int8 217MB + 标点 72MB 0.54s 1.84s 约 0.9 分钟 2.36% 80/80 否 23.08%
whisper turbo fp16 1549MB 1.42s 9.72s 约 4.7 分钟 2.36% 75/80 是 23.08%
whisper turbo q8_0 874MB 1.26s 8.72s 约 4.2 分钟 2.29% 75/80 是 23.08%
whisper base 141MB 0.81s 5.80s 约 2.8 分钟 17.18% 63/80 是 30.77%
whisper small 465MB 1.88s 7.69s 约 3.7 分钟 23.75% 43/80 是 26.92%

表里最反常识的一行是 whisper small。它的权重是 base 的 3.3 倍,字错率反而高 6.6 个百分点,数字准确率从 63/80 掉到 43/80。同一个模型家族里,参数变多不等于中文变好,这个结论在 whisper.cpp 上很稳定。模型体积与精度的错位还有另一条线索,量化档位本身就会吃掉几个点,GGUF 量化档位怎么选 里有七档的逐档对比。而 whisper.cpp 这条线上,上一轮用 182 秒音频测五档模型的结论是 medium 在磁盘、内存、耗时三项上全输 turbo,详见 whisper.cpp 中文转写实测。

内存口径要说清:SenseVoice 与 Paraformer 走 Python 进程,峰值 937MB 和 1077MB,里面含解释器与 numpy 约 46MB 底噪;whisper 是独立命令行进程,base 385MB、small 856MB、turbo fp16 1928MB、turbo q8_0 1158MB。跨栏比较要减掉底噪,同一栏内比较才准确。

四、数字这一列比总字错率更能决定能不能用

同一句「订单号是二零二六一一一八,实付一千二百八十元,优惠百分之十五,退款期限七天」,五个引擎给出了五种结果。

引擎 实际输出 问题
SenseVoice 订单号是20261118,实付1280元,优惠15%,退款期限7天。 全对,直接可用
Paraformer 订单号是二零二六一一一八,实付一千二百八十元…… 字全对,但没转阿拉伯数字
whisper turbo 订单号是2026118,10-1280元,优惠15% 订单号少一位,实付变成 10-
whisper base 订单好是20261118,10副1280元 订单号→订单好,实付→10副
whisper small 订单号是20221118,时付1280元 订单号错了四年,实付→时付

这类错误在总字错率里只占 2 到 3 个百分点,但在业务上是废掉整条记录。工程上的处理办法只有一个,凡是数字、编号、金额,转写完之后必须拿原始音频回听或者做二次校验,别信任何单一模型的数字输出。

英文缩写的分化更明显。测试句是「用 Python 调用 GPU 接口,RTX 四零九零 跑 一零二四 分辨率」,只有 turbo 完整写对了 Python、GPU、RTX4090。SenseVoice 把 Python 听成 Pon、GPU 听成 GTU,两个词的首字母都换了;Paraformer 写成中文小写 python、gpu,还把 RTX 切成「r tx」;whisper base 干脆读成「批声」和「R、T、X、4090」。中英混排的会议录音,这一条就足以否掉前三个。

五、粤语只剩一家

测试句是「今日天氣好好,我哋去飲茶,順便傾下個項目嘅進度,下晝三點見」。SenseVoice 输出「今日天气好好,我哋去饮茶,顺便倾下个项目嘅进度下昼三点见」,除了把晝简化成昼,一个字没错,字错率 0。

whisper turbo 输出「今天天气好好,我们去喝茶,顺便谈下个项目的进度,下午三点见」。它没有转写,它做的是翻译,把粤语翻成了普通话。对做字幕的人来说这是灾难,因为你要的是原话。Paraformer 输出「我地去饮茶,顺便听下歌项目进进到下三点见」,后半句已经散了。

这条差异来自训练数据。SenseVoice 的模型名里就写了 zh-en-ja-ko-yue 五个语种,粤语是原生支持;whisper 的多语种是 99 种语言的大杂烩,粤语在它眼里更像带口音的普通话。

六、噪声从 20dB 掉到 0dB

白噪声按信号功率比精确叠加,四档实际信噪比校准到 20.0、10.0、5.0、0.0 dB,同一段 188 字音频。

引擎 20dB 10dB 5dB 0dB
SenseVoice 0.00% 1.20% 1.20% 7.00%
Paraformer 0.00% 0.00% 2.30% 8.10%
whisper turbo 1.20% 1.20% 0.00% 10.50%
whisper small 3.50% 4.60% 22.10% 83.70%
whisper base 22.10% 14.00% 31.40% 95.40%

三家大模型在 0dB 这个人类听着都费劲的档位还能压在 11% 以内,说明端到端架构对稳态噪声的容忍度已经够用。真正崩的是两个小 whisper,base 在 0dB 下输出了「请使用简体中文,加上标点。」,这句话是它的提示词,模型把提示词当成识别结果吐了出来。small 在 0dB 下只剩最后一句「第三件是解决了转写结果能不能直接用」。

电话音质那一段(300 到 3400Hz 带限、8kHz 采样)值得单独说:SenseVoice、Paraformer、turbo 都是 0 错,small 掉到 18.60%,base 9.30%,而且 base 把整段第一句「本地部署语音识别有三个难点」整句丢了。丢整句比错字更危险,因为错字你还能看出来,丢句在文稿里看不出来。

七、124 秒长音频:whisper small 少了一整段

把 188 字的段落首尾相接拼六遍,得到 124.55 秒音频,内容完全重复,正确输出应该有六个「本地部署语音识别有三个难点」。

SenseVoice 输出六段,字错率 1.36%,耗时 2.67 秒。Paraformer 输出六段,1.94%,1.84 秒。turbo 六段齐全,1.16%,9.72 秒。whisper small 只输出了五段,字错率 35.27%,中间一整段凭空消失,而它的退出码是 0,日志里没有任何提示。

这条对做长录音的人最关键。whisper.cpp 按 30 秒窗口切分音频,窗口之间的接缝靠上下文延续,模型一旦判断当前窗口是重复内容就会跳过。判断依据只能是「输出段数对不对」,用重复内容拼长音频正好能把这类丢段照出来,比看字错率直观。

八、踩坑:四处不报错但结果是错的

第一个坑:关掉数字规整,标点一起没了

sherpa-onnx 的 SenseVoice 接口有个 use_itn 参数,文档里说它控制逆文本规整,也就是把「一千二百八十」写成 1280。实测发现它同时控制标点。

把 use_itn 设成 False,十四段音频跑完,标点符号总数是 0。是的,一个逗号都没有。同一批音频改成 True,标点总数 123 个,数字也一起规整了。整整十四段、330 秒素材,没有出现过例外。

所以这个参数的实际含义是「是否启用富文本后处理」,不是「是否把数字转成阿拉伯数字」。你想要没有标点的纯文本给下游模型,才需要关掉它;除此之外一律保持 True。

第二个坑:pip install funasr 成功,但一行都跑不了

官方 FunASR 路线是 SenseVoice 的另一种跑法。装的时候一切正常,81 个包、497MB、几秒钟装完,import funasr 也成功。然后执行 AutoModel(model="iic/SenseVoiceSmall"),报 ModuleNotFoundError: No module named 'torch'。

funasr 1.4.27 的依赖里没有 torch,装了包不等于能推理。而且它给的提示是 --index-url https://download.pytorch.org/whl/cu126,那是 CUDA 12.6 的源,Mac 上按这条命令装会再浪费十分钟。想在 Mac 上跑官方路线,得先 pip install torch torchaudio,装完环境从 497MB 涨到 2GB 以上。

这就是我在这篇文章里选 sherpa-onnx 而不是 FunASR 当主路线的原因。同一个 SenseVoiceSmall 模型,ONNX 版本权重 228MB、依赖 77MB、不需要 torch,Python 里三行代码就能出结果。

第三个坑:Paraformer 的标点会插进词中间

Paraformer 自己不出标点,要再挂一个 72MB 的 CT-Transformer 标点模型。挂上之后中文段落的断句位置大多数正确,但它会在一个词的中间插逗号。

测试句里的「分辨率」被切成「分,辨率」,原句变成「用python调用gpu接口r tx四零九零跑一零二四分,辨率速度提升三倍」。标点模型看不到分词边界,只按语义概率下判断,遇到数字后面紧跟生僻组合就会切错。下游做 TTS 或者按句切分的时候,这种错误会被放大成读不通。

第四个坑:whisper 的提示词会变成幻觉输出

为了让 whisper 输出简体中文,常规做法是加 --prompt。这个做法的副作用在低信噪比时才会暴露:0dB 噪声下,whisper base 把提示词原样吐了出来,输出就是「请使用简体中文,加上标点。」,退出码 0,时长 0.79 秒。

判断方法是看输出长度与音频时长的比例。0.79 秒处理 20.76 秒音频,比率 0.038,而正常值是 0.028 到 0.03,快得不正常就是没真正解码。更直接的办法是比对输出与提示词的字符重合度,只要输出接近提示词原文,这一条结果就该丢掉重跑。

九、从零装到出第一段文字

SenseVoice 这条路一共四条命令。先建环境,装包只有 37MB 的计算库。

python3 -m venv .venv
.venv/bin/pip install sherpa-onnx -i https://pypi.tuna.tsinghua.edu.cn/simple

再下模型,两个文件,一共 228MB 加 308KB。国内直连 huggingface 会断,走镜像。

curl -L -o model.int8.onnx "https://hf-mirror.com/csukuangfj/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17/resolve/main/model.int8.onnx"
curl -L -o tokens.txt "https://hf-mirror.com/csukuangfj/sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17/resolve/main/tokens.txt"

音频要先转成 16kHz 单声道,采样率不对会直接报错或者出乱码。调用只用到三个对象,Recognizer、Stream、result。

import sherpa_onnx, soundfile as sf

rec = sherpa_onnx.OfflineRecognizer.from_sense_voice(
    model="model.int8.onnx", tokens="tokens.txt",
    num_threads=4, use_itn=True, provider="cpu")

audio, sr = sf.read("s5.wav", dtype="float32")
s = rec.create_stream()
s.accept_waveform(16000, audio)
rec.decode_stream(s)
print(s.result.text)

要换成 whisper 那条路,命令是另一套。brew 装完大约 1.9.5 版本,权重单独下。

brew install whisper-cpp
curl -L -o ggml-large-v3-turbo.bin "https://hf-mirror.com/ggerganov/whisper.cpp/resolve/main/ggml-large-v3-turbo.bin"
whisper-cli -m ggml-large-v3-turbo.bin -f s5.wav -l zh -oj -of out \
  --prompt 以下是普通话的句子,请使用简体中文,加上标点。

两个引擎都能在本机 CPU 上跑到实时率的 10 倍以上,不需要显卡。这是 2026 年端侧语音识别的实际水位,跑会议转写用笔记本就够。

十、按场景对号入座

你的场景 选它 理由
中文会议、访谈、口述笔记 SenseVoiceSmall int8 字错率 1.77%,1 小时录音 1.3 分钟,自带标点与数字规整
粤语、方言、多语种素材 SenseVoiceSmall int8 五语种原生支持,粤语段字错率 0,其余四家全部失败
中英混排、技术会议、含大量缩写 whisper large-v3-turbo 唯一写对 Python / GPU / RTX4090 的一家,代价是 3.6 倍耗时
纯中文且下游自己做文本规整 Paraformer int8 数字不转阿拉伯,噪声下最稳,比 SenseVoice 快 30%
树莓派、老笔记本、边缘设备 whisper base 内存 385MB,代价是字错率 17%,只适合粗筛

不建议选的是 whisper small。它夹在中间,比 base 慢一倍、字错率还更高,长音频会丢段,数字准确率 43/80 是五家里最差的。要么往上走 turbo,要么往下用 base,中间这档没有存在价值。想省磁盘就压 turbo 的权重:一条 whisper-quantize ggml-large-v3-turbo.bin ggml-turbo-q8_0.bin q8_0 跑 1.75 秒,权重从 1549MB 变成 874MB,字错率 2.29% 与 fp16 的 2.36% 差在噪声范围内,内存峰值从 1928MB 掉到 1158MB,加载还快 0.16 秒。量化在这一档上几乎不要钱,先压权重再考虑换小模型。

反方向的活也有人需要,把文稿读成语音。那条线的选型逻辑与本篇不同,字错率换成了合成后回译的错字率,中文 TTS 怎么选 里有三家的对照数据。

十一、三个常被问到的问题

能不能直接吃 mp3 或 m4a?不能,sherpa-onnx 只接受 16kHz 单声道 float32 数组,whisper.cpp 对容器格式更宽松但也要求 16kHz。统一用 ffmpeg 转一道最省事,命令是 ffmpeg -i in.m4a -ac 1 -ar 16000 -c:a pcm_s16le out.wav,44.1kHz 的源不需要手动重采样,这一步已经处理了。

需要显卡吗?不需要。这五个引擎在 M4 的 CPU 上都跑出了实时率 10 倍以上的速度,124 秒音频最慢的 turbo 也只要 9.72 秒。有 NVIDIA 显卡可以用 sherpa-onnx 的 CUDA provider 或者 whisper.cpp 的 CUDA 编译版,但收益主要在批量处理几十小时素材的场景。

为什么不用云端 API?三小时以上的会议录音、含客户信息的通话、需要反复重跑校对的长素材,本地跑一次成本为零且数据不出机器。云端 API 的优势在极端口音与专业术语,那部分本地模型确实还不够。混合做法是先本地转写,只把低置信度片段丢给云端复核。

全部文章归档与模型专题