Cactus 开源 16.9MB 端侧语音模型,词错率降到 10.47%

10 月 22 日,端侧 AI 公司 Cactus Compute 公布开源语音模型 Whistle,模型文件压到 16.9MB,可以在手机和笔记本本地完成语音识别,不依赖云端服务。官方给出的对比基准是 Whisper base。

词错率 10.47%,对贪心解码有实质下降

Whistle 的英文词错率为 10.47%,Whisper base 贪心解码为 12.46%,下降 2.19 个百分点,差异显著。换成 Whisper base 的 5-beam 解码后是 10.83%,差距缩小到不显著区间,说明对比对象的选择直接决定了结论的强弱。

Apple M4 上 5 秒音频快 7.7 倍

在 Apple M4 芯片上,处理 5 秒音频 Whistle 比 Whisper base 快 7.7 倍,10 秒音频快 5.7 倍,30 秒音频快 2.8 倍。音频越长优势收窄,符合量化小模型在长序列上误差累积的规律。峰值内存 124MB,而对比对象为 823MB,差出 6 倍以上,在移动设备上这决定了能不能和别的应用共存。

提交延迟中位数 1.68 秒

Whistle 支持 7 种语言,单词提交延迟中位数为 1.68 秒,单次处理窗口上限为 30 秒。整条链路的意义在于把语音识别放回离线环境,录音不必离开设备,敏感内容也就不必上传。端侧模型正在从能力演示走向可用的产品组件,体积和延迟这两项指标往往比榜单分数更决定落地速度。对输入法、录音笔这类需要边说边出字的产品来说,1.68 秒的中位延迟决定了用户是否愿意等待,而 124MB 的峰值内存则决定了它能不能和别的应用同时驻留在同一台手机里。