10 月 30 日,Edge0 发布 Audio8-TTS-Realistic,一个 601M 参数的语音克隆 TTS 模型(不含音频编解码器),采用 Apache 2.0 许可。它支持 23 种语言,比前代多出 12 种,单次最多处理 2048 个打包的文本与音频位置,配套编解码器采样率为 44.1 kHz。
DualAR:一个慢分支负责推理,一个快分支负责出字
模型采用 DualAR 双自回归架构。慢分支基于 Qwen2.5 0.5B,共 24 层、宽度 896,推理速度约 21.5 帧每秒,负责理解文本语义并规划语音;快分支只有 4 层,但并行预测 9 个 codebook,把生成速度提上来。两层分工让 601M 的参数量能承载多语言与克隆能力,而不是单纯堆参数。
训练分三个阶段:先用多语数据做监督微调,再用 GRPO 做强化——奖励由 0.7 倍 WER 与 0.3 倍 SIM 构成,最后是 realism critic 引导的第二轮 GRPO,critic 约 300 万参数并使用冻结的 WavLM-large 作为骨干。
错误率与真实感的具体数字
在 CV3 基准覆盖的 9 种语言上,Audio8 平均错误率为 4.86%,同期 Qwen3-TTS-1.7B 为 7.73%,MiniMax(覆盖 24 种语言)为 5.89%;Seed-TTS 的英文 WER 为 1.46%、中文 CER 为 1.03%。低资源语言的错误率从 22.53% 降到 20.77%,语音相似度 SIM 从 0.637 提升到 0.679。
短板同样被公开:泰语 WER 高达 48.57%,粤语 CER 为 31.35%。也就是说多语言支持是「覆盖」而非「拉平」,资源充足的语言与低资源语言之间仍有明显差距。
端侧运行的实际占用
在 Apple M2 处理器上以 CPU、INT4 量化、ONNX 运行时推理,峰值内存占用为 1.1 到 1.2 GiB。这个数字决定了它能跑在什么样的设备上——笔记本与部分高端移动设备可以本地跑,不必把音频数据送出设备。端侧语音模型的这条路线,本站此前也记录过同方向的进展:Ollama 离线语音提速 35%:Phonon 首次内置 TTS,以及 Block 发布纯语音模型 Dessa:本地跑 M4 Max。当 TTS 的质量差距缩小到几个百分点,成本与隐私就重新成为选型的决定因素。
延伸阅读
- Gradium Phonon 开源:3100 万参数端侧 TTS,词错率 1.70%1 周前
- Kimi-Audio 开源音频大模型解析:LibriSpeech 词错误率 1.28%,三段式架构统一语音任务1 月前
- B站开源 IndexTTS-2.5:0.8B 参数零样本语音克隆,推理提速 2.28 倍、实时率降至 0.201 月前
- Gemini 3.8 Flash TTS 发布:30 秒复刻声音,支持 100 种语言1 月前
继续读
同一批更新里这几篇值得一看:
- Audimind 有声书工具出海:个人版 19 美元/月,AI 配音覆盖全流程2026-10-25
- 蚂蚁 Ming-3.0-tts 登顶开源榜:发音鲁棒性 93.2% 并列第一2026-10-22
- 亚马逊 Bee AI 助手开售:$75 起,60% 推理跑在本地2026-10-15
