Edge0 开源 Audio8-TTS:0.6B 语音克隆支持 23 种语言

10 月 30 日,Edge0 发布 Audio8-TTS-Realistic,一个 601M 参数的语音克隆 TTS 模型(不含音频编解码器),采用 Apache 2.0 许可。它支持 23 种语言,比前代多出 12 种,单次最多处理 2048 个打包的文本与音频位置,配套编解码器采样率为 44.1 kHz。

DualAR:一个慢分支负责推理,一个快分支负责出字

模型采用 DualAR 双自回归架构。慢分支基于 Qwen2.5 0.5B,共 24 层、宽度 896,推理速度约 21.5 帧每秒,负责理解文本语义并规划语音;快分支只有 4 层,但并行预测 9 个 codebook,把生成速度提上来。两层分工让 601M 的参数量能承载多语言与克隆能力,而不是单纯堆参数。

训练分三个阶段:先用多语数据做监督微调,再用 GRPO 做强化——奖励由 0.7 倍 WER 与 0.3 倍 SIM 构成,最后是 realism critic 引导的第二轮 GRPO,critic 约 300 万参数并使用冻结的 WavLM-large 作为骨干。

错误率与真实感的具体数字

在 CV3 基准覆盖的 9 种语言上,Audio8 平均错误率为 4.86%,同期 Qwen3-TTS-1.7B 为 7.73%,MiniMax(覆盖 24 种语言)为 5.89%;Seed-TTS 的英文 WER 为 1.46%、中文 CER 为 1.03%。低资源语言的错误率从 22.53% 降到 20.77%,语音相似度 SIM 从 0.637 提升到 0.679。

短板同样被公开:泰语 WER 高达 48.57%,粤语 CER 为 31.35%。也就是说多语言支持是「覆盖」而非「拉平」,资源充足的语言与低资源语言之间仍有明显差距。

端侧运行的实际占用

在 Apple M2 处理器上以 CPU、INT4 量化、ONNX 运行时推理,峰值内存占用为 1.1 到 1.2 GiB。这个数字决定了它能跑在什么样的设备上——笔记本与部分高端移动设备可以本地跑,不必把音频数据送出设备。端侧语音模型的这条路线,本站此前也记录过同方向的进展:Ollama 离线语音提速 35%:Phonon 首次内置 TTS,以及 Block 发布纯语音模型 Dessa:本地跑 M4 Max。当 TTS 的质量差距缩小到几个百分点,成本与隐私就重新成为选型的决定因素。