Gradium 开源 Phonon:3100 万参数 64.5MB 端侧 TTS

10 月 22 日,巴黎语音 AI 公司 Gradium 开源了面向端侧的文本转语音模型家族 Phonon,源自 Kyutai 的分拆团队。英文版 Phonon 31m 参数 3100 万,量化后 64.5 MB,采用 Apache 2.0 许可,可在 CPU、手机、树莓派 5、浏览器与英伟达 GPU 上运行,不需要联网也不需要显卡。

难句集错误率 1.70%

在 500 句包含电话号码、邮箱和邮编的公开难句集上,Phonon 31m 的词错误率为 1.70%,Kokoro 为 3.50%,NeuTTS Nano 为 8.71%。换成较易的 Seed-TTS 集合,差距收窄到 0.51% 与 0.45%。主观盲测由 1189 名评分者完成,共 17270 票,英文 Elo 分 Phonon 40m 得 2117、Phonon 31m 得 2098,Kokoro 为 2043。

树莓派上 38 毫秒开口

在 MacBook Air M5 的 CPU 四线程下,首段音频 6.9 毫秒即可输出,速度为实时的 29.9 倍,换用 Arm KleidiAI 与 Apple Accelerate 后可达 46.7 倍实时。树莓派 5 上启动需 38 毫秒、实时倍速 3.7 倍,而 Kokoro 在同一设备上要等 7 秒。高通骁龙 8 Elite Gen 5 上为 7.5 毫秒,英伟达 L40S 通过 CUDA 可到 5 毫秒。

结构与许可的取舍

Phonon 31m 采用 6 层 Transformer、宽度 512、8 个注意力头,40m 版本为 9 层,两者均由更大的教师模型蒸馏而来。31m 只支持英文并内置 37 个音色,40m 版本覆盖英法德西葡五种语言、102 个音色,但许可换成 CC BY-NC 4.0 非商用条款。运行时覆盖 Rust、Python、Swift、C、C++ 和浏览器端,并提供 OpenAI 兼容接口。

模型用因果 Transformer 作为骨干,前缀拼接文本与说话人嵌入,SentencePiece 分词器 4000 词表直接读原始文本不做音素转换,每 80 毫秒生成一个隐向量,再由流匹配头一步转成音频嵌入,末端接一个小型 Mimi 解码器输出 24 kHz PCM,另有独立的结束预测头判断何时停止发声。

端侧语音合成的工程路线,可与蚂蚁 Ming-3.0 开源语音系列对照。