美团 LongCat 团队于 2026 年 3 月 31 日正式发布并开源了全新音频生成模型 LongCat-AudioDiT（1B / 3.5B 两个参数版本）。该模型彻底抛弃传统 TTS 系统中的梅尔频谱（Mel-Spectrogram）等中间表示，首次在业界实现直接在波形潜空间（Waveform Latent Space）内完成端到端文本转语音，开源地址见文章末尾。
核心架构：极简两组件
LongCat-AudioDiT 的架构极为精简，仅包含两大核心模块：
- Wav-VAE（波形变分自编码器）：将 24kHz 原始波形信号压缩 2000 倍，降至 11.7Hz 的潜空间帧率，大幅降低计算量的同时保留语音的细粒度声学信息；
- DiT（扩散 Transformer）：以 Transformer 为骨干网络，在上述潜空间中执行非自回归扩散采样，直接从文本 tokens 生成高质量语音波形。
文本侧采用 UMT5（多语言版 T5）作为文本编码器，融合原始词嵌入与顶层隐藏状态，补齐音素细节，支撑中英文等多语言场景。
单阶段训练超越多阶段 SOTA
传统 TTS 通常采用「预测声学特征 + 神经声码器」的多阶段流程，每一阶段都会引入误差累积。LongCat-AudioDiT 另辟蹊径，在仅使用 ASR 转录数据进行单阶段训练的前提下，就在零样本语音克隆任务上超越了此前需复杂多阶段训练的前 SOTA 模型 Seed-TTS：
| 模型 | Seed-ZH 相似度 (SIM) | Seed-Hard 相似度 (SIM) |
|---|---|---|
| Seed-TTS（此前 SOTA） | 0.809 | 0.776 |
| LongCat-AudioDiT-3.5B | 0.818 | 0.797 |
3.5B 版本在中英文双语的说话人相似度指标上均有显著提升，同时维持了极具竞争力的语音可懂度（WER / CER）。
关键发现：Wav-VAE 重建保真度 ≠ TTS 性能
LongCat 团队在论文中提到了一个反直觉的消融实验结论：Wav-VAE 的重建保真度越高，并不一定带来更好的整体 TTS 效果。这说明波形潜空间的设计空间仍有大量未知规律等待探索，也凸显了 LongCat-AudioDiT 架构选择的独到之处。
开源信息
- GitHub：meituan-longcat/LongCat-AudioDiT
- HuggingFace：LongCat-AudioDiT-1B / LongCat-AudioDiT-3.5B
- 论文：arXiv:2603.29339
- 许可证：MIT
LongCat-AudioDiT 的开源为语音生成开源社区注入了新的活力，其波形潜空间建模路线有望成为下一代 TTS 架构的主流方向。
相关阅读
这条线上还有几篇站内文章可以接着看：
- Kaldi之父在小米憋了什么大招？OmniVoice背后的语音AI野心
- Kimi-Audio 开源音频大模型解析：LibriSpeech 词错误率 1.28%，三段式架构统一语音任务
- StepAudio 3 系列发布：五款语音模型，Realtime 98.9 分登顶、ASR 词错率 1.7%
延伸阅读
- Hermes Desktop 公测发布：开源自进化 AI Agent 上桌面，三端共用一套记忆与技能1 月前
- r/opensource 封禁 AI 项目：需满 1 年且有多名贡献者1 周前
- Qwen3.8 开源 27B 原生多模态模型：Apache 2.0 可商用，消费级显卡量化可部署1 月前
- 微软开源 Mage 多模态模型家族：4B 参数含 Mage-VL 与 Mage-Flow，视觉 Token 减少 75%2 月前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- 腾讯混元 Hyra 2.0：HyInv 196 万参数快 57 倍与 HyQEC 量子码2026-11-02
- MOSS-Image 深度：5B 模型排版 0.88，长文本 96.3 分2026-10-26
- OpenClaw v2026.10.6 更新发布2026-10-23