DeepL 发布 Aure 语音模型:8 语种保留语气与情绪

11 月 11 日,DeepL 推出语音 AI 翻译模型 Aure,官方称这是其迄今最具动态感、表现最逼真的语音模型,可实时复现说话者的语气起伏、情绪流转、重音强调与语速快慢。该模型目前不支持中文,首发支持英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语共 8 种语言。

把音色、韵律与内容拆开迁移

Aure 是 DeepL Voice 网页会议版、面对面交谈版与语音 API 的底层驱动核心。它建立在 DeepL 今年 9 月推出的声音保留技术之上,那项技术让用户用自己的音色跨语言交流,Aure 则进一步捕捉语音在对话中的即时起伏。为了做到这点,DeepL 在训练中把声音身份、语音韵律与语义内容分开处理,各部分可以独立迁移到新语言,强化学习环节则用来把口音挡在输出之外。不支持的语言仍会回落到此前的语音模型。

一家把 AI-native 写进组织结构的公司

语音翻译过去是拼接式的,先转文字再合成新语音,语调与情绪基本丢失,DeepL 的产品思路是把翻译和发声合成合成一步完成。支撑这条路线的是公司层面的重构,今年 5 月 DeepL 裁掉约 250 个岗位,目标是转向更小的 AI 驱动团队并自我定位为 AI-native 公司,同时收购了实时音频流服务商 Mixhalo 的团队来补实时语音能力。随着会议软件里的实时翻译逐步成为标配,语音模型的情绪保真度正在变成新的竞争点。Shizuku-Duplex 全双工语音实测给出了延迟侧的参考值。