Liquid AI 开源 LiquidCodec:7400 万参数音频编解码

11 月 12 日,Liquid AI 发布自研流式音频编解码器 LiquidCodec,规模约 7400 万参数,用于驱动 LFM3-Audio-2B 与 LFM3-Omni-2B 两个模型。它运行在 12.5 Hz 帧率上,带 12 组码本,在单条 CPU 线程上的编码速度约比实时快 361 倍。这个编解码器是十月底发布的两款 LFM3 音频模型性能的关键底座。

从 RVQ 换成 GFSQ

音频编解码器的作用是把语音转成语言模型可预测的 token,再把 token 转回语音。上一代 LFM2-Audio-1.5B 用的是第三方编码器 Mimi,压缩率好但参数约 9600 万,团队只替换了解码器就把速度提升 8 倍。这次进一步换成自研分词器,量化算法从残差向量量化 RVQ 换成有限标量量化 FSQ 及其分组变体 GFSQ,减少码本之间的顺序依赖,从而支持并行预测多个码本。

为端侧实时流式而设计

为端侧实时流式而设计

帧率保持 12.5 Hz 不变,每 80 毫秒一帧,建模 24 kHz 波形,编码器与解码器完全对称且编码器全因果,设计上偏向端侧低延迟语音流,团队称其质量与同类规模模型持平而语音生成和 token 化速度更优。同类的低延迟语音交互路线,可以看 Shizuku-Duplex 全双工语音的 80 毫秒帧率与 0.57 秒延迟。编解码器本身随模型一并开放,官方技术博客给出了完整的编码解码流程说明。官方同时公布了编解码器在语音质量指标上的对比结果。官方表示这套参数规模是端侧可跑与音质之间的折中结果。

全部文章归档与模型专题