Pika 开源 H3 Flex:4K 音视频六步去噪生成

11 月 1 日,Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入,可生成约 5 至 15 秒的视频并附带同步立体声音频。

六步怎么来的

Pika 在技术博客中介绍,团队先在内部音视频数据集上对 MiniMax H3 做监督微调,再采用投影分布匹配蒸馏,把教师模型的 50 步去噪压缩到 6 步。之后通过奖励反馈学习和直接偏好优化训练 LoRA 适配器,改善美学质量、清晰度和指令遵循。适配器合并用于推理时无须增加生成步数。

本次发布包含两套 LoRA 适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。模型原生支持 480P 与 768P 输出。创作者可以先用较低分辨率生成并筛选草稿,再对选定版本做高分辨率处理。

推理加速与音轨拆分

在对托管推理服务做加速后,团队在保持模型权重和六步采样方案不变的测试中,用 8 张 NVIDIA B300 生成一段 5 秒 768P 音视频,条件编码、去噪和解码的合计耗时从 3.409 秒缩短到 2.129 秒,处理速度约为原来的 1.6 倍。同步生成的声音可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,高分辨率增强视频和音频分轨由 Pika API 提供。

评测方面,H3 Flex 在五项视觉和音频质量指标上均取得参评模型最高分,并在 DesignArena 文生视频榜单上排到第八,是该榜单下排名最高的开源视频模型。MiniMax H3 自 8 月开源以来一个月内下载量已超 2400 万次,产生超过 300 个公开衍生模型,英伟达与 MIT 联合开发的 Open-H3-Regenerate-2K 是其中之一。