Pika H3 Flex 深度:6 步蒸馏 0.01 美元每秒,4K 音视频开放权重

一句话结论:Pika H3 Flex 是把 MiniMax H3 的 50 步去噪蒸馏到 6 步的开放权重音视频模型,本地能跑 480p 与 768p,4K 超分和五条音频分轨仍留在 Pika 托管 API 里,官方起价 0.01 美元每秒。

2026 年 10 月 29 日,美国旧金山公司 Pika Labs 发布了 Pika H3 Flex,把权重放上 Hugging Face,把推理代码放进 GitHub,许可证沿用 MiniMax H3 的社区协议。这是继 10 月 11 日 MiniMax H3 发布之后,开放权重视频赛道上动作最密集的一次迭代。

它不是从零训练的新架构。Pika 拿 MiniMax 官方发布的 guidance-distilled 版 H3 做后训练,分三步走完:先在内部精选音视频数据集上做监督微调,再用 PDMD 把采样步数从 50 压到 6,最后用 ReFL 与 DPO 两个 LoRA 适配器分别修正画面美感与指令遵循,合并后推理不增加额外步数。

对做视频生成的团队来说,这套组合的实际含义很直接。50 步砍到 6 步意味着同等画质下单条生成的算力需求下降一个量级,扩散模型的采样步数直接乘在等待时长上。Pika 官方称 768p 下 DiT 去噪时间低于成片时长,属于实时生成区间。这个数字比任何画质跑分都更能决定一个模型能不能进生产线。

Pika H3 Flex 的基本规格:本地这一段能跑什么

开放的部分是生成能力本身。仓库和模型卡给得很细,本地推理的边界写到了帧网格级别。

项目 规格
输入模态 文本、首帧图、末帧图;参考模式下可用图像、视频、音频参考
原生输出分辨率 480p 与 768p,覆盖 11 种宽高比
宽高比 21:9、16:9、3:2、4:3、5:4、1:1、4:5、3:4、2:3、9:16、9:21
输出时长 请求整数 5 到 15 秒,帧网格为 17n+5
实际帧数 请求 5 秒得 124 帧(约 5.17 秒),请求 15 秒得 362 帧(约 15.08 秒)
帧率 24 fps
音频 32 kHz 立体声,混音后写入视频
输出文件 MP4,H.264 视频加 AAC 音频,附一份 JSON 生成元数据
提示词长度 1 到 8000 字符
采样 6 次生成器评估,knots 1000/750/500/250/100/40/0
生成模式 FL2VA 适配器管文生视频与首尾帧,Ref2VA 适配器管多模态参考
参考输入上限 最多 9 张图、3 段视频、3 段独立音频,合计 12 个参考文件

命令行任务名分成五个,t2va、i2va、l2va、fl2va、ref2va,分别对应纯文本、首帧条件、末帧条件、首尾帧条件与多模态参考。参考模式下每个视频或独立音频片段必须在 2 到 15 秒之间,视频总时长与独立音频总时长各自不超过 15 秒。视频自带的声音轨会随视频保留,不计入独立音频配额。

模型家族由两个 LoRA 适配器组成,跑在 MiniMax H3 的基座组件之上。基座文件约 210 GB,两个适配器合计约 5.5 GB。安装包名叫 pika-h3-pro,需要 Python 3.12、ffmpeg 与 C 编译器,仓库同时提供 Conda 与 Docker 配方。

训练三阶段与速度口径:官方数字里哪些能当真

第一步监督微调用的是内部数据集,覆盖日常活动、表演、叙事、技术与风格化片段,微调后仍保留 H3 的 50 步采样表,这一版随后充当蒸馏的教师模型。

第二步是蒸馏。标准 DMD 在实验中出现训练不稳定,团队改用 Projected Distribution Matching Distillation,也就是 PDMD,训练稳定性与输出质量都明显改善。这一步把去噪步数从 50 降到 6。

第三步是蒸馏后的奖励学习。ReFL 通过可微奖励反馈优化美学质量与画面清晰度,DPO 用离线偏好对优化指令遵循、真实感与视觉质量。两者各自训成独立的低秩适配器,再合并为一个,推理端不增加任何额外步数。

速度数据的口径需要拆开看。官方博客给出的核心数字是,在 768p 下,Pika H3 Flex 的 DiT 去噪时间低于成片时长,平均比 Fal H3 Max 快约 1.8 倍。其中 5 秒片段快约 1.5 倍,10 秒与 15 秒片段快约 2 倍。参考生视频场景,带图或图加音频的组合快 1.3 到 1.7 倍,带视频参考的组合快 1.6 到 1.9 倍。参考生视频端在 fal 侧没有对应的 H3 Max Turbo 端点。

这组对比只计入 transformer 去噪时间,不含条件编码、解码与服务开销。Pika 在 FAQ 里明确说明,7 秒这个数字不是 API 请求的总时长,参考输入、高分辨率收尾、音频分轨、硬件与服务开销都要额外加上去。八个 B300 上跑 5 秒 768p 全流程,官方公布从 3.409 秒降到 2.129 秒,约 1.6 倍。

落到本地跑,情况完全是另一回事。官方测试配置是单张 H100 80GB 跑一个请求,H200 与 B300 没有测过。包把八张卡暴露出来并不会分片,也不会加速。默认 480p 5 秒片段大约占用 66 到 69 GiB 显存,768p 15 秒在 H100 80GB 上需要开启 CPU offload 才能跑通,代价是权重常驻主机内存并增加传输时间。ComfyUI 社区的指南给出的体感是 5 秒 1344×768 大约需要一分钟。

所以本地部署要预期的是一分钟量级的等待,而不是七秒。这个差别是选型时最容易踩空的地方。

价格与竞品对照:0.01 美元每秒是怎么排出来的

官方对比表把主流音视频模型的起价放在一起,跨度超过十倍。

模型 起价(美元/输出秒) 实时 4K 输出 开放权重 音频分轨
Pika H3 Flex 0.01 支持 支持 支持 支持
Fal H3 Turbo 0.01625 支持 不支持 不支持 不支持
Fal H3 Max 0.0325 支持 不支持 不支持 不支持
Wan 3.0 0.03 不支持 不支持 不支持 不支持
FLUX 3 Video 0.06 不支持 支持 不支持 不支持
MiniMax H3 0.08 不支持 不支持 支持 不支持
Gemini Omni 1.1 Flash 0.101 不支持 支持 不支持 不支持
Seedance 2.5 0.103 不支持 不支持 不支持 不支持

这张表里同时满足实时、4K 输出、开放权重与音频分轨四项的只有 Pika H3 Flex 一家。参考生视频的起价是 0.03 美元每秒,HeyGen 三档都是 0.035,Fal H3 Max 是 0.05,MiniMax H3 是 0.08,Seedance 2.5 基础价 0.103 且视频参考另收 0.0615,Gemini Omni 1.1 Flash 是 0.101 但不支持上传音频参考。

质量口径目前全部来自厂商自评。官方自动评测里它在五项画面与音频质量指标上对 MiniMax H3、Fal H3 Max、HeyGen Video 的多数提示占优,画面美感一项有 91% 的提示优于 H3 Max。盲测人类偏好中在人体结构、复杂构图、音画同步三项领先。产品页给出的 DesignArena 文生视频得分是 1293,总榜第 7,是榜上排名最高的开放权重模型,仍低于 Gemini Omni 1.1 Flash 的 1360。第三方独立复现目前没有看到。

选型时可以参考站内已有的横向评测。MiniMax H3 发布那篇梳理了这个基座的定价与规格,H3 Flex 的所有改动都建立在它之上;英伟达开源 Open-H3-Regenerate-2K走的是另一条路线,同样基于 H3 但专攻 4K 增强,两者可以放在一起看开源社区围绕 H3 生态的两套解法;可灵 AI 4.0 深度代表的是闭源商业模型在 4K、30 秒与多语种唇音同步上的推进路线;Utopai X 空降全球视频模型榜单第二则解释了视频生成榜单的盲评机制是怎么算分的。

与 fal H3 Max 的时间线,以及榜单名次为何需要复核

Pika 不是第一个在 H3 上做后训练的团队。fal 在 9 月 1 日就发布了自研后训练版 H3 Max,当时宣称 5 秒片段约三秒出片,并在 DesignArena 图生视频榜拿到 1341 的 Elo 分,基座 H3 为 1333。两个月内同一基座上出现第二个后训练版本,节奏比通常的模型迭代快得多。

两者的差别在交付方式。fal 保留了 H3 Max 的权重闭源,只通过自有 API 售卖;Pika 公开了适配器与推理代码,等于把后训练的具体做法摊开给社区看。这也是评估 H3 Flex 时最值得注意的一点,它在方法透明度上确实比竞品更彻底。

榜单名次这一项需要留个折扣。官方产品页称 DesignArena 文生视频榜得分 1293、总体第 7,是榜上排名最高的开放权重模型,仍低于 Gemini Omni 1.1 Flash 的 1360。第三方核查指出,发布当天 Pika 官方博文里仍留着一段标注为编辑待核的条目,其中就包括最终 DesignArena 排名、11 月 2 日的应用上线日期与定价,尚未逐项确认。此外 ComfyUI 的官方使用指南也记录了几个实际渲染偏差,摄影机时机可能偏 0.2 到 0.3 秒,宽镜头经常被渲染成中景。

综合看,H3 Flex 目前是纸面上最快的 H3 变体,实践效果仍待独立复测。跑分来自厂商自评,速度口径只覆盖 transformer 阶段,榜单名次发布时未完全确认。这三点合在一起看,比单看 91% 这个数字更接近真实水位。

没有开源的四件事:4K、音频分轨、加速栈与许可证边界

本地跑起来的只是生成器。Pika 把两个收尾模型留在托管侧:一个是 10 亿参数的像素空间单步视频超分 transformer,把 768p 草稿推到 1080p、2K 与 4K,支持 1 倍到 4 倍缩放,用因果处理与帧缓存让显存不随片长增长,单 GPU 上首帧 0.17 秒可见,官方承诺后续开源;另一个是按提示分离音轨的模块,可导出对白、配乐、音效、拟音、环境声五条独立音轨,这套分轨是视频模型里第一次做到可编辑输出。

推理加速栈同样托管:融合算子、FlashAttention-4、块稀疏注意力、压缩通信这一整套都在 Pika API 后面。提示词增强也在云端,本地包读提示词文件时不做任何改写。

许可证是更需要提前确认的一项。适配器按 MiniMax H3 社区许可协议分发,授权地域被定义为除欧盟、英国、韩国与美国以外的所有地区,在排除这些地域使用需要另行联系 MiniMax 获得许可。年收入超过 2000 万美元的公司需要单独书面授权,商业产品还必须标注 MiniMax H3。也就是说,开放权重不等于全球可用。

开源范围与托管范围的切分很典型。权重和代码放出来解决的是能生成什么,托管服务拿走的是生成得多快、多清晰,以及音轨能不能拆开卖。底座本身是 MiniMax 训的,Pika 卖的是从 50 步到 6 步那一段工程,加上托管 API 里的四张牌。仓库是入口,账单在别处。

实操路径:从拉权重到跑出第一条片子

ComfyUI 在发布当天就补上了三套现成工作流,分别对应文生视频、首尾帧生成与参考生视频,是三条最短的上手路径。Diffusers 路线稍微繁琐一些,需要手动注入 PEFT 适配器。

命令行这条路的完整流程是五步。第一步 clone 仓库并进入目录。第二步准备系统依赖,git、patch、ffmpeg 与带开发头文件的 C 编译器都要装上,Triton 在运行时也需要编译器,Debian 与 Ubuntu 上直接装 build-essential 即可,仓库同时提供 Conda 与 Docker 两份配方以覆盖不同偏好。第三步安装依赖并打上 Diffusers 补丁,然后以不覆盖依赖的方式装上本包,命令行入口是 pika-h3-pro。第四步固定模型版本,用 MODEL_REPO 指向 Pika-Labs/Pika-H3-Flex,MODEL_REVISION 指向 release.json 里记录的不可变 revision,本地 snapshot 覆盖只用于验证,不属于公开流程的必要环节。第五步发起生成,指定 task、prompt-file、resolution、aspect、duration、seed 与 output 即可。

适配器文件本身保持 FP32 格式,常驻的 LoRA 计算走 BF16,这样能保住原模型的混合精度边界。包在加载 transformer 之前会校验适配器哈希与采样参数。输出 JSON 记录最终提示词、seed、产物标识、几何参数、offload 设置与各阶段耗时。

硬件这一环是绝大多数人第一道坎。官方实测配置是单张 H100 80GB 跑一个请求,默认 480p 5 秒片段占用约 66 到 69 GiB 显存。768p 15 秒会超出 H100 显存,必须加 CPU offload,把 transformer 权重留在主机内存并按需预取到显卡,代价是显著增加主机内存占用与传输时间,而且文本编码器与 VAE 不会被卸载,所以降低后的采样峰值并不等于最低显存需求。多卡分片在当前包里没有实现,多张空闲卡只能跑相互独立的进程。

起步建议是 480p 5 秒。先用小规格验证提示词与参考素材是否工作,再上 768p 与更长片长。提示词文件是逐字读取的,本地不做任何改写,这意味着提示词质量对结果的影响会比普通扩散模型更大,官方为此单独提供了一份提示词指南,覆盖场景、动作、对白、氛围与音乐的写法。

混音音频与视频一起封装进 MP4,视频 H.264、音频 AAC,另有 JSON 元数据。采样使用发布的适配器采样计划,knots 固定在 1000/750/500/250/100/40/0,配合 video shift12 与 audio shift3,每次评估都注入新的中间噪声。用通用的六步 Euler 采样并不等价,即便 seed 相同,跨注意力核、设备与库版本仍可能得到不同结果。

常见问题

Pika H3 Flex 可以完全离线本地运行吗?

可以。本地包覆盖文生视频、首尾帧条件生成与多模态参考生成,原生支持 480p 与 768p 的混音立体声。但 1080p、2K、4K 超分、音频分轨、提示词增强与加速服务栈都只在 Pika API 提供,想拿到 4K 成品终究要走托管侧。

本地部署需要什么硬件才能跑?

官方测试配置是单张 H100 80GB 跑一个请求,H200 与 B300 未测。默认 480p 5 秒片段约占 66 到 69 GiB 显存,768p 15 秒需要开启 CPU offload,代价是额外的主机内存与传输时间。包不会跨卡分片,暴露八张卡只是允许多个独立进程并行。

国内团队使用 H3 Flex 会踩到许可证问题吗?

不会直接踩到,因为授权地域的排除名单是欧盟、英国、韩国和美国,中国大陆在授权范围内。但要留意两件事:年收入超过 2000 万美元的公司需要单独书面授权,商业产品必须标注 MiniMax H3,另外下载的基座组件约 210 GB,磁盘和带宽要提前算好。

小结

Pika H3 Flex 的核心贡献是把一个已经具备音画同步能力的开源基座加工成了能进生产管线的工具链。6 步采样、两个可分别加载的 LoRA 适配器、单卡能跑的推理包、公开的提示词指南与六个官方样片,加上把 4K 与分轨留在云端的设计,构成了一个明确取舍:开放权重换来的是把推理成本从 API 账单挪回自己的显卡,把速度和清晰度的成本推回云端。

选型上有个容易被忽略的对照。VAST 开源 EdenLive让单张 RTX 5090 就能跑实时世界模型,FLUX 3 Klein用 56 亿参数实现原生 4K,两者的共同点是都不需要数据中心级显卡。H3 Flex 走的是音画一体加专业迭代的方向,硬件门槛落在单张 H100 这一档。创作管线里若要的是实时预览与快速改稿,EdenLive 那一类更轻;若要的是带同步音频的成片素材,H3 Flex 的 6 步采样与分轨能力目前是开放权重阵营里最完整的一套。

相关阅读