英伟达开源 Open-H3-Regenerate-2K:5 秒 4K 视频提速 3.9 倍

一句话结论:英伟达与麻省理工组成的 Efficient-Large-Model 团队开源了 Open-H3-Regenerate-2K,把 MiniMax H3 的高分辨率重生成环节从付费 API 变成可自行部署的开源实现,在单张 B200 上把 5 秒视频的处理耗时从 87.26 秒压到 22.45 秒。

10 月 30 日,这个团队在 Hugging Face 发布 Open-H3-Regenerate-2K 的模型权重,配套推理代码同步在 NVlabs/Sana 仓库开放。方案支持 2560×1440 的 2K 输出,最高可做 3840×2160 的原生 4K 重生成。

这件事的分量在于它拆掉了一个此前封闭的环节。MiniMax H3 的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成三段,其中 H3-Base 负责生成 768P 音视频并已开放权重,而 H3-Regenerate-2K 此前只以 API 形式对外服务。开源实现让这一段第一次变成可以自己部署的组件。

为什么重生成要单独成为一个模块

视频生成模型的分辨率提升方式与图像不同。图像可以直接在高分辨率潜空间里训练,视频不行,时序一致性和运动连贯性在直接拉高分辨率时容易崩掉。

H3 的做法是分段。H3-Base 生成 768P 的音视频草稿,把场景、构图和运动信息确定下来;重生成模块再以这些草稿为条件,在目标分辨率下重新生成画面细节。这样运动轨迹来自已经跑通的低分辨率生成,不需要在高分辨率上重新学一遍时序一致性。

Open-H3-Regenerate-2K 复用的正是这套机制。训练阶段保持 H3 Transformer 主干与视频 VAE 的原有参数不变,只训练新增的细化 LoRA,主干和 VAE 都不动。这让训练成本大幅下降,也保证了生成能力与原模型对齐。

只训 LoRA 的三步去噪管线

推理时,细化 LoRA 与社区适配器合并使用,包括 LightX2V 的 FL2VA Turbo 和 LMS Sharp,然后通过三步去噪在目标分辨率下重新生成细节。

三步去噪是这个方案速度的来源之一。视频扩散模型的去噪步数是线性成本项,从二十几步压到三步,效果不靠更多采样堆出来。配套的工具链同样重要,方案采用社区开发的潜空间放大器直接放大视频的潜在表示,避免高分辨率下重复解码再编码的开销,同时结合 SoL-Engine 的稀疏注意力、低精度计算和快速 VAE 解码器加速细化与解码环节。

把潜空间放大放在 VAE 之前是这条管线的关键设计。传统做法是先生成低分辨率画面,解码成像素,再上采样再编码回去,然后重新生成再解码,每一步都在像素域做无用功。直接在潜表示上放大,省掉了整轮往返。

87.26 秒到 22.45 秒:3.9 倍提速拆解

团队公布的测试条件是单张 NVIDIA B200 GPU,预热后运行,一段约 5 秒视频的潜空间放大、三步细化和 2K 解码合计耗时从未优化实现的 87.26 秒降至 22.45 秒,处理速度约为原来的 3.9 倍。

指标 未优化实现 Open-H3-Regenerate-2K 变化
5 秒视频处理总耗时(单张 B200) 87.26 秒 22.45 秒 约 3.9 倍提速
其中视频解码环节 约 15 秒 约 1.6 秒 约 9.4 倍提速
UniPercept 感知质量均分 官方 API 53.4 60.0 高 6.6 分
输出分辨率 2K 2560×1440 最高 4K 3840×2160 原生 4K 重生成

解码环节从约 15 秒压到约 1.6 秒贡献了绝对值上的大头。这里用到的快速 VAE 解码器叫 Sol-H3-VAE,是同一个团队从 H3 视频 VAE 蒸馏出来的产物,针对解码效率单独优化。蒸馏出的解码器加上稀疏注意力和低精度计算,构成了一整套围绕单卡部署的优化组合。

需要注意的是测试口径。速度数字是在单张 B200 且预热后的条件下得到的,属于数据中心卡的最优配置结果。显存占用、LoRA 合并后的实际吞吐、以及在消费级显卡上的表现,官方这次没有公布。3.9 倍是同硬件同输入下的前后对比,不是与其它方案的横向对比。

画质评测:开源版反超官方 API

在 RefinerBench-150 上做了对比评测,相同输入与相同 2K 输出条件下,Open-H3-Regenerate-2K 在感知质量评测 UniPercept 上的平均分为 60.0,官方 H3-Regenerate-2K API 为 53.4。

开源实现比官方 API 高 6.6 分,原因并不神秘。API 服务是固定权重固定推理配置,开源版本允许用户自己合并社区适配器、调整细化 LoRA 与采样步数,可调的搜索空间更大。同样的输入,官方 API 用一套配置跑完,开源版本可以先试几组配置再挑输出最好的那份。

VBench 评测的分项结果更有意思。开源方案在美学质量、成像质量和主体一致性三项上得分更高,官方 API 在运动平滑度和动态程度上仍略优。这个分布符合机制预期,主体一致性与美学属于静态画面质量,运动平滑度属于时序质量,后者更依赖生成主干而非细化环节的能力上限。

换句话说,这个方案用运动特性上的小幅让步,换来了静态画质上的整体提升和成本的大幅下降。对于多数需要交付成片的场景,这个交换是划算的。

H3 生态:一个基数 2400 万下载的模型长出了什么

MiniMax H3 今年 8 月开放权重,一个月内下载量超过 2400 万次,产生超过 300 个公开衍生模型,成为 2026 年全球下载量最高的模型之一。Open-H3-Regenerate-2K 只是其中一个分支,但它代表了衍生方向的一个特点:不改主干,只在末端做模块化增强。

围绕 H3 的衍生工作分布在多个方向。这个团队除视频增强方案外,还发布了基于 H3 Ref2VA 的流式视频渲染模型 StreamRender-H3,以及从 H3 视频 VAE 蒸馏出的快速解码器 Sol-H3-VAE,分别针对交互式视频渲染和解码效率优化。

社区侧的动作同样密集。LightX2V 的 MiniMax-H3 Turbo 提供了四步和八步采样的蒸馏版本,社区微调模型 Singularity 聚焦运动表现、面部细节和视觉风格优化。海外团队里,FastVideo 发布了 FastH3 四步预览版,Pika 推出六步采样的 Pika H3 Flex。ComfyUI 和 Unsloth 则通过适配权重与量化版本,把 H3 带进本地创作工作流。

这种密集的衍生生态带来了一个副作用,即同一套基座上出现了大量性能相近的分支,选型成本随之上升。Open-H3-Regenerate-2K 的价值之一,是把重生成这一段固定下来,让需要 4K 输出的用户不必在几十个分支里逐个试。

部署路径与算力现实

这套方案的部署门槛取决于两个变量,是否需要 4K,以及是否要自己跑全流程。只需要 2K 输出且能接受调用 API 的用户,继续用官方 H3-Regenerate-2K 服务更省事。要 4K、要控数据流向、要在自己的集群里跑,才是开源实现的场景。

推理代码在 NVlabs/Sana 仓库,该仓库是英伟达的高分辨率图像合成项目,采用 Apache 2.0 许可,当前超过 9700 星。权重在 Hugging Face 上开放,社区适配器也都可以直接获取。所需的是支持该架构的推理运行时与显存充足的加速卡,官方给出的速度参考是单张 B200。

与之对照,可灵 AI 4.0 在 4K、30 秒、HDR 上的推进走的是另一条路线,把高分辨率输出直接做进产品的商业能力里。两条路径的差别在于交付形态,一个交付权重让开发者自己组装,另一个交付开箱即用的成片能力。

常见问题

Open-H3-Regenerate-2K 和官方 H3-Regenerate-2K API 该怎么选

需要 4K 输出、要数据不出内网、要在自己集群里跑,选开源实现。需要 2K、不想管部署、按量付费更划算,选官方 API。画质上开源版在 UniPercept 上高 6.6 分且静态指标全面占优,官方 API 的优势集中在运动平滑度与动态程度。

3.9 倍提速能在自己的显卡上复现吗

这个数字来自单张 B200 且预热后的条件,属于数据中心卡上的最优配置。官方未公布显存占用和消费级显卡表现,无法保证在普通显卡上得到同等倍数。速度提升的来源可以拆开看,其中快速 VAE 解码器贡献的绝对值最大,这部分对硬件的依赖相对小一些。

只训练细化 LoRA 会不会损失 H3 的原有能力

不会。训练阶段 H3 Transformer 主干和视频 VAE 的参数都保持不变,只新增细化 LoRA,重生成的条件来自 H3-Base 生成的 768P 草稿,场景、构图和运动信息都继承自原模型。消融与评测都显示生成能力与原模型对齐,UniPercept 上的得分反而高于官方 API 的固定配置。

小结

Open-H3-Regenerate-2K 的意义在于把视频生成链条上一个长期封闭的环节拆了下来。H3-Base 负责把内容和运动定下来,重生成负责把画质提上去,后者此前只有 API 一条路。现在这段变成可部署、可调参、可合并社区适配器的开放组件,单卡 22.45 秒的耗时也让它从演示走向可用。

接下来真正值得观察的是社区在这套基座上的分化速度。2400 万下载、300 多个衍生模型、同一个团队同时铺三条不同方向的开源工作,说明开源基座的竞争已经从模型本身转移到模块和工具链。谁能把这些模块拼成一条能交付的工作流,谁就吃到生态的红利。

相关阅读