Efficient-Large-Model/Open-H3-Regenerate-2K

英伟达 NVlabs Sana 团队给 MiniMax-H3 做的开源 2K 重生成方案,用来替代闭源的 H3-Regenerate-2K API:把 H3 生成的 768P 草稿(1344×768、121 帧)在潜空间放大 2 倍,再用 MiniMax-H3 加合并 LoRA 去噪 3 步,输出 2560×1440 视频。

英伟达 NVlabs Sana 团队给 MiniMax-H3 做的开源 2K 重生成方案,用来替代闭源的 H3-Regenerate-2K API:把 H3 生成的 768P 草稿(1344×768、121 帧)在潜空间放大 2 倍,再用 MiniMax-H3 加合并 LoRA 去噪 3 步,输出 2560×1440 视频。

上升分 65 · 点赞 66 · 下载量 0

理由

  • 仓库打包了一个合并 LoRA(Open-H3 refiner、LightX2V FL2VA Turbo v1.2、LMS Sharp v1.0 三个适配器按秩拼接,作者称与分开加载相比相对误差 2.2e-8)、作者自制的 3D 卷积潜空间放大器,以及从 StreamRender-H3 蒸馏来的快速 VAE 解码器(1.62B 参数)。
  • 作者称在一张 B200 上处理 5 秒片段:标准实现共 87.26 秒;SoL-Engine 路径(Sol-Attn 稀疏注意力、MXFP8、CUDA graph)加快速解码器共 22.45 秒,约 3.9 倍;快速解码器解 2K 片段 1.6 秒,原版 VAE 要 15 秒。
  • 输入不限 H3 草稿:也能接其他视频模型的 576P 草稿、已有的 H3 潜变量,或用可选的 HyperFlow 8 步适配器从提示词直接出 768P 草稿;输出可选 768p、1080p、2k、4k。10 月 26 日发布,此前各期没有收录。

用法

  • 代码在 GitHub NVlabs/Sana 的 sol-engine 分支 models/Open-H3-Regenerate-2K:Linux、Python 3.11、PyTorch 2.11 + CUDA 13.0,pip install -r requirements.txt,再装 techniques/sparse_backends(Sol-Attn);python download.py --weights ./weights --hyperflow 下载权重。
  • 从提示词出片:python infer.py --weights ./weights --hyperflow --prompt "..." --output out.mp4;已有草稿用 --input-video draft.mp4(H3 草稿按默认 768P,其他模型的草稿加 --input-size 576p);--resolution 4k 做两次 2 倍放大。
  • --steps 2 作者称约快 30%,但毛发、苔藓等细纹理更软,默认仍是 3 步;--fwd standard 用未加速实现,--vae standard 换回原版 VAE 解码器。

风险

  • 加速路径单卡约需 150 GB 显存(B200 / GB200 级),文本编码还要先加载 32B 的 Qwen3-VL 文本编码器;标准路径的显存需求没写。
  • 加速路径和快速解码器都是有损的:作者只靠肉眼检查样例,快速解码器与原版解码器的逐帧 PSNR 为 30.0 dB;没有画质量化评测,本栏目没看过示例视频。
  • 许可是拼起来的:LoRA、快速解码器和 base_model 跟随 MiniMax H3 社区许可(含地区、用途和再分发条款),放大器和两个合入的 LoRA 各有自己的许可,没有统一授权。

编辑:base_model/ 是 MiniMax-H3 6818f6c 版本的原样拷贝;下载脚本加 --base-from-minimax 可改从官方仓库取这部分。

打开

Hugging Face Trending

浏览最新 AI 动态