原题:Efficient-Large-Model/Open-H3-Regenerate-2K
NVIDIA(NVlabs Sana / SoL-Engine)给闭源 H3-Regenerate-2K API 做的开放替代:把 MiniMax-H3 的 768P 草稿(1344×768、121 帧)在潜空间放大 2 倍,再用 MiniMax-H3 加一个合并 LoRA 三步去噪,输出 2560×1440 视频;代码另支持 1080p 和两次放大到 4K。合并 LoRA 由三个适配器按秩拼接:Open-H3 精修器(rank 384)、LightX2V FL2VA Turbo v1.2(rank 128)和 LMS Sharp v1.0(rank 64),作者称与分开挂三个适配器相比,在全部 312 个线性层上的相对误差只有 2.2e-8。仓库还带作者的 3D 卷积潜空间放大器、从 StreamRender-H3 蒸馏的快速 VAE 解码器(1.62B 参数)和一份未改动的 MiniMax-H3 底模副本。10 月 26 日建仓,前几期没有收录。
上升分 79 · 点赞 223 · 下载量 562558
理由
- 解决“先低分辨率快速出片、满意了再出 2K”的需求,不用付费调闭源接口;输入可以是 H3 草稿视频、现成的 H3 潜变量,也可以加 --hyperflow 从一句提示词先生成 768P 草稿再精修。
- 官方称单张 B200 上一段 5 秒片段从 768P 潜变量到 2560×1440:原版稠密注意力 BF16 共 87.26 秒;换上 Sol-Attn 稀疏注意力、MXFP8 和 CUDA Graph 后 37.39 秒(2.33 倍);再换快速 VAE 解码器(解码从 15 秒降到 1.6 秒)共 22.45 秒(3.89 倍)。代码 README 逐项列了每个优化各贡献多少。
- 抱脸下载量 562558、点赞 223(只代表关注度)。
用法
- 代码在 GitHub NVlabs/Sana 的 sol-engine 分支 models/Open-H3-Regenerate-2K:Linux、Python 3.11、PyTorch 2.11 + CUDA 13.0,pip install -r requirements.txt,再 pip install -e ../../techniques/sparse_backends(Sol-Attn,加速前向需要);python download.py --weights ./weights --hyperflow 下载全部权重。
- 已有草稿:python infer.py --weights ./weights --input-video draft.mp4 --prompt "…" --output out.mp4;只有提示词:加 --hyperflow;最快用 --fwd sol_engine_fast,要离原版输出最近用默认的 sol_engine 或 --fwd standard;--resolution 可选 768p / 1080p / 2k / 4k,--steps 2 改成两步。
- 自己接管线时的采样设置:三步 Euler,sigmas [0.909375, 0.857143, 0.666667, 0],CFG 1。
风险
- 速度数字都在 B200 / GB200 上测得,MXFP8、Sol-Attn 对显卡和软件栈有要求;作者没有给消费级显卡的数据,也没有 ComfyUI 工作流。
- 第一次遇到新的潜变量形状要建引擎、录 CUDA Graph(约 39 秒);sol_engine_fast 更快,但作者说细节上离原版输出更远。
- 许可拼在一起:精修 LoRA、快速 VAE 和底模副本按 MiniMax H3 社区许可(含地域、用途和再分发条款),合并进去的 LightX2V Turbo、LMS Sharp 和潜空间放大器各按原许可,没有统一许可。