原题:Lakonik/pi-H3
斯坦福大学 Hansheng Chen 等人(部分工作在 Luma AI 完成)11 月 12 日上传的 MiniMax H3 少步数适配器,支持文生视频、首帧、尾帧及首尾帧条件,同时生成同步音频。方法把 pi-Flow v2 无数据少步蒸馏和 DWD(Decoding Without a Decoder,论文 arXiv 2611.22287)结合:最后一步由去噪网络直接预测像素,不再经过 VAE 解码器,VAE 只用来编码首尾帧。共四个适配器:2 步、4 步各有 DWD 版和走 VAE 解码的版本,DWD 版另有只给 ComfyUI 用的 INT8 ConvRot 文件,作者推荐 DWD 版。
为什么重要 把 H3 带同步音频的视频生成压到两到四步,还省掉视频解码器;作者给了 ComfyUI 工作流和 INT8 版,消费级显卡可试
上升分 55 · 点赞 75 · 下载量 0
理由
- 作者在 ComfyUI 文档给的速度:2 步 DWD + INT8 + Sol 稀疏注意力,在 RTX 3090(CUDA 13)上 864×480 出 5 秒视频 15.5 秒、10 秒视频 37.3 秒,1344×768 出 5 秒视频 38.5 秒(模型已加载、提示词已编码)
- 代码库同时提供 FP8 量化和 Sol 稀疏注意力;抱脸上有作者的在线演示 Space,画质和速度对比在作者博客
- 四个适配器都支持文字、首帧、尾帧条件,切换 2 步和 4 步只需改一个参数
用法
- ComfyUI:装 ComfyUI-piFlow 节点,拖入 pi-H3-DWD.json;底模用 Comfy-Org/MiniMax-H3 的 minimax_h3_fl2va_pruned_int8_convrot,适配器放 models/loras,在 pi-H3 Adapter 节点上切 2 步或 4 步
- diffusers:按 LakonLab v0.3 的 pi-H3 文档安装,用 load_lakonlab_adapter 加载 Lakonik/pi-H3 的 pi_h3_4step_dwd_adapter;首帧、尾帧用 image= / last_image= 传入
- 在线试用:https://huggingface.co/spaces/Lakonik/pi-H3
风险
- 适配器是 MiniMax H3 的衍生模型,按 MiniMax H3 社区许可分发,商用前看许可条款
- 需要作者的 LakonLab 代码或 ComfyUI-piFlow 自定义节点,不是 ComfyUI 原生;速度表是作者在开了 gpu-unlock 的 3090 上测的,本条未运行