pi-H3:两到四步出带声视频的 H3 加速适配器

斯坦福大学 Hansheng Chen 等人(部分工作在 Luma AI 完成)11 月 12 日上传的 MiniMax H3 少步数适配器,支持文生视频、首帧、尾帧及首尾帧条件,同时生成同步音频。方法把 pi-Flow v2 无数据少步蒸馏和 DWD(Decoding Without a Decoder,论文 arXiv 2611.22287)结合:最后一步由去噪网络直接预测像素,不再经过 VAE 解码器,VAE 只用来编码首尾帧。共四个适配器:2 步、4 步各有 DWD 版和走 VAE 解码的版本,DWD 版另有只给 ComfyUI 用的 INT8 ConvRot 文件,作者推荐 DWD 版。

原题:Lakonik/pi-H3

斯坦福大学 Hansheng Chen 等人(部分工作在 Luma AI 完成)11 月 12 日上传的 MiniMax H3 少步数适配器,支持文生视频、首帧、尾帧及首尾帧条件,同时生成同步音频。方法把 pi-Flow v2 无数据少步蒸馏和 DWD(Decoding Without a Decoder,论文 arXiv 2611.22287)结合:最后一步由去噪网络直接预测像素,不再经过 VAE 解码器,VAE 只用来编码首尾帧。共四个适配器:2 步、4 步各有 DWD 版和走 VAE 解码的版本,DWD 版另有只给 ComfyUI 用的 INT8 ConvRot 文件,作者推荐 DWD 版。

为什么重要 把 H3 带同步音频的视频生成压到两到四步,还省掉视频解码器;作者给了 ComfyUI 工作流和 INT8 版,消费级显卡可试

上升分 55 · 点赞 75 · 下载量 0

理由

  • 作者在 ComfyUI 文档给的速度:2 步 DWD + INT8 + Sol 稀疏注意力,在 RTX 3090(CUDA 13)上 864×480 出 5 秒视频 15.5 秒、10 秒视频 37.3 秒,1344×768 出 5 秒视频 38.5 秒(模型已加载、提示词已编码)
  • 代码库同时提供 FP8 量化和 Sol 稀疏注意力;抱脸上有作者的在线演示 Space,画质和速度对比在作者博客
  • 四个适配器都支持文字、首帧、尾帧条件,切换 2 步和 4 步只需改一个参数

用法

  • ComfyUI:装 ComfyUI-piFlow 节点,拖入 pi-H3-DWD.json;底模用 Comfy-Org/MiniMax-H3 的 minimax_h3_fl2va_pruned_int8_convrot,适配器放 models/loras,在 pi-H3 Adapter 节点上切 2 步或 4 步
  • diffusers:按 LakonLab v0.3 的 pi-H3 文档安装,用 load_lakonlab_adapter 加载 Lakonik/pi-H3 的 pi_h3_4step_dwd_adapter;首帧、尾帧用 image= / last_image= 传入
  • 在线试用:https://huggingface.co/spaces/Lakonik/pi-H3

风险

  • 适配器是 MiniMax H3 的衍生模型,按 MiniMax H3 社区许可分发,商用前看许可条款
  • 需要作者的 LakonLab 代码或 ComfyUI-piFlow 自定义节点,不是 ComfyUI 原生;速度表是作者在开了 gpu-unlock 的 3090 上测的,本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态