Pika H3 Flex:六步出带声音的视频,可用多张参考图

Pika 在 MiniMax-H3 上后训练的一组 LoRA 适配器,生成带同步立体声的视频,官方称六步采样即可出片。分两个适配器:FL2VA 负责文生视频和首帧、尾帧、首尾帧控制;Ref2VA 负责多模态参考,最多 9 张图、3 段视频、3 段音频,合计 12 个参考文件。本地开源推理原生输出 480p / 768p、24 fps、5–15 秒,支持 11 种画幅;1080p 到 4K、分轨音频和提示词增强只在 Pika 的托管 API 上提供。

原题:Pika-Labs/Pika-H3-Flex

Pika 在 MiniMax-H3 上后训练的一组 LoRA 适配器,生成带同步立体声的视频,官方称六步采样即可出片。分两个适配器:FL2VA 负责文生视频和首帧、尾帧、首尾帧控制;Ref2VA 负责多模态参考,最多 9 张图、3 段视频、3 段音频,合计 12 个参考文件。本地开源推理原生输出 480p / 768p、24 fps、5–15 秒,支持 11 种画幅;1080p 到 4K、分轨音频和提示词增强只在 Pika 的托管 API 上提供。

为什么重要 开放权重可本地跑,ComfyUI 有官方工作流,适合做多镜头短片、产品片和按参考图做动画

上升分 151 · 点赞 528 · 下载量 1083

理由

  • 一个模型同时出画面和声音(环境音、对白、配乐),不用再接单独的音频模型
  • 首尾帧和多参考两种控制方式,作者列出的用途是多镜头叙事、动态图形、产品片和按参考图做动画
  • ComfyUI 官方已有教程和 R2V、FL2VA、T2V 三套工作流模板,仓库自带 Comfy 格式的 BF16 LoRA

用法

  • 克隆 GitHub 仓库 Pika-Labs/Pika-H3-Flex,按 pip / Conda / Docker 快速开始安装,用 pika-h3-pro 命令选择 t2va、i2va、l2va、fl2va 或 ref2va 任务
  • ComfyUI:用 comfy/loras/ 里的 LoRA 配合 MiniMax-H3 底模,套官方 Pika H3 Flex 工作流模板
  • 提示词按官方指南分时间段写镜头运动、动作、对白和声音

风险

  • 适配器按 MiniMax H3 社区许可发布,商用前要读条款
  • 底模组件合计约 210 GB,官方只给出 H100 80GB 上的测试结果,大请求需要开 CPU offload
  • 展示视频是创意样例,官方说明不保证能用发布包精确复现
  • 本条未运行,效果以模型卡为准

打开

Hugging Face Trending

浏览最新 AI 动态