Viggle Remake:让智能体一句话重拍整段视频

Viggle 在 MiniMax-H3 上训练的两个 rank 256 LoRA:swap 负责换人物 / 角色(一次可换多个),edit 负责其余改动——增删或替换物体,换背景、天气、光线和风格。输入是原视频、1–4 张画好的关键帧(提示里称 Picture N,可用 --pin 钉在原视频的某一帧)和 MiniMax-H3 的六段式提示词,输出保留原片的动作、镜头、节奏和原声。仓库还带一个 MCP 服务:把视频和一句需求交给 Claude Code、codex 这类编码智能体,它会自己切镜头、画关键帧、写提示词、在你的 GPU 上逐窗渲染、检查结果,再和原声拼成整片。它就是 Viggle-Animate 卡片上预告的 Viggle-Animate v2。10 月 22 日建仓,前几期没有收录。

原题:Viggle/Viggle-Remake

Viggle 在 MiniMax-H3 上训练的两个 rank 256 LoRA:swap 负责换人物 / 角色(一次可换多个),edit 负责其余改动——增删或替换物体,换背景、天气、光线和风格。输入是原视频、1–4 张画好的关键帧(提示里称 Picture N,可用 --pin 钉在原视频的某一帧)和 MiniMax-H3 的六段式提示词,输出保留原片的动作、镜头、节奏和原声。仓库还带一个 MCP 服务:把视频和一句需求交给 Claude Code、codex 这类编码智能体,它会自己切镜头、画关键帧、写提示词、在你的 GPU 上逐窗渲染、检查结果,再和原声拼成整片。它就是 Viggle-Animate 卡片上预告的 Viggle-Animate v2。10 月 22 日建仓,前几期没有收录。

为什么重要 把逐镜头手工改片交给智能体:切镜头、画关键帧、渲染、自检、拼回原声都自动完成

上升分 95 · 点赞 97 · 下载量 5215

理由

  • 解决“已有素材想换演员、换场景又不想重拍”的需求:作者的示例把《爱乐之城》一个镜头改出 22 个版本(换人、换装、换天气、增删物体、换风格),另有 116 秒、69 个剪辑点的 MV 和 101 秒的《黑客帝国 2》片段整段重做,都保留原配乐。
  • 智能体整片流程是这个仓库最特别的地方:单次渲染一个 90–345 帧的窗口(24 fps,约 12 秒),更长的视频由 MCP 尽量在剪辑点切窗;作者称让 codex 跑完 White House Funk 示例在两张 GPU 上约 1.5 小时,每次运行关键帧都由智能体自己画,细节会不同。
  • 小一点的显卡也有路:ComfyUI 节点包只补四件自带节点做不到的事(参考图的呈现方式、按真实帧号钉关键帧、原声干净保留、按种子生成起始噪声),其余全是自带节点;作者另出了把 LoRA 在 fp32 下合进底模再量化的 int8(21.0 GB)和 GGUF(Q8_0 22.3 GB、Q6_K 17.6 GB、Q4_K_M 14.3 GB)单文件;低秩 LoRA rank 128 / 64 只有 1.34 / 0.67 GB,作者称输出几乎一样。

用法

  • 自己的 GPU:下载 MiniMaxAI/MiniMax-H3 底模(约 144 GB 的文件)和本仓库的 lora/、inference/、examples/、requirements.txt(5.5 GB),pip install -r requirements.txt 并装好 ffmpeg,运行 python Viggle-Remake/inference/sample.py --mode swap(或 edit)--video source.mp4 --prompt prompt.txt --ref ref1.png --pin 12 --frames 124 --short-edge 480 --seed 0 --base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4;--frames 取 17n+5,--short-edge 736 出 1280×736。不要 git clone 整个仓库(带 git-lfs 会下载约 210 GB)。examples/demo.sh 可先跑一遍自带示例确认 LoRA 已加载。
  • ComfyUI(作者在 0.42.0 上测过):底模用 Comfy-Org/MiniMax-H3 的 fl2va 单文件(不是 ref2va),把 comfyui/ComfyUI-Viggle-Remake 拷进 custom_nodes,LoRA 放进 models/loras 并用 LoraLoaderBypassModelOnly 加载——作者称普通 LoraLoaderModelOnly 在 bf16 下会丢掉相当一部分 LoRA 更新、画面更软;拖入 comfyui/workflows/remake_swap_ui.json 或 remake_edit_ui.json 即可跑示例,自己的素材先转成 24 fps。用 int8 / GGUF 合并文件时它同时替代底模和 LoRA,不要再叠 LoRA。
  • 智能体:hf download Viggle/Viggle-Remake --include "mcp/*" 只取 MCP(不含权重),在 mcp 目录 pip install -e .(GPU 机器再装 '.[worker]'),每张卡起一个 viggle-remake-worker,再把服务接到 Claude Code 或 codex,给它一段视频和一句需求。关键帧怎么画、何时钉帧、六段式提示词怎么写,作者写在仓库的 PROMPTING.md。不想自己部署可以用 Viggle 应用。

风险

  • 门槛高:sample.py 需要单张 80 GB 以上显卡(bf16);作者在 B200 上测得 ComfyUI 一次渲染约 95 秒、系统内存约 130 GB,底模和它的文本编码器必须有。
  • 作者列出的已知问题:一个长镜头里的非人形角色会失败,细节有小瑕疵,多镜头片段不钉关键帧时会在时间上漂移;声音只是沿用原片,原片无声输出也无声。
  • 换人能力没有内置任何身份或同意校验,身份完全由你画的关键帧决定;作者要求只用于有权修改的素材、不要用在未同意的人身上、生成内容要标注 AI。示例里的电影和 MV 片段版权归原方,两份许可都不授予这些素材和肖像的任何权利。
  • 权重按 MiniMax H3 社区许可(商用产品界面要显著标注 MiniMax H3,年收入超过 2000 万美元须先取得 MiniMax 书面授权),代码 Apache-2.0;基于它做产品时作者希望注明 Powered by Viggle Remake。

打开

Hugging Face Trending

浏览最新 AI 动态