开源的视频角色 / 物体替换工具:拖入一段视频和一张角色照片,把视频里的主要人物换成你的角色,镜头、剪辑、动作和原声都保留;也能只换发型或衣服、去掉某样东西、换背景,全部用开放权重在自己的 GPU 上跑。
星数 627(+265 / 24h)
理由
- 一个 Next.js 前端套在 ComfyUI 工作流上:SAM 3.1 逐镜头跟踪人物,把原人物变成灰色人体模型给 MiniMax H3 照着动,只重绘遮罩区域;Qwen3-VL 8B 负责描述画面和写提示词(也可换 4B 或 Gemma 4 E2B)
- 模式:单人替换、1–4 人按角色分配的高级替换(含无硬切换人的 Montage 页)、物体替换 / 删除 / 加物体 / 换背景、“从图片”用 FLUX 先摆好姿势再出视频并可重打光;后处理有修小脸和柔化 H3 的色调
- 提交前会对照 ComfyUI 的节点和模型列表检查缺什么,并给安装链接;Check mask 只跑 SAM 和遮罩,可以逐帧预览哪里会被重绘
用法
- 需要 NVIDIA 显卡(作者在 RTX 4060 Ti 16 GB + 64 GB 内存上测试)、ComfyUI 0.41.2 以上、Node.js 22.6 以上;按 README 装 12 个自定义节点包和 H3 剪枝 INT8 模型、DMAD 加速 LoRA、SAM 3.1 等文件
- Windows 双击 start_openjutsu.bat;其他系统先启动 ComfyUI(Windows 要设 AIOHTTP_NOSENDFILE=1),装 comfy-api-proxy==0.1.6 并用仓库的 patch_proxy.py 修补,再 npm ci、npm run build、npm start,打开 127.0.0.1:3000
- 默认 736p、6 步;作者称 4060 Ti 上 480p 的 6 秒片段约 6–13 分钟,1080p 约比 736p 慢 2.5 倍
风险
- 能把真人换成任意照片里的人,使用别人肖像前要取得同意;镜子和反光里的人物目前换不掉,H3 还会从倒影里抄回原人的样貌
- 修脸依赖的 InsightFace buffalo_l 只许非商业研究、Bingsu/adetailer 的 YOLO 权重是 AGPL-3.0;部署到 Comfy 云平台的流程作者还没测;代码 MIT,仓库 10 月 26 日建、星数涨得快,看过 README 是正常的工具仓库