オープンソースの動画キャラクター／オブジェクト置換ツール：動画とキャラクター写真をドラッグ＆ドロップすると、動画内の主要人物を自分のキャラクターに置き換えます。カメラワーク、編集、動き、元の音声はすべて保持されます。髪型や服だけの変更、特定のオブジェクトの削除、背景の交換も可能で、すべてオープンウェイトを用いて自分のGPU上で実行できます。
スター数 627（+265 / 24時間）
理由
- Next.jsフロントエンドをComfyUIワークフローに組み合わせた構成：SAM 3.1でショットごとに人物を追跡し、元の人物をグレーの人型モデルに変換してMiniMax H3がそれに従って動作し、マスク領域のみを再描画します。Qwen3-VL 8Bが画面の説明とプロンプト作成を担当します（4BやGemma 4 E2Bへの変更も可能）
- モード：単一人物置換、1～4人のキャラクター割り当て付き高度な置換（ハードカットなしで人物を切り替えるMontageページを含む）、オブジェクトの置換／削除／追加／背景交換、「画像から」モードではFLUXでまずポーズを整えてから動画を生成し、ライティングの再調整も可能。ポスト処理では小さな顔の修正やH3のトーン補正によるソフトニングが行われます
- 送信前にComfyUIのノードとモデルリストを参照して不足項目を確認し、インストールリンクを提供します。Check mask機能ではSAMとマスクのみを実行し、どの部分が再描画されるかをフレームごとにプレビューできます
使い方
- NVIDIA GPUが必要（作者はRTX 4060 Ti 16 GB + 64 GBメモリでテスト済み）、ComfyUI 0.41.2以上、Node.js 22.6以上が必要。READMEに従って12個のカスタムノードパッケージ、H3プルーニングINT8モデル、DMAD加速LoRA、SAM 3.1などのファイルをインストールします
- Windowsではstart_openjutsu.batをダブルクリックします。その他のOSではまずComfyUIを起動し（WindowsではAIOHTTP_NOSENDFILE=1を設定）、comfy-api-proxy==0.1.6をインストールしてリポジトリのpatch_proxy.pyでパッチを適用後、npm ci、npm run build、npm startを実行し、127.0.0.1:3000を開きます
- デフォルトは736p、6ステップ。作者によると、4060 Tiでは480pの6秒クリップで約6～13分、1080pでは736pより約2.5倍遅くなります
リスク
- 実在の人物を任意の写真の人物に置き換えることができるため、他人の肖像を使用する際は同意を得る必要があります。鏡や反射に映った人物は現在置換できず、H3は反射から元の人物の外見をコピーしてしまう場合があります
- 顔修正で依存するInsightFace buffalo_lは非商業研究のみ許可されており、Bingsu/adetailerのYOLO重みはAGPL-3.0です。Comfyクラウドプラットフォームへのデプロイ手順は作者がまだテストしていません。コードはMITライセンスで、リポジトリは10月26日に作成され、スター数が急増していますが、READMEを確認すれば通常のツールリポジトリであることがわかります