原題：Viggle/Viggle-Remake
MiniMax-H3上で訓練された2つのrank 256 LoRA（Viggle）：swapは人物/キャラクターの置換（一度に複数可）、editはその他の変更——物体の追加・削除・置換、背景、天気、ライティング、スタイルの変更を担当します。入力は元動画、1〜4枚の手描きキーフレーム（プロンプトではPicture Nと呼ばれ、--pinで元動画の特定フレームに固定可能）とMiniMax-H3用の6部構成プロンプトです。出力は元動画の動き、カメラワーク、リズム、音声を保持します。リポジトリにはMCPサービスも含まれており、動画と要件を一文でClaude Codeやcodexなどのコーディングエージェントに渡すと、エージェントが自らカット分割、キーフレーム作成、プロンプト作成、GPU上でのウィンドウ単位レンダリング、結果確認を行い、元音声と合成して完成動画を作成します。これはViggle-Animateカードで予告されていたViggle-Animate v2です。10月22日にリポジトリが作成されましたが、以前の号では紹介されていません。
なぜ重要か カットごとの手作業による動画編集をエージェントに任せる：カット分割、キーフレーム作成、レンダリング、自己検証、元音声との合成がすべて自動化される
上昇スコア 95 · いいね 97 · ダウンロード数 5215
理由
- 「既存素材で俳優やシーンを変更したいが再撮影はしたくない」というニーズに対応：作者の例では『ラ・ラ・ランド』の1カットから22バージョンを作成（人物、衣装、天気、物体の追加・削除、スタイルの変更）し、さらに116秒・69カットのMVや101秒の『マトリックス 2』の断片を全体再作成しており、いずれも元サウンドトラックを保持しています。
- エージェントによる全体ワークフローがこのリポジトリの最大の特徴です：単一レンダリングでは90〜345フレームのウィンドウ（24 fps、約12秒）を処理し、より長い動画はMCPがカット点でウィンドウ分割を試みます。作者によれば、codexでWhite House Funkの例を実行すると2枚のGPUで約1.5時間かかり、キーフレームは毎回エージェントが独自に描くため細部が異なります。
- 小規模なGPUでも利用可能：ComfyUIノードパッケージは標準ノードでは実現できない4点（参照画像の表示方法、実際のフレーム番号に基づくキーフレーム固定、元音声のクリーンな保持、シード値による初期ノイズ生成）のみを追加し、他はすべて標準ノードです。作者はさらに、LoRAをfp32でベースモデルに統合後量子化したint8（21.0 GB）およびGGUFファイル（Q8_0 22.3 GB、Q6_K 17.6 GB、Q4_K_M 14.3 GB）を提供しています。低ランクLoRA（rank 128 / 64）はわずか1.34 / 0.67 GBで、作者によれば出力はほぼ同じです。
使い方
- 自前のGPU：MiniMaxAI/MiniMax-H3ベースモデル（約144 GBのファイル）と本リポジトリのlora/、inference/、examples/、requirements.txt（5.5 GB）をダウンロードし、pip install -r requirements.txtを実行してffmpegをインストール後、python Viggle-Remake/inference/sample.py --mode swap（またはedit）--video source.mp4 --prompt prompt.txt --ref ref1.png --pin 12 --frames 124 --short-edge 480 --seed 0 --base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4を実行します。--framesは17n+5の値を取り、--short-edge 736では1280×736が出力されます。リポジトリ全体をgit cloneしないでください（git-lfsにより約210 GBダウンロードされるため）。examples/demo.shを実行してLoRAが正しく読み込まれているか確認できます。
- ComfyUI（作者は0.42.0でテスト済み）：ベースモデルにはComfy-Org/MiniMax-H3のfl2va単一ファイルを使用（ref2vaではない）、comfyui/ComfyUI-Viggle-Remakeをcustom_nodesにコピーし、LoRAをmodels/lorasに配置してLoraLoaderBypassModelOnlyで読み込みます。作者によれば、通常のLoraLoaderModelOnlyではbf16環境下でLoRA更新の相当部分が失われ、画質がぼやけます。comfyui/workflows/remake_swap_ui.jsonまたはremake_edit_ui.jsonをドラッグ＆ドロップすればサンプルを実行できます。独自素材は事前に24 fpsに変換してください。int8 / GGUF統合ファイルを使用する場合は、ベースモデルとLoRAの両方を置き換えるため、追加でLoRAを重ねないでください。
- エージェント：hf download Viggle/Viggle-Remake --include "mcp/*" でMCPのみを取得（重みは含まず）、mcpディレクトリでpip install -e .を実行（GPUマシンでは'.[worker]'も追加インストール）。各GPUにviggle-remake-workerを起動し、サービスをClaude Codeやcodexに接続して動画と要件を一文で渡します。キーフレームの描き方、フレーム固定のタイミング、6部構成プロンプトの書き方はリポジトリ内のPROMPTING.mdに記載されています。自前でのデプロイが面倒な場合はViggleアプリを利用できます。
リスク
- 要件が高い：sample.pyは単一GPUで80 GB以上のメモリ（bf16）が必要です。作者はB200環境でComfyUIの1回レンダリングに約95秒、システムメモリが約130 GB必要と報告しており、ベースモデルとそのテキストエンコーダが必須です。
- 作者が列挙した既知の問題：長いカット内の非人型キャラクターは失敗しやすく、細部に小さな欠陥があり、複数カットの動画でキーフレームを固定しない場合、時間軸がずれます。音声は元動画をそのまま使用するため、元動画が無音なら出力も無音です。
- 人物置換機能にはアイデンティティや同意の確認が組み込まれておらず、アイデンティティは完全にユーザーが描いたキーフレームで決定されます。作者は、編集権を持つ素材のみで使用し、同意のない人物には使用せず、生成コンテンツにはAI生成であることを明記するよう求めています。例示された映画やMVの断片の著作権は元の権利者に帰属し、両方のライセンスともこれらの素材や肖像に対する権利を付与しません。
- 重みはMiniMax H3コミュニティライセンス（商用製品インターフェースにはMiniMax H3の顕著な表示が必要で、年間収入が2000万ドルを超える場合は事前にMiniMaxの書面による許諾が必要）、コードはApache-2.0です。これに基づく製品開発時にはPowered by Viggle Remakeの表記を推奨しています。