Viggle Remake:一文で動画全体を再撮影

Viggle は MiniMax-H3 ベースの transformer 上で訓練された2種類の LoRA(ランク 256)を提供します。swap モードでは人物やキャラクターを置換でき、一度に複数を変更可能です。edit モードはそれ以外の編集を担当し、物体の置換・削除・挿入、背景、天気、光線の変更などに対応します。入力には元の動画、描き起こした 1~4 枚のキーフレーム(元動画の対応するフレームに固定可能)、および MiniMax-H3 の6セクション形式で作成されたプロンプトを使用し、出力では元動画の動き、カメラワーク、リズム、音声が保持されます。公式によれば、これは Viggle-Animate カードで予告されていた v2 そのものです。Animate はキャラクターのみを置換しますが、Remake では物体やシーンも変更できます。リポジトリには MCP サービスも含まれており、Claude Code や codex などのエージェントは動画と一文を受け取ると、自動的にカット分割、キーフレーム作成、ウィンドウごとのレンダリング、結果の自己検証を行い、最終的に元音声と合成して完全な動画を生成します。

原題:Viggle/Viggle-Remake

Viggle は MiniMax-H3 ベースの transformer 上で訓練された2種類の LoRA(ランク 256)を提供します。swap モードでは人物やキャラクターを置換でき、一度に複数を変更可能です。edit モードはそれ以外の編集を担当し、物体の置換・削除・挿入、背景、天気、光線の変更などに対応します。入力には元の動画、描き起こした 1~4 枚のキーフレーム(元動画の対応するフレームに固定可能)、および MiniMax-H3 の6セクション形式で作成されたプロンプトを使用し、出力では元動画の動き、カメラワーク、リズム、音声が保持されます。公式によれば、これは Viggle-Animate カードで予告されていた v2 そのものです。Animate はキャラクターのみを置換しますが、Remake では物体やシーンも変更できます。リポジトリには MCP サービスも含まれており、Claude Code や codex などのエージェントは動画と一文を受け取ると、自動的にカット分割、キーフレーム作成、ウィンドウごとのレンダリング、結果の自己検証を行い、最終的に元音声と合成して完全な動画を生成します。

なぜ重要か キャラクター置換だけでなく、物体の追加・削除、シーンや光線の変更も可能。さらに MCP サービスが付属しており、プログラミングエージェントが自らカット分割、キーフレーム作成、動画合成まで行えます。

上昇スコア 208 · いいね数 374 · ダウンロード数 183188

理由

  • 公式の例には、『ラ・ラ・ランド』のあるカットを 22 バージョンに編集したものや、116 秒で 69 個のカットポイントを持つ MV 全体のキャラクター置換が含まれます。より長い動画はカットポイントごとにウィンドウへ分割して個別にレンダリングされます。
  • GPU の有無に応じた利用ルートが提示されています。GPU なしの場合は Viggle アプリを使用します。12~24GB の場合は ComfyUI の int8 / GGUF ファイルを手動でワークフロー実行します。32GB(RTX 5090)ではエージェントと ComfyUI レンダリング環境が動作し、公式によれば 1280×736 解像度、345 フレームのウィンドウあたり約 28 分かかります。80GB 以上では参照スクリプト sample.py を使用します。
  • さらにランク 128 / 64 の小型 LoRA(1.34 / 0.67GB)も提供されており、公式によれば出力はほぼ同等です。examples/demo.sh で LoRA が正しく読み込まれているか確認できます。

使い方

  • まず MiniMaxAI/MiniMax-H3 ベースモデル(ファイルサイズ約 144GB)と本リポジトリの lora/、inference/ などのディレクトリ(約 5.5GB)をダウンロードしてください。リポジトリ全体を git clone しないでください(全重みを含めると約 210GB になります)。
  • 手動実行:python inference/sample.py --mode swap(または edit)--video 元動画 --prompt プロンプト --ref キーフレーム --pin フレーム番号 --frames 124 --short-edge 480。フレーム数は 17n+5 の形式で指定し、公式では 294 以下を推奨しています。
  • エージェント利用:mcp/ ディレクトリのみをダウンロードし、pip install -e . でサーバー側をインストールします。GPU マシンでは worker も追加インストールしてください。プロンプトの書き方は PROMPTING.md を参照してください。

リスク

  • 実在の人物の外見を本人の同意なく動画に組み込むことが可能ですが、モデル自体はアイデンティティや許諾の確認を行いません。公式では、編集権限のある素材のみを使用し、AI 生成であることを明示するよう求めています。
  • 重みは MiniMax H3 の派生モデルであり、商用利用時は UI 上に「MiniMax H3」を顕著に表示する必要があります。年間売上が 2000 万ドルを超える場合は、事前に MiniMax から書面による許諾を得る必要があります。例示されている映像クリップの著作権は元の権利者に帰属します。
  • 1回のレンダリングには約 12 秒かかります。6セクション形式のプロンプトが必須です。非人型キャラクターのロングショット、細部の小さな欠陥、フレーム固定なしでのマルチカット時のドリフトは、公式が列挙する既知の問題です。本項目では実行されていません。

開く

Hugging Face Trending

最新の AI ニュースを見る