Akatz Labs が MiniMax-H3 マルチリファレンスモード(Ref2VA)向けに訓練したキャラクター交換 LoRA:元の動画とキャラクター画像を入力し、動画内の指定された人物を画像のキャラクターに置き換えます。元の動画のポーズ、視線、表情、動作を追従しつつ、シーンや他の人物は保持します。9 月 25 日に V1 を初公開し、10 月 16 日に V1.5(推奨版)を公開、10 月 17 日に作者の H3 Relay 2.0 と連携するネイティブ ComfyUI ワークフローを追加しました。直近 7 期間は収録されていません。
上昇スコア 57 · いいね数 704 · ダウンロード数 137211
理由
- 「演技はそのままに、俳優だけを変える」というニーズに対応:プロンプト内で <Video 1> で元動画を、<Picture 1> でキャラクター画像を指し示し、置き換える対象(例:「紫シャツの男性」)を明確に記述するだけで済みます。作者によれば、追加のトリガーワードは訓練されていません。
- V1.5 は V1 をベースにさらに 1,000 ステップ訓練を行い、モーションビデオターゲットと顔のクロップを追加しました。作者は V1 / V1.5 の比較動画を公開しており、V1.5 の方がスタイル化された顔、髪型、キャラクターのアイデンティティをよりよく保持できると述べていますが、これらは選択されたサンプルであり、全体的なベンチマーク評価ではないことを明記しています。
- 訓練プロセスが公開されています:V1 のデータセット akatz-ai/H3-Character-Swap-v1 や、V1.5 の run-summary.json(ランク 16、学習率 1e-5、起点ファイルのハッシュ値)はすべてリポジトリ内にあります。V1.5 のファイルサイズは約 155 MB です。
使い方
- ComfyUI:別途 H3 Ref2VA ベースモデル、テキストエンコーダー、VAE を用意し、h3_character_swap_v1.5.safetensors を LoRA ディレクトリに配置します。model-only LoRA ローダーを使用し、強度は 1.0 とします。V1.5 は V1 の代わりに使用し、両方を同時に重ねて適用しないでください。
- 作者がテストした設定:Ref2VA INT8 ベースモデル + 本 LoRA 強度 1.0 + 単独の minimax_h3_fl2v_turbo_8step_v1.0_768p アクセラレーション LoRA 強度 1.0、ステップ数 8、CFG 1、サンプラー er_sde、スケジューラー normal;フレームレート 24 fps、まず短い連続ショットを作成します(作者の V1 テストでは、4–5 秒の方が 14 秒よりも安定していました)。
- マスク処理、長いセグメントの継続、元音声の保持が必要な場合は、作者の H3 Relay 2.0 をインストールし、リポジトリ内の examples フォルダにある H3-Character-Swap-Relay-V2 ワークフローを使用してください。
リスク
- 作者は実験的なモデルであると述べています:キャラクターのアイデンティティ、動作のタイミング、表情、遮蔽、ハードカットシーンなどでドリフトが発生する可能性があります。V1 の訓練には 94 で構成された画像編集サンプルのみが使用されており、複数人物の置き換えは専門的に訓練されていません。本コーナーでは比較動画を確認していません。
- 完成動画内の元音声は、ツールで後から直接コピーバックしたものであり、LoRA が音声を復元できることを示すものではなく、リップシンクのずれを修正できるわけでもありません。
- 実写人物の置き換えには肖像権およびディープフェイクに関するリスクが伴うため、使用権を持つ動画とキャラクター画像のみを使用してください。ライセンスは MiniMax H3 コミュニティライセンス(Apache ではありません)です。作者は、標準的な許諾範囲が米国、EU、英国、韓国をカバーしていないことを注意喚起しており、商用利用やこれらの地域での使用の前に元の条項を確認する必要があります。