原題:akhaliq/MiniMax-H3-Image-Character-Swap
akhaliq が 11 月 14 日にアップロード:Akatz Labs の MiniMax-H3 キャラクター差し替え LoRA v1.5(ランク 16、DiT ブロック 50 個とトークンリファイナーブロック 2 個をカバー)を、強度 1.0 で MiniMaxAI/MiniMax-H3-Image の DiT に直接マージし、LoRA を別途適用する必要をなくしました。使用方法は、シーン写真を <Picture 1> として、キャラクター参照画像を <Picture 2> として指定し、誰を置き換えるかを明確に記述すると、モデルが人物を置き換え、背景、ライティング、他の人物、元のポーズを保持します。リポジトリには、diffusers 版、ComfyUI レイアウトのマージ済みチェックポイント(40 GB)、および元の LoRA(155 MB)と変換済みの diffusers LoRA(173 MB)も提供されています。ライセンスは MiniMax-H3-Image コミュニティライセンスに準拠します。
なぜ重要か アニメキャラクターを実写の横顔に置き換えるようなスタイル間の変換は、元のバージョンでは失敗しがちです。作者は、マージ版が自身の比較テストで多く勝ったと主張しており、ComfyUI ではファイルを置き換えるだけで利用可能です
上昇スコア 38 · いいね 179 · ダウンロード数 316
理由
- 作者は、元の H3-Image がアニメキャラクターを厳密な横顔写真に置き換える際、3 個のシードすべてで元の顔を保持したと述べています。17 組の三者比較(元版 / 単独 LoRA / マージ版)では、マージ版が 14 回、単独 LoRA が 2 回、元版が 1 回選択されましたが、アノテーションは 1 名のみです
- 難しいケース(横顔、小さな顔、遮蔽、全身、複数人)8 件とすべてのブラインド評価画像は、データセット akhaliq/h3-image-swap-tests で公開されています
- マージ前に 624/624 個のキーと形状、208/208 個のターゲットテンソルを確認し、LoRA 適用結果と一致することを検証しました。マージスクリプト merge/merge_and_validate.py はリポジトリに含まれています
使い方
- ComfyUI 0.45.0 以上、テンプレートパック 0.11.104 以上:minimax_h3_image_character_swap_bf16.safetensors を models/diffusion_models に配置し、テキストエンコーダーと VAE は Comfy-Org/MiniMax-H3-Image のものを使用します。リポジトリの comfyui/workflows 内にあるキャラクター差し替えワークフロー(または公式の Image Edit テンプレート)を開き、2 枚の画像を読み込むだけです
- パラメータはテンプレートに従います:euler / simple、6 ステップ、CFG 1、denoise 1、約 4 MP から開始。プロンプトではまずシーンを説明し、次にキャラクターを説明し、置き換える人物(例:「左から 2 番目の黄色いセーターを着た男性」)を明確に指定し、顔、髪型、服装、シーンを保持するよう記述します
- diffusers 0.43.0 では、このリポジトリを ModularPipeline で読み込みます。完全ローカルでは約 140 GB の VRAM が必要です(DiT 66 GB + テキストエンコーダー 67 GB)。テキストエンコーダーをリモートに置き、DiT と VAE のみを GPU に載せることも可能です。強度を調整したい場合は、lora/ 内の単独 LoRA を使用してください
リスク
- 新しいトレーニングはなく、以前に受け取った Akatz のキャラクター差し替え LoRA を画像モデルにマージしただけです。LoRA は元々動画向けにトレーニングされており、画像では 8 件の難しいケースでのみ検証されています
- 実在の人物を置き換える行為は肖像権やディープフェイクに関わるため、使用権を持つ画像のみを使用してください
- MiniMax-H3-Image コミュニティライセンスの適用地域には、EU、英国、韓国、米国は含まれません。年間収入が 100 万ドルを超える場合、またはホスティングサービスとして提供する場合は、事前に MiniMax の書面による許可が必要です。この項目は実行されていません