Viggle Image Swap:キャラクター設定画で写真内の人物を置き換える

Viggle が公開した Qwen-Image-2.1 LoRA(ランク 256):写真内の人物全体をキャラクター設定画のキャラクターに置き換えます。顔、髪、体、衣服すべてが変更され、元の画像のポーズ、表情、構図、背景、ライティングは保持されます。置き換える各人物には、1536×1024 の設定画(左側1/3はポートレート、右側2/3は正面・横・背面の三视图)を用意します。ポートレート枠に実写の顔写真を貼り付けることも可能ですが、単独の写真のみでの利用はサポートされていません。デフォルトでは 6 ステップで実行し、CFG は使用しません。--turbo を追加すると、最初の 2 ステップでは LoRA が人物を決定し、後の 6 ステップでは Qwen-Image-2.1-Turbo がディテールを補完します。出力サイズは約 1 MP です。公式のベンチマークでは、B200 1枚あたり約 2.2 秒、ピークVRAM使用量 46 GB、turbo モードでは約 4.1 秒、55 GB と報告されています。

原題:Viggle/Viggle-Image-Swap

Viggle が公開した Qwen-Image-2.1 LoRA(ランク 256):写真内の人物全体をキャラクター設定画のキャラクターに置き換えます。顔、髪、体、衣服すべてが変更され、元の画像のポーズ、表情、構図、背景、ライティングは保持されます。置き換える各人物には、1536×1024 の設定画(左側1/3はポートレート、右側2/3は正面・横・背面の三视图)を用意します。ポートレート枠に実写の顔写真を貼り付けることも可能ですが、単独の写真のみでの利用はサポートされていません。デフォルトでは 6 ステップで実行し、CFG は使用しません。--turbo を追加すると、最初の 2 ステップでは LoRA が人物を決定し、後の 6 ステップでは Qwen-Image-2.1-Turbo がディテールを補完します。出力サイズは約 1 MP です。公式のベンチマークでは、B200 1枚あたり約 2.2 秒、ピークVRAM使用量 46 GB、turbo モードでは約 4.1 秒、55 GB と報告されています。

なぜ重要か キャラクターの挿入、広告、スチール写真の改変において再撮影が不要になり、1枚の写真で同時に2人の人物を置き換えることができます。デフォルトでは6ステップで画像が生成されます

上昇スコア 47 · いいね数 49 · ダウンロード数 2004

理由

  • 一度に複数の人物を置き換えることができ、どの人物を残すかを指定可能です。swap.py は人物の位置(左、右、何番目か)に基づいてプロンプトを自動的に作成します
  • トーン補正機能を搭載:変化していない背景ピクセルを基準として、全体の明るさを元の画像に合わせます

使い方

  • README に従い、指定バージョンの transformers、peft、および固定コミットの diffusers をインストールしてください
  • python inference/swap.py --src scene.png --char sheet.png "man in a green shirt" --out out.png;複数人の場合は複数の --char と --left で位置を指定し、--kept で残す人物を指定します
  • よりシャープなディテールを得るには --turbo を追加してください(Qwen-Image-2.1-Turbo が追加で読み込まれます)

リスク

  • Qwen Research ライセンスであり、研究および評価目的でのみ利用可能です。商用利用には Qwen チームへの別途申請が必要です。--turbo で読み込まれるモデルも同様の制限を受けます
  • 作者が指摘する限界:新しいキャラクターが元の人物の衣服を継承することがあり、ポーズや構図がずれる可能性があります。--turbo モードでは、元の人物のアクセサリー、衣服、あるいは人物全体が意図せず残ることがあります
  • 実写のイメージの置き換えに使用できますが、他者の肖像を使用する際は事前に許諾を得て、公開時にはAI生成であることを明記してください
  • VRAM の要件が高いです。本項目は実行されておらず、効果はモデルカードを参照してください

開く

Hugging Face Trending

最新の AI ニュースを見る