SnapRef v2a:Animaにキャラクター画像を渡すだけで、シーン記述のみで生成

コミュニティの作者がアニメーション基盤モデルAnima base v1.0向けに作成したキャラクター参照アダプターです。キャラクター画像を1枚入力し、プロンプトにはシーン、ポーズ、ライティングのみを記述すると、髪型、瞳の色、服装は参照画像から継承されます。2つのモードがあります。Character & Style(cs)モードでは参照画像の画風も継承し、Character(char)モードではキャラクターのみを抽出し、画風はプロンプトで決定します。簡易ノードでは同一キャラクターの画像を最大8枚まで接続可能で、例えば顔がはっきりした画像1枚と全身画像1枚といった組み合わせが可能です。高度なノードでは各参照画像の重みを個別に設定できます。作者は固定された64件のユースケース×2個のシードでv1aと比較し、各種指標はほぼ同等であるものの、主観的には参照への追従性が明らかに優れていると述べています。

原題:0ppxnhximxr/snapref-v2a

コミュニティの作者がアニメーション基盤モデルAnima base v1.0向けに作成したキャラクター参照アダプターです。キャラクター画像を1枚入力し、プロンプトにはシーン、ポーズ、ライティングのみを記述すると、髪型、瞳の色、服装は参照画像から継承されます。2つのモードがあります。Character & Style(cs)モードでは参照画像の画風も継承し、Character(char)モードではキャラクターのみを抽出し、画風はプロンプトで決定します。簡易ノードでは同一キャラクターの画像を最大8枚まで接続可能で、例えば顔がはっきりした画像1枚と全身画像1枚といった組み合わせが可能です。高度なノードでは各参照画像の重みを個別に設定できます。作者は固定された64件のユースケース×2個のシードでv1aと比較し、各種指標はほぼ同等であるものの、主観的には参照への追従性が明らかに優れていると述べています。

なぜ重要か 同一キャラクターの複数シーンイラストを作成する際、事前にキャラクターLoRAを学習させる必要がなく、複数の参照画像を重ねて重みを個別に調整できる

上昇スコア 48 · いいね 50 · ダウンロード数 1740

理由

  • 6つのComfyUIワークフローを同梱:単一参照、キャラクターモード、複数参照、参照重み付け、2キャラクター並列
  • 重みファイルは約382 MBで、別途約195 MBのFP8版もあり、推論時にBF16へ変換される

使い方

  • まずComfyUIにAnima base v1.0およびそのテキストエンコーダーとVAEをインストールする。リポジトリ内のcomfyui/snapref/フォルダをComfyUI/custom_nodes/snapref/へコピーし、再起動する
  • snapref_v2a.safetensorsをmodels/loras/へ配置し、workflows/snapref_v2a_simple.jsonを開いて、SnapRefノードで参照画像を選択する。作者のサンプルではCFG 4.5、Euler / simple、Fidelity 1.0を使用している
  • LoraLoaderや汎用diffusersパイプラインではなく、必ずSnapRef独自のノードを使用する必要がある

リスク

  • 重みファイルはCircleStoneモデルの派生物であり、CircleStone Labsの非商用ライセンスv1.2に基づいて公開されているため、非商用利用のみ可能
  • 作者が挙げている限界点:小さなアクセサリー、襟元、細かな模様は変化する。参照画像の顔が非常に明るい場合、顔の細部を再現しにくい。参照画像内の文字や署名がコピーされる可能性がある
  • 本項目は未実行であり、効果はモデルカードを参照のこと

開く

Hugging Face Trending

最新の AI ニュースを見る