MOSS-SFT-Distill-4step-LoRA

これはコミュニティ作者の lvladikov が OpenMOSS の MOSS-Image SFT 向けに訓練した、ランク 64 の蒸留 LoRA です。eDMD 分布マッチングと LADD 敵対的判別器を用いて訓練されており(判別器は 50 ステップの原版画像と約 8000 枚の実写写真を同時に参照します)、4 ステップ、CFG 1 で画像を生成し、解像度は 768×512 から 1824×1024 までの計 12 種類に対応しています。作者によると、Comfy Cloud 上で同じ 22 枚の 1024×1024 画像を生成する際の GPU 時間は 387.3 秒から 26.6 秒に短縮され、文字書き込みを要求するプロンプト 15 件中 14 件で文字がすべて正しく描画されました(原版では 15 件)。リポジトリには diffusers コード、ComfyUI の読み込み方法に合わせて補正された LoRA ファイル、そしてテキストから画像生成、レイアウト枠指定、画像編集、PiD による 4 倍アップスケールの4種類のワークフロー(ローカル用と Comfy Cloud 用の各1つ)が含まれています。

これはコミュニティ作者の lvladikov が OpenMOSS の MOSS-Image SFT 向けに訓練した、ランク 64 の蒸留 LoRA です。eDMD 分布マッチングと LADD 敵対的判別器を用いて訓練されており(判別器は 50 ステップの原版画像と約 8000 枚の実写写真を同時に参照します)、4 ステップ、CFG 1 で画像を生成し、解像度は 768×512 から 1824×1024 までの計 12 種類に対応しています。作者によると、Comfy Cloud 上で同じ 22 枚の 1024×1024 画像を生成する際の GPU 時間は 387.3 秒から 26.6 秒に短縮され、文字書き込みを要求するプロンプト 15 件中 14 件で文字がすべて正しく描画されました(原版では 15 件)。リポジトリには diffusers コード、ComfyUI の読み込み方法に合わせて補正された LoRA ファイル、そしてテキストから画像生成、レイアウト枠指定、画像編集、PiD による 4 倍アップスケールの4種類のワークフロー(ローカル用と Comfy Cloud 用の各1つ)が含まれています。

なぜ重要か 各ステップでモデルを一度だけ呼び出し、ネガティブプロンプトを実行しません。作者によると、同数の画像生成における GPU 時間は約14分の1に削減されます。ComfyUI 専用のファイルと 8 個のノードからなるワークフローが付属しています。

いいね!数 13 · ランキング上昇ポイント 13 · ダウンロード数 4

ライセンス:商用利用可 · ComfyUI:モデルカードに記載あり · VRAM:196 GB

理由

  • モデルカードには、原版の 50 ステップ版、akhaliq の 4 ステップ LoRA、および本 LoRA を同じシードで並べて比較した結果と、12 種類の解像度での全生成画像が添付されています
  • Apache-2.0 で、ベースモデルと同じです。Hugging Face のオンラインデモがあります

使い方

  • ComfyUI:moss_sft_4step_rank_64_lora_comfyui.safetensors を models/loras に配置し、ベースモデルには Comfy-Org/MOSS-Image の moss_image_sft_bf16 を使用します。moss_sft_4step_lora_t2i_local.json をドラッグ&ドロップしてください。サンプラーは euler、Manual Sigmas は「1.0, 0.91, 0.717, 0.024, 0.0」、CFG は 1、LoRA 強度は 1.0 に設定し、ネガティブプロンプトは追加しません
  • diffusers:モデルカードの apply_4step_lora 関数に従い、通常の LoRA を transformer に適用します。num_inference_steps=4、guidance_scale=1.0 と設定してください

リスク

  • MOSS-Image SFT のみに適用可能です。ComfyUI ファイルの補正係数は bf16 ベースモデルで測定されたものであり、公式テンプレートの int8 ファイルでは検証されていません
  • 作者が指摘する問題点:文字書き込みを要求していない看板に乱れた文字が表示されることがあり、物体や人物が余分に生成される場合があります。暗いシーンは原版より明るくなりがちです。強度を 1.0 以上にすると、ディテールの増加ではなく二重エッジが発生します
  • すべての数値は作者による自己テストの結果です。カードに記載の 196 GB は訓練時のピーク VRAM であり、推論時の VRAM は MOSS-Image ベースモデルに依存します

開く

抱脸 text-to-image 上升榜

最新の AI ニュースを見る