MOSS-Image 4ステップ蒸留 LoRA

コミュニティ投稿者 lvladikov が OpenMOSS の MOSS-Image SFT 学習用に作成した 4 ステップ蒸留 LoRA(rank 64)で、11 月 19 日にアップロードされ、現在のチェックポイントは 11 月 20 日に生成されました。手法は eDMD 分布マッチングで、50 ステップ、CFG 3 の教師モデルに整合させ、さらに小型の LADD 型敵対的判別器を追加し、学生モデルの画像と教師モデルの画像、および約 8,000 枚の実写写真の切り抜きを比較します。画像生成には 4 ステップ、CFG 1 で十分であり、各ステップでモデルを 1 回呼び出します(教師モデルは合計 100 回呼び出されます)。NVIDIA B300 GPU 1 枚で約 57 時間学習し、768×512 から 1824×1024 までの 12 種類の解像度に対応しています。

原題:lvladikov/MOSS-SFT-Distill-4step-LoRA

コミュニティ投稿者 lvladikov が OpenMOSS の MOSS-Image SFT 学習用に作成した 4 ステップ蒸留 LoRA(rank 64)で、11 月 19 日にアップロードされ、現在のチェックポイントは 11 月 20 日に生成されました。手法は eDMD 分布マッチングで、50 ステップ、CFG 3 の教師モデルに整合させ、さらに小型の LADD 型敵対的判別器を追加し、学生モデルの画像と教師モデルの画像、および約 8,000 枚の実写写真の切り抜きを比較します。画像生成には 4 ステップ、CFG 1 で十分であり、各ステップでモデルを 1 回呼び出します(教師モデルは合計 100 回呼び出されます)。NVIDIA B300 GPU 1 枚で約 57 時間学習し、768×512 から 1824×1024 までの 12 種類の解像度に対応しています。

なぜ重要か 作者によれば、画像生成の GPU 時間は約 14 分の 1 に短縮され、色調は元モデルに近く、文字もほぼ正しく描画されます。ComfyUI のコアノードのみで動作します。

上昇スコア 30 · いいね 33 · ダウンロード数 2685

理由

  • 作者によれば、Comfy Cloud 上で同じく 22 枚の 1024×1024 画像を生成した際、課金対象の GPU 時間は 26.6 秒対 387.3 秒で、約 14 倍の節約になります。21 個のテストプロンプトにおいて、平均輝度は教師モデルより 1.0 L* 低く、細部のテクスチャは教師モデルの 1.16 倍です。
  • 15 個の文字描画プロンプトのうち、14 個で要求された文字をすべて正しく描画できました(教師モデルは 15 個、akhaliq の 4 ステップ LoRA は 12 個)。
  • 10 個の ComfyUI ワークフロー(テキストから画像生成、レイアウト配置、画像編集、PiD 4 倍アップスケールなど、ローカル用と Comfy Cloud 用が各 1 個)が付属しており、コアノードのみを使用します。また、ComfyUI の標準 LoRA ローダー用として補正版ファイルも提供されています。

使い方

  • ComfyUI:moss_sft_4step_rank_64_lora_comfyui.safetensors を models/loras に配置し、強度を 1.0 に設定します。ベースモデルには Comfy-Org/MOSS-Image の moss_image_sft_bf16 を使用します。サンプラーは euler + Manual Sigmas「1.0, 0.91, 0.717, 0.024, 0.0」、CFG は 1(Basic Guider)です。
  • diffusers:リポジトリ内の apply_4step_lora 関数を使用して、moss_sft_4step_rank_64_lora.safetensors を transformer に適用し、num_inference_steps=4、guidance_scale=1.0 とします。
  • ComfyUI の simple スケジューラは使用しないでください。強度は 1.0 のままにしてください。作者によれば、強度を上げても二重エッジが発生するだけで、ディテールは増えません。

リスク

  • MOSS-Image SFT とそのサンプリングスケジュールにのみ適合しています。公式テンプレートのデフォルトである 2848×1600 など、学習範囲外のサイズを使用する場合は、非常に長いプロンプトが必要です。Mac では大きなサイズの VAE デコードでエラーが発生するため、チャンクデコードに変更する必要があります。
  • 作者が指摘する問題点:文字指定がない箇所で文字を捏造する、縦長画像で人物群が似通う、複数人の食卓で人数が不正確になる、まれに誤字がある。比較画像はすべて作者が生成したものであり、ベースモデルのライセンスは別途確認が必要です。本項目は実行されていません。

開く

Hugging Face Trending

最新の AI ニュースを見る