MOSS-Image-heal:数値オーバーフローを修正する MOSS Base のフルファインチューニング

著者によると、元の MOSS-Image-Base の残差ストリームには、fp16 の上限に近い極めて大きな数値を持つ少数のチャネルが存在する。今回のフルファインチューニングでは transformer のみを学習し、これらの極端な値を抑制すると同時に、出力が元版に近い状態を維持する。リポジトリには diffusers 形式と ComfyUI 用単一ファイル(bf16、fp16、int8 ConvRot)が含まれており、原理は著者の KohakuMossTrainer ドキュメントに記載されている。

元タイトル:MOSS-Image-heal

著者によると、元の MOSS-Image-Base の残差ストリームには、fp16 の上限に近い極めて大きな数値を持つ少数のチャネルが存在する。今回のフルファインチューニングでは transformer のみを学習し、これらの極端な値を抑制すると同時に、出力が元版に近い状態を維持する。リポジトリには diffusers 形式と ComfyUI 用単一ファイル(bf16、fp16、int8 ConvRot)が含まれており、原理は著者の KohakuMossTrainer ドキュメントに記載されている。

なぜ重要か 半精度で MOSS を実行したり、その上で継続学習を行ったりするユーザーに対し、数値的に安定したベースモデルを提供し、生成画像が元版に近い品質を維持する。

ハグ 35 · ハグによるスコア上昇 34 · ハグによるダウンロード数 0

ライセンス:商用利用可 · ComfyUI:モデルカードに記載 · VRAM:約13 GB(推定)

理由

  • Apache-2.0 ライセンス
  • モデルカードに元版とファインチューニング版の同一プロンプトでの比較画像およびすべての統計レポートが添付されている

使い方

  • ComfyUI では comfyui/ 内の単一ファイルで MOSS Base の transformer を置き換える。著者のサンプル画像の設定は 16 ステップ、CFG 3、shift 5

リスク

  • 学習と低精度推論向けの基盤的な改善であり、生成画像のスタイルに顕著な変化はない。画質の差異は著者の比較画像を基準とする

開く

抱脸 text-to-image 上升榜

最新の AI ニュースを見る