元タイトル:MOSS-Image-heal
著者によると、元の MOSS-Image-Base の残差ストリームには、fp16 の上限に近い極めて大きな数値を持つ少数のチャネルが存在する。今回のフルファインチューニングでは transformer のみを学習し、これらの極端な値を抑制すると同時に、出力が元版に近い状態を維持する。リポジトリには diffusers 形式と ComfyUI 用単一ファイル(bf16、fp16、int8 ConvRot)が含まれており、原理は著者の KohakuMossTrainer ドキュメントに記載されている。
なぜ重要か 半精度で MOSS を実行したり、その上で継続学習を行ったりするユーザーに対し、数値的に安定したベースモデルを提供し、生成画像が元版に近い品質を維持する。
ハグ 35 · ハグによるスコア上昇 34 · ハグによるダウンロード数 0
ライセンス:商用利用可 · ComfyUI:モデルカードに記載 · VRAM:約13 GB(推定)
理由
- Apache-2.0 ライセンス
- モデルカードに元版とファインチューニング版の同一プロンプトでの比較画像およびすべての統計レポートが添付されている
使い方
- ComfyUI では comfyui/ 内の単一ファイルで MOSS Base の transformer を置き換える。著者のサンプル画像の設定は 16 ステップ、CFG 3、shift 5
リスク
- 学習と低精度推論向けの基盤的な改善であり、生成画像のスタイルに顕著な変化はない。画質の差異は著者の比較画像を基準とする