原題:KBlueLeaf/MOSS-Image-heal
KBlueLeaf が MOSS-Image-Base を用いて実施したフルファインチューニングで、Transformer のみを学習し、テキストエンコーダーや VAE などは公式のものを使用しています。目的は「残差ストリームを修復」することです。著者によると、ストリーム内の最大値が 58,411 から 3,083 に低下し(fp16 の上限は 65,504)、残差ストリームの RMS が 7.5 倍減少し、重みの外れ値も抑制されました。一方で、出力はベースモデルと近い状態を維持しています(速度方向のコサイン類似度 0.9983)。学習には約 320 万サンプル、約 200 B300 GPU 時間を使用し、画像は約 100 万枚の danbooru 画像から取得しました。キャプションにはタグ、自然言語、GBC グラフ構造など複数の形式が含まれています。diffusers 用の重みと、ComfyUI 用の bf16 / fp16 / int8 単一ファイルを提供しています。
なぜ重要か 半精度または 8 ビット量子化推論を行うユーザーに対して数値的な余裕を確保し、出力をベースモデルと近い状態に保つ
上昇スコア 65 · いいね 67 · ダウンロード数 0
理由
- 著者によると、fp16 環境下でベースモデルの残差ストリームはオーバーフローまで約 6% の余裕しかなく、heal 版では約 20 倍の余裕を確保しているため、低精度および量子化推論がより安定する
- すべての数値およびグラフは reports/ ディレクトリに添付されており、手法は公開ドキュメントとして記載されている
- ComfyUI 単一ファイルにより、公式の MOSS-Image ワークフロー内のモデルを直接置き換えることができる
使い方
- ComfyUI:comfyui/ 内のいずれかのファイルを models/diffusion_models/ に配置し、テキストエンコーダーと VAE は公式の MOSS-Image のものを使用する。fp16 ファイルは --fp16-unet と併用する
- diffusers:公式の MOSS-Image-Base パイプラインを読み込んだ後、Transformer を本リポジトリのものに置き換える
リスク
- 学習画像はすべて danbooru 由来であり、写実的なテーマに対するパフォーマンスについては著者から個別の説明がない
- 比較サンプルは 2 組のみである
- 本項目は未実行であり、効果はモデルカードを参照のこと