MOSS-Image-heal:半精度推論がより安定する MOSS-Image のファインチューン版

KBlueLeaf が MOSS-Image-Base を用いて実施したフルファインチューニングで、Transformer のみを学習し、テキストエンコーダーや VAE などは公式のものを使用しています。目的は「残差ストリームを修復」することです。著者によると、ストリーム内の最大値が 58,411 から 3,083 に低下し(fp16 の上限は 65,504)、残差ストリームの RMS が 7.5 倍減少し、重みの外れ値も抑制されました。一方で、出力はベースモデルと近い状態を維持しています(速度方向のコサイン類似度 0.9983)。学習には約 320 万サンプル、約 200 B300 GPU 時間を使用し、画像は約 100 万枚の danbooru 画像から取得しました。キャプションにはタグ、自然言語、GBC グラフ構造など複数の形式が含まれています。diffusers 用の重みと、ComfyUI 用の bf16 / fp16 / int8 単一ファイルを提供しています。

原題:KBlueLeaf/MOSS-Image-heal

KBlueLeaf が MOSS-Image-Base を用いて実施したフルファインチューニングで、Transformer のみを学習し、テキストエンコーダーや VAE などは公式のものを使用しています。目的は「残差ストリームを修復」することです。著者によると、ストリーム内の最大値が 58,411 から 3,083 に低下し(fp16 の上限は 65,504)、残差ストリームの RMS が 7.5 倍減少し、重みの外れ値も抑制されました。一方で、出力はベースモデルと近い状態を維持しています(速度方向のコサイン類似度 0.9983)。学習には約 320 万サンプル、約 200 B300 GPU 時間を使用し、画像は約 100 万枚の danbooru 画像から取得しました。キャプションにはタグ、自然言語、GBC グラフ構造など複数の形式が含まれています。diffusers 用の重みと、ComfyUI 用の bf16 / fp16 / int8 単一ファイルを提供しています。

なぜ重要か 半精度または 8 ビット量子化推論を行うユーザーに対して数値的な余裕を確保し、出力をベースモデルと近い状態に保つ

上昇スコア 65 · いいね 67 · ダウンロード数 0

理由

  • 著者によると、fp16 環境下でベースモデルの残差ストリームはオーバーフローまで約 6% の余裕しかなく、heal 版では約 20 倍の余裕を確保しているため、低精度および量子化推論がより安定する
  • すべての数値およびグラフは reports/ ディレクトリに添付されており、手法は公開ドキュメントとして記載されている
  • ComfyUI 単一ファイルにより、公式の MOSS-Image ワークフロー内のモデルを直接置き換えることができる

使い方

  • ComfyUI:comfyui/ 内のいずれかのファイルを models/diffusion_models/ に配置し、テキストエンコーダーと VAE は公式の MOSS-Image のものを使用する。fp16 ファイルは --fp16-unet と併用する
  • diffusers:公式の MOSS-Image-Base パイプラインを読み込んだ後、Transformer を本リポジトリのものに置き換える

リスク

  • 学習画像はすべて danbooru 由来であり、写実的なテーマに対するパフォーマンスについては著者から個別の説明がない
  • 比較サンプルは 2 組のみである
  • 本項目は未実行であり、効果はモデルカードを参照のこと

開く

Hugging Face Trending

最新の AI ニュースを見る