MOSS-Image-heal:半精度推理更稳的 MOSS-Image 微调版

KBlueLeaf 在 MOSS-Image-Base 上做的全量微调,只训练 transformer,文本编码器、VAE 等沿用官方。目标是“治好”残差流:作者称流中最大值从 58,411 降到 3,083(fp16 上限 65,504),残差流 RMS 降低 7.5 倍,权重异常值也被压低,而输出与底模保持接近(速度方向余弦 0.9983)。训练约 320 万样本、约 200 B300 GPU 小时,图像来自约 100 万张 danbooru 图,描述包括标签、自然语言和 GBC 图结构等多种格式。提供 diffusers 权重和 ComfyUI bf16 / fp16 / int8 单文件。

原题:KBlueLeaf/MOSS-Image-heal

KBlueLeaf 在 MOSS-Image-Base 上做的全量微调,只训练 transformer,文本编码器、VAE 等沿用官方。目标是“治好”残差流:作者称流中最大值从 58,411 降到 3,083(fp16 上限 65,504),残差流 RMS 降低 7.5 倍,权重异常值也被压低,而输出与底模保持接近(速度方向余弦 0.9983)。训练约 320 万样本、约 200 B300 GPU 小时,图像来自约 100 万张 danbooru 图,描述包括标签、自然语言和 GBC 图结构等多种格式。提供 diffusers 权重和 ComfyUI bf16 / fp16 / int8 单文件。

为什么重要 给需要半精度或 8 位量化推理的用户留出数值余量,输出和底模保持接近

上升分 65 · 点赞 67 · 下载量 0

理由

  • 作者称在 fp16 下底模残差流离溢出只差约 6%,heal 版留出约 20 倍余量,低精度和量化推理更稳
  • 所有数字和图表都附在 reports/ 目录,方法写成了公开文档
  • ComfyUI 单文件可直接替换官方 MOSS-Image 工作流里的模型

用法

  • ComfyUI:把 comfyui/ 下任一文件放进 models/diffusion_models/,文本编码器和 VAE 用官方 MOSS-Image 的;fp16 文件配合 --fp16-unet
  • diffusers:加载官方 MOSS-Image-Base 管线后,把 transformer 换成本仓库的

风险

  • 训练图像全部来自 danbooru,写实题材的表现作者没有单独说明
  • 对比样例只有两组
  • 本条未运行,效果以模型卡为准

打开

Hugging Face Trending

浏览最新 AI 动态