原题:KBlueLeaf/MOSS-Image-heal
KBlueLeaf 在 MOSS-Image-Base 上做的全量微调,只训练 transformer,文本编码器、VAE 等沿用官方。目标是“治好”残差流:作者称流中最大值从 58,411 降到 3,083(fp16 上限 65,504),残差流 RMS 降低 7.5 倍,权重异常值也被压低,而输出与底模保持接近(速度方向余弦 0.9983)。训练约 320 万样本、约 200 B300 GPU 小时,图像来自约 100 万张 danbooru 图,描述包括标签、自然语言和 GBC 图结构等多种格式。提供 diffusers 权重和 ComfyUI bf16 / fp16 / int8 单文件。
为什么重要 给需要半精度或 8 位量化推理的用户留出数值余量,输出和底模保持接近
上升分 65 · 点赞 67 · 下载量 0
理由
- 作者称在 fp16 下底模残差流离溢出只差约 6%,heal 版留出约 20 倍余量,低精度和量化推理更稳
- 所有数字和图表都附在 reports/ 目录,方法写成了公开文档
- ComfyUI 单文件可直接替换官方 MOSS-Image 工作流里的模型
用法
- ComfyUI:把 comfyui/ 下任一文件放进 models/diffusion_models/,文本编码器和 VAE 用官方 MOSS-Image 的;fp16 文件配合 --fp16-unet
- diffusers:加载官方 MOSS-Image-Base 管线后,把 transformer 换成本仓库的
风险
- 训练图像全部来自 danbooru,写实题材的表现作者没有单独说明
- 对比样例只有两组
- 本条未运行,效果以模型卡为准