MOSS-SFT-Distill-4step-LoRA

这是社区作者 lvladikov 为 OpenMOSS 的 MOSS-Image SFT 训练的 rank 64 蒸馏 LoRA,用 eDMD 分布匹配加 LADD 对抗判别器训练(判别器同时对照 50 步原版的图和约 8000 张真实照片),4 步、CFG 1 出图,训练覆盖 768×512 到 1824×1024 共 12 种分辨率。作者称在 Comfy Cloud 上同样 22 张 1024×1024 图的 GPU 时间从 387.3 秒降到 26.6 秒,15 条要求写字的提示词里 14 条把字全部写对(原版 15 条)。仓库给了 diffusers 代码、按 ComfyUI 加载方式校正过的 LoRA 文件,以及文生图、版面框、改图、PiD 4 倍放大四类工作流(本地和 Comfy Cloud 各一份)。

这是社区作者 lvladikov 为 OpenMOSS 的 MOSS-Image SFT 训练的 rank 64 蒸馏 LoRA,用 eDMD 分布匹配加 LADD 对抗判别器训练(判别器同时对照 50 步原版的图和约 8000 张真实照片),4 步、CFG 1 出图,训练覆盖 768×512 到 1824×1024 共 12 种分辨率。作者称在 Comfy Cloud 上同样 22 张 1024×1024 图的 GPU 时间从 387.3 秒降到 26.6 秒,15 条要求写字的提示词里 14 条把字全部写对(原版 15 条)。仓库给了 diffusers 代码、按 ComfyUI 加载方式校正过的 LoRA 文件,以及文生图、版面框、改图、PiD 4 倍放大四类工作流(本地和 Comfy Cloud 各一份)。

为什么重要 每步只调用一次模型、不跑负向提示,作者称同批图的 GPU 时间约省到十四分之一;附 ComfyUI 专用文件和 8 个核心节点工作流。

抱脸点赞 13 · 抱脸上升分 13 · 抱脸下载 4

许可证:可商用 · ComfyUI:模型卡提到 · 显存:196 GB

理由

  • 模型卡附原版 50 步、akhaliq 的 4 步 LoRA 和本 LoRA 同种子并排对比,以及 12 种分辨率下的全部出图
  • Apache-2.0,与底模相同;有抱脸在线演示

用法

  • ComfyUI:把 moss_sft_4step_rank_64_lora_comfyui.safetensors 放进 models/loras,底模用 Comfy-Org/MOSS-Image 里的 moss_image_sft_bf16,拖入 moss_sft_4step_lora_t2i_local.json;euler 配 Manual Sigmas「1.0, 0.91, 0.717, 0.024, 0.0」、CFG 1、LoRA 强度 1.0,不加负面提示词
  • diffusers:按模型卡的 apply_4step_lora 函数把普通版 LoRA 挂到 transformer 上,num_inference_steps=4、guidance_scale=1.0

风险

  • 只适用于 MOSS-Image SFT;ComfyUI 文件的校正系数是在 bf16 底模上测的,官方模板的 int8 文件没测过
  • 作者列出的问题:没要求写字的招牌会冒出乱字,偶尔多出物体或人,暗场景比原版偏亮;强度调到 1.0 以上会出现双边缘而不是更多细节
  • 数字都是作者自测;卡片上的 196 GB 是训练时的峰值显存,推理显存取决于 MOSS-Image 底模

打开

抱脸 text-to-image 上升榜

浏览最新 AI 动态