原题:lvladikov/MOSS-SFT-Distill-4step-LoRA
社区作者 lvladikov 给 OpenMOSS 的 MOSS-Image SFT 训练的 4 步蒸馏 LoRA(rank 64),11 月 19 日上传,当前检查点 11 月 20 日产出。方法是 eDMD 分布匹配,对齐 50 步、CFG 3 的教师模型,另加一个小型 LADD 式对抗判别器,拿学生的图和教师图、约 8,000 张真实照片裁切做比较。出图只要 4 步、CFG 1,每步一次模型调用(教师共 100 次);在单张 NVIDIA B300 上训练约 57 小时,覆盖 768×512 到 1824×1024 的 12 种分辨率。
为什么重要 作者称出图 GPU 时间省约十四倍,色调贴近原模型,文字也基本写对;只用 ComfyUI 核心节点就能跑
上升分 30 · 点赞 33 · 下载量 2685
理由
- 作者称在 Comfy Cloud 上同样 22 张 1024×1024 图,计费 GPU 时间 26.6 秒对 387.3 秒,约省 14 倍;21 个测试提示词上平均亮度比教师低 1.0 L*,细纹理是教师的 1.16 倍
- 15 个文字提示词里 14 个把要求的字全写对(教师 15 个,akhaliq 的 4 步 LoRA 12 个)
- 附十个 ComfyUI 工作流(文生图、版面布局、改图、PiD 4 倍放大等,本地和 Comfy Cloud 各一份),只用核心节点;另有给 ComfyUI 标准 LoRA 加载器用的校正版文件
用法
- ComfyUI:moss_sft_4step_rank_64_lora_comfyui.safetensors 放进 models/loras、强度 1.0,底模用 Comfy-Org/MOSS-Image 的 moss_image_sft_bf16;采样器 euler + Manual Sigmas「1.0, 0.91, 0.717, 0.024, 0.0」,CFG 1(Basic Guider)
- diffusers:用卡里的 apply_4step_lora 函数把 moss_sft_4step_rank_64_lora.safetensors 挂到 transformer 上,num_inference_steps=4、guidance_scale=1.0
- 不要用 ComfyUI 的 simple 调度器;强度保持 1.0,作者称调高只会出现双重边缘、不增加细节
风险
- 只适配 MOSS-Image SFT 及其采样日程;官方模板默认的 2848×1600 等超出训练范围的尺寸要配很长的提示词,Mac 上大尺寸 VAE 解码会报错,需改分块解码
- 作者列出的问题:没指定文字的地方会编造字样、竖幅里人群雷同、多人餐桌人数不准、偶有错字;对比图全由作者生成,底模许可另看,本条未运行