MOSS-Image-SFT:能写中文、可按 JSON 布局排版的文生图

OpenMOSS(MOSI.AI)MOSS-Image 系列的监督微调版,从 MOSS-Image-Base 微调而来,架构和推理管线相同。提示词可以是自然语言、标签序列,也可以是 JSON 布局:用 summary.caption 和 items 描述场景、要渲染的文字、物体和它们的位置框(yxyx 格式、中心化绝对坐标),控制文字放哪、物体怎么排;改布局里的文字、描述和框就能做结构化修改。作者的对比图称 SFT 版的文字分组更清楚、白板版面更整齐。自带 VAE 用 FLUX.2 small 解码器。10 月 11 日建仓,前几期没有收录。

原题:OpenMOSS-Team/MOSS-Image-SFT

OpenMOSS(MOSI.AI)MOSS-Image 系列的监督微调版,从 MOSS-Image-Base 微调而来,架构和推理管线相同。提示词可以是自然语言、标签序列,也可以是 JSON 布局:用 summary.caption 和 items 描述场景、要渲染的文字、物体和它们的位置框(yxyx 格式、中心化绝对坐标),控制文字放哪、物体怎么排;改布局里的文字、描述和框就能做结构化修改。作者的对比图称 SFT 版的文字分组更清楚、白板版面更整齐。自带 VAE 用 FLUX.2 small 解码器。10 月 11 日建仓,前几期没有收录。

上升分 74 · 点赞 917 · 下载量 19515

理由

  • 解决“图里要放指定中文文字、要按版面排”的需求:卡里的示例直接在提示里写多行中文便利贴内容;JSON 布局让文字和物体落在指定位置,适合海报、白板、信息图这类排版图。
  • 配套齐:提示词扩写技能 moss-image-prompt-enhancer(把想法写成详细描述或布局 JSON,自带脚本只做坐标换算、不调用生图服务)、Gradio 界面、ComfyUI 插件、技术报告(arXiv 2610.23374)和在线 Demo。
  • 权重和推理代码都是 Apache-2.0;抱脸点赞 917(只代表关注度)。

用法

  • diffusers:pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" safetensors Pillow(Python 3.10+、PyTorch 2.9+、NVIDIA 显卡),DiffusionPipeline.from_pretrained('OpenMOSS-Team/MOSS-Image-SFT', custom_pipeline='pipeline_moss_image', trust_remote_code=True, torch_dtype={'default': torch.bfloat16, 'vae': torch.float32}),pipe(prompt, height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0, uncond_skip_layers=[22])。
  • 默认参数:Flow-matching Euler 50 步、CFG 3、shift 5,负分支跳过第 22 层,负面提示留空;宽高须为 16 的倍数。布局提示用 json.dumps(layout, ensure_ascii=False) 传入,出图尺寸和布局里的画布一致。
  • ComfyUI:在 ComfyUI Manager 搜 MOSS-Image 安装插件(进官方仓库的集成还在进行中),示例工作流在 GitHub OpenMOSS/MOSS-Image 的 comfyui/ 目录;不想写布局时可以先让智能体用扩写技能生成提示词。

风险

  • 默认 50 步、每步两次前向,比当下的少步数模型慢;卡里没有给显存需求和速度数据。
  • 布局生成标为实验功能;扩写技能写明为 GPT-6 系列智能体设计,换别的智能体效果未知。
  • 带自定义管线代码,需要 trust_remote_code;卡里只有一组 Base 对 SFT 的对比图,没有量化评测表。

打开

Hugging Face Trending

浏览最新 AI 动态