Оригинальное название: OpenMOSS-Team/MOSS-Image-SFT
Версия с контролируемой дообучением (SFT) серии MOSS-Image от OpenMOSS (MOSI.AI), полученная путем дообучения модели MOSS-Image-Base; архитектура и конвейер инференса идентичны. Промпт может быть представлен в виде естественного языка, последовательности тегов или JSON-разметки: с помощью summary.caption и items описываются сцена, отображаемый текст, объекты и их ограничивающие рамки (в формате yxyx, центрированные абсолютные координаты), что позволяет контролировать размещение текста и расположение объектов; изменение текста, описаний и рамок в разметке обеспечивает структурированную модификацию. На сравнительных изображениях авторов указано, что в версии SFT группировка текста более четкая, а компоновка доски выглядит аккуратнее. Встроенный VAE использует декодер FLUX.2 small. Репозиторий создан 10 11, в предыдущих выпусках не освещался.
Рост рейтинга: 74 · Лайки: 917 · Загрузки: 19515
Причины
- Решает задачу размещения заданного китайского текста на изображении с соблюдением верстки: в примерах карточки многострочный текст заметок указан непосредственно в промпте; JSON-разметка позволяет точно позиционировать текст и объекты, что подходит для постеров, досок и инфографики.
- Полный набор инструментов: навык расширения промптов moss-image-prompt-enhancer (преобразует идеи в подробные описания или JSON-разметку, встроенный скрипт выполняет только пересчет координат без вызова сервиса генерации изображений), интерфейс Gradio, плагин для ComfyUI, технический отчет (arXiv 2610.23374) и онлайн-демо.
- Веса и код инференса распространяются под лицензией Apache-2.0; количество лайков на Hugging Face составляет 917 (отражает только уровень внимания).
Использование
- diffusers: pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" safetensors Pillow (Python 3.10+, PyTorch 2.9+, видеокарта NVIDIA), DiffusionPipeline.from_pretrained('OpenMOSS-Team/MOSS-Image-SFT', custom_pipeline='pipeline_moss_image', trust_remote_code=True, torch_dtype={'default': torch.bfloat16, 'vae': torch.float32}), pipe(prompt, height=1024, width=1024, num_inference_steps=50, guidance_scale=3.0, uncond_skip_layers=22).
- Параметры по умолчанию: метод Flow-matching Euler с 50 шагами, CFG 3, shift 5, пропуск слоя номер 22 в отрицательной ветке, пустой негативный промпт; ширина и высота должны быть кратны 16. Промпт с разметкой передается через json.dumps(layout, ensure_ascii=False), размер выходного изображения соответствует холсту, указанному в разметке.
- ComfyUI: найдите и установите плагин MOSS-Image через ComfyUI Manager (официальная интеграция в репозиторий находится в процессе разработки), примеры рабочих процессов находятся в директории comfyui/ репозитория GitHub OpenMOSS/MOSS-Image; если не хочется писать разметку вручную, можно сначала использовать навык расширения промптов для генерации описания агентом.
Риски
- По умолчанию используется 50 шагов с двумя прямыми прогонами на каждом шаге, что медленнее современных моделей с малым числом шагов; в карточке отсутствуют данные о требованиях к видеопамяти и скорости работы.
- Генерация разметки помечена как экспериментальная функция; навык расширения промптов разработан специально для агентов серии GPT-6, эффективность при использовании других агентов неизвестна.
- Требуется доверие к удаленному коду (trust_remote_code) из-за наличия пользовательского конвейера инференса; в карточке приведено лишь одно сравнительное изображение Base и SFT, отсутствуют таблицы количественных оценок.