Оригинальное название: MiniMaxAI/MiniMax-H3-Image
Открытая модель генерации и редактирования изображений от MiniMax, входящая в семейство MiniMax H3: DiT использует архитектуру H3, но без аудиослоя, количество параметров составляет 331 миллиардов, текстовый энкодер напрямую взят из MiniMax-H3. Одна и та же контрольная точка позволяет как генерировать изображения по тексту, так и редактировать их по одному или нескольким референсным изображениям; официально поддерживается до 16 референсных изображений. Официально заявлено, что для любых соотношений сторон можно напрямую генерировать изображения примерно 16 МП (1:1 — 4096×4096, 21:9 — 6272×2688) без использования апскейлера; модель дистиллирована до 6 шагов и не использует CFG. Примеры из карточки модели включают фотореалистичную съемку, концепт-арт, рендеринг текста на досках с логическими задачами на китайском и английском языках, превращение рендера белой модели в кадр из фильма, а также создание гостиной из пустой комнаты с добавлением девяти предметов мебели (всего десять референсных изображений).
Почему это важно Прямая выдача изображений примерно в 16 мегапикселей без апскейлера, шестиступенчатая выборка, поддержка до шестнадцати референсных изображений, уже поддерживается основными фреймворками инференса и ComfyUI
Рост рейтинга 471 · Лайки 476 · Загрузки 667
Причины
- Официально заявлено, что следование инструкциям является лучшим среди открытых моделей; короткие промпты можно сначала расширить до полных описаний на английском языке с помощью H3-Image-Context-IR (API) или локально развертываемого MiniMax-H3-Image-PE перед генерацией
- Полный набор путей развертывания: для SGLang, vLLM-Omni, diffusers и ComfyUI есть официальная документация или шаблоны; среди официально указанных аппаратных средств — H200, RTX PRO 6000 Blackwell и AMD MI350X
- В карточке модели приведено сравнение результатов генерации по одному и тому же промпту через локальный SGLang и официальный API, а также приложены готовые к запуску примеры скриптов
Использование
- hf download MiniMaxAI/MiniMax-H3-Image, затем загрузите text_encoder/ из репозитория MiniMax-H3; запустите сервис с помощью sglang serve или vllm serve --omni, запросы на генерацию изображений отправляйте на /v1/images/generations, запросы на редактирование — на /v1/images/edits (референсные изображения соответствуют порядку загрузки и тегам <Picture 1>, <Picture 2> в промпте)
- Параметр size записывается как ширинаxвысота, официально рекомендуется около 16 МП (например, 4096x4096, 5472x3072); количество шагов должно быть строго 6, guidance_scale — строго 1, негативные промпты не поддерживаются
- Промпт должен содержать полное описание сцены на английском языке; короткие промпты сначала расширяются с помощью MiniMax-H3-Image-PE
- ComfyUI: используйте пакетную версию Comfy-Org/MiniMax-H3-Image, применяя шаблоны для генерации или редактирования согласно официальному руководству
Риски
- Большой размер: веса DiT занимают около 66 ГБ, дополнительно требуется текстовый энкодер MiniMax-H3 объемом около 67 ГБ, необходимы видеокарты уровня дата-центров с большим объемом памяти
- Выпущено под лицензией сообщества MiniMax-H3-Image; для случаев, перечисленных в разделе 4 лицензии, требуется отдельное письменное разрешение, перед коммерческим использованием необходимо изучить условия
- Утверждение «лучшее следование инструкциям среди открытых моделей» является официальным заявлением, карточка модели не содержит сторонних оценок
- Данный пункт не был протестирован, результаты следует оценивать по карточке модели