MiniMax-H3-Image: объединение генерации и редактирования изображений по тексту, прямая выдача 16 мегапикселей

Открытая модель генерации и редактирования изображений от MiniMax, входящая в семейство MiniMax H3: DiT использует архитектуру H3, но без аудиослоя, количество параметров составляет 331 миллиардов, текстовый энкодер напрямую взят из MiniMax-H3. Одна и та же контрольная точка позволяет как генерировать изображения по тексту, так и редактировать их по одному или нескольким референсным изображениям; официально поддерживается до 16 референсных изображений. Официально заявлено, что для любых соотношений сторон можно напрямую генерировать изображения примерно 16 МП (1:1 — 4096×4096, 21:9 — 6272×2688) без использования апскейлера; модель дистиллирована до 6 шагов и не использует CFG. Примеры из карточки модели включают фотореалистичную съемку, концепт-арт, рендеринг текста на досках с логическими задачами на китайском и английском языках, превращение рендера белой модели в кадр из фильма, а также создание гостиной из пустой комнаты с добавлением девяти предметов мебели (всего десять референсных изображений).

Оригинальное название: MiniMaxAI/MiniMax-H3-Image

Открытая модель генерации и редактирования изображений от MiniMax, входящая в семейство MiniMax H3: DiT использует архитектуру H3, но без аудиослоя, количество параметров составляет 331 миллиардов, текстовый энкодер напрямую взят из MiniMax-H3. Одна и та же контрольная точка позволяет как генерировать изображения по тексту, так и редактировать их по одному или нескольким референсным изображениям; официально поддерживается до 16 референсных изображений. Официально заявлено, что для любых соотношений сторон можно напрямую генерировать изображения примерно 16 МП (1:1 — 4096×4096, 21:9 — 6272×2688) без использования апскейлера; модель дистиллирована до 6 шагов и не использует CFG. Примеры из карточки модели включают фотореалистичную съемку, концепт-арт, рендеринг текста на досках с логическими задачами на китайском и английском языках, превращение рендера белой модели в кадр из фильма, а также создание гостиной из пустой комнаты с добавлением девяти предметов мебели (всего десять референсных изображений).

Почему это важно Прямая выдача изображений примерно в 16 мегапикселей без апскейлера, шестиступенчатая выборка, поддержка до шестнадцати референсных изображений, уже поддерживается основными фреймворками инференса и ComfyUI

Рост рейтинга 471 · Лайки 476 · Загрузки 667

Причины

  • Официально заявлено, что следование инструкциям является лучшим среди открытых моделей; короткие промпты можно сначала расширить до полных описаний на английском языке с помощью H3-Image-Context-IR (API) или локально развертываемого MiniMax-H3-Image-PE перед генерацией
  • Полный набор путей развертывания: для SGLang, vLLM-Omni, diffusers и ComfyUI есть официальная документация или шаблоны; среди официально указанных аппаратных средств — H200, RTX PRO 6000 Blackwell и AMD MI350X
  • В карточке модели приведено сравнение результатов генерации по одному и тому же промпту через локальный SGLang и официальный API, а также приложены готовые к запуску примеры скриптов

Использование

  • hf download MiniMaxAI/MiniMax-H3-Image, затем загрузите text_encoder/ из репозитория MiniMax-H3; запустите сервис с помощью sglang serve или vllm serve --omni, запросы на генерацию изображений отправляйте на /v1/images/generations, запросы на редактирование — на /v1/images/edits (референсные изображения соответствуют порядку загрузки и тегам <Picture 1>, <Picture 2> в промпте)
  • Параметр size записывается как ширинаxвысота, официально рекомендуется около 16 МП (например, 4096x4096, 5472x3072); количество шагов должно быть строго 6, guidance_scale — строго 1, негативные промпты не поддерживаются
  • Промпт должен содержать полное описание сцены на английском языке; короткие промпты сначала расширяются с помощью MiniMax-H3-Image-PE
  • ComfyUI: используйте пакетную версию Comfy-Org/MiniMax-H3-Image, применяя шаблоны для генерации или редактирования согласно официальному руководству

Риски

  • Большой размер: веса DiT занимают около 66 ГБ, дополнительно требуется текстовый энкодер MiniMax-H3 объемом около 67 ГБ, необходимы видеокарты уровня дата-центров с большим объемом памяти
  • Выпущено под лицензией сообщества MiniMax-H3-Image; для случаев, перечисленных в разделе 4 лицензии, требуется отдельное письменное разрешение, перед коммерческим использованием необходимо изучить условия
  • Утверждение «лучшее следование инструкциям среди открытых моделей» является официальным заявлением, карточка модели не содержит сторонних оценок
  • Данный пункт не был протестирован, результаты следует оценивать по карточке модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ