HiUni: одна и та же базовая архитектура используется как для анализа изображений, так и для их генерации

Команда ernie-research напрямую расширила предобученную визуально-языковую модель возможностью генерации: понимание и генерация используют один и тот же ViT, выровненный с языком, и плотный трансформерный бэкбон; различия между задачами реализуются только на этапе вывода. Для решения проблем сложной оптимизации в пиксельном пространстве и потери пространственных деталей в ViT были добавлены модуль Pixel Diffusion Head, выполняющий шумоподавление непосредственно в пиксельном пространстве, и легковесный путь HiGate для восстановления локальных деталей перед выводом. В статье утверждается, что средняя оценка понимания близка к исходной визуально-языковой модели, а генерация и редактирование изображений демонстрируют конкурентоспособные результаты.

Оригинальное название: HiUni: Harmonizing Understanding and Generation in Shared Visual Space

Команда ernie-research напрямую расширила предобученную визуально-языковую модель возможностью генерации: понимание и генерация используют один и тот же ViT, выровненный с языком, и плотный трансформерный бэкбон; различия между задачами реализуются только на этапе вывода. Для решения проблем сложной оптимизации в пиксельном пространстве и потери пространственных деталей в ViT были добавлены модуль Pixel Diffusion Head, выполняющий шумоподавление непосредственно в пиксельном пространстве, и легковесный путь HiGate для восстановления локальных деталей перед выводом. В статье утверждается, что средняя оценка понимания близка к исходной визуально-языковой модели, а генерация и редактирование изображений демонстрируют конкурентоспособные результаты.

Почему это важно Большинство унифицированных моделей используют отдельные визуальные представления или вычислительные пути для задач понимания и генерации; эта работа доказывает, что можно использовать единую архитектуру без существенной потери качества понимания, при этом бэкбон размером 4B позволяет генерировать изображения высокого разрешения на одной видеокарте

Лайков: 23 · Звёзд в репозитории: 12

Причины

  • В README указано, что размер бэкбона составляет 4B, а параметры, специфичные для генерации, занимают всего 0.9B; модель генерирует пиксели напрямую без использования VAE, поддерживая разрешение до 2048×2048; для генерации изображения по тексту размером 2048² требуется примерно 13 ГБ видеопамяти
  • Код включает обучение на базе Megatron (полное и с использованием LoRA), инференс через Megatron и transformers, а также конвертацию чекпойнтов; процесс обучения также открыт
  • Доступны веса в форматах transformers и Megatron, а также версия HiUni Base, обученная без использования синтетических данных

Использование

  • Код: https://github.com/ernie-research/HiUni;权重:https://huggingface.co/ernie-research/HiUni;分词器和处理器用 Qwen/Qwen3-VL-4B-Instruct
  • Python 3.10+, любая видеокарта CUDA: выполните pip install -r hf_inference/requirements.txt и поместите чекпойнты в каталог checkpoints/pixel_dit_hf
  • Генерация по тексту: PROMPT="…" bash hf_inference/scripts/run_hf_t2i.sh (по умолчанию разрешение 2048², 25 шагов, CFG 4); редактирование: IMAGE=input.jpg PROMPT="…" bash hf_inference/scripts/run_hf_edit.sh; также поддерживается вопросно-ответная задача по изображениям

Риски

  • В README и на странице модели в Hugging Face не указана лицензия на веса, поэтому перед коммерческим использованием необходимо уточнить условия у авторов
  • Качество генерации описано лишь как «конкурентоспособное», конкретные метрики в данном обзоре не проверялись; для HiUni Base рекомендуется разрешение 1024×1024. Модель в рамках данного обзора не запускалась

Открыть · Код · Страница модели в Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ