Оригинальное название: HiUni: Harmonizing Understanding and Generation in Shared Visual Space
Команда ernie-research напрямую расширила предобученную визуально-языковую модель возможностью генерации: понимание и генерация используют один и тот же ViT, выровненный с языком, и плотный трансформерный бэкбон; различия между задачами реализуются только на этапе вывода. Для решения проблем сложной оптимизации в пиксельном пространстве и потери пространственных деталей в ViT были добавлены модуль Pixel Diffusion Head, выполняющий шумоподавление непосредственно в пиксельном пространстве, и легковесный путь HiGate для восстановления локальных деталей перед выводом. В статье утверждается, что средняя оценка понимания близка к исходной визуально-языковой модели, а генерация и редактирование изображений демонстрируют конкурентоспособные результаты.
Почему это важно Большинство унифицированных моделей используют отдельные визуальные представления или вычислительные пути для задач понимания и генерации; эта работа доказывает, что можно использовать единую архитектуру без существенной потери качества понимания, при этом бэкбон размером 4B позволяет генерировать изображения высокого разрешения на одной видеокарте
Лайков: 23 · Звёзд в репозитории: 12
Причины
- В README указано, что размер бэкбона составляет 4B, а параметры, специфичные для генерации, занимают всего 0.9B; модель генерирует пиксели напрямую без использования VAE, поддерживая разрешение до 2048×2048; для генерации изображения по тексту размером 2048² требуется примерно 13 ГБ видеопамяти
- Код включает обучение на базе Megatron (полное и с использованием LoRA), инференс через Megatron и transformers, а также конвертацию чекпойнтов; процесс обучения также открыт
- Доступны веса в форматах transformers и Megatron, а также версия HiUni Base, обученная без использования синтетических данных
Использование
- Код: https://github.com/ernie-research/HiUni;权重:https://huggingface.co/ernie-research/HiUni;分词器和处理器用 Qwen/Qwen3-VL-4B-Instruct
- Python 3.10+, любая видеокарта CUDA: выполните pip install -r hf_inference/requirements.txt и поместите чекпойнты в каталог checkpoints/pixel_dit_hf
- Генерация по тексту: PROMPT="…" bash hf_inference/scripts/run_hf_t2i.sh (по умолчанию разрешение 2048², 25 шагов, CFG 4); редактирование: IMAGE=input.jpg PROMPT="…" bash hf_inference/scripts/run_hf_edit.sh; также поддерживается вопросно-ответная задача по изображениям
Риски
- В README и на странице модели в Hugging Face не указана лицензия на веса, поэтому перед коммерческим использованием необходимо уточнить условия у авторов
- Качество генерации описано лишь как «конкурентоспособное», конкретные метрики в данном обзоре не проверялись; для HiUni Base рекомендуется разрешение 1024×1024. Модель в рамках данного обзора не запускалась