Jeveration: единая модель, генерирующая всё изображение за один прямой проход

Авторы применили модель параллельного принятия решений типа «быстрое мышление» для генерации изображений: на основе замороженной визуально-языковой модели (в README указано, что базовая модель — Qwen3.5-4B) все позиции одновременно предсказывают дискретные коды изображений, и за один прямой проход получается целое изображение размером 512×512. Сложность заключается в том, что параллельные предсказания должны складываться в согласованное изображение; в статье предлагается решение, при котором все позиции разделяют одно и то же случайное состояние, и каждая выборка даёт разное, но целостное изображение. Поскольку при прямом обучении с использованием изображений модель игнорирует это состояние, сначала обучается распределение дискретных кодов изображений для направления одношаговой генерации. Та же архитектура объединяет преобразование изображения в изображение и плотное предсказание, позволяя одному чекпоинту выполнять три типа задач. В статье утверждается, что на одном графическом процессоре H200 генерация изображения размером 512×512 занимает 78 миллисекунд, что до 122 раз быстрее существующих единых моделей, при этом качество изображения и плотное предсказание «конкурентоспособны».

Оригинальное название: Jeveration: System One Models Now Generate

Авторы применили модель параллельного принятия решений типа «быстрое мышление» для генерации изображений: на основе замороженной визуально-языковой модели (в README указано, что базовая модель — Qwen3.5-4B) все позиции одновременно предсказывают дискретные коды изображений, и за один прямой проход получается целое изображение размером 512×512. Сложность заключается в том, что параллельные предсказания должны складываться в согласованное изображение; в статье предлагается решение, при котором все позиции разделяют одно и то же случайное состояние, и каждая выборка даёт разное, но целостное изображение. Поскольку при прямом обучении с использованием изображений модель игнорирует это состояние, сначала обучается распределение дискретных кодов изображений для направления одношаговой генерации. Та же архитектура объединяет преобразование изображения в изображение и плотное предсказание, позволяя одному чекпоинту выполнять три типа задач. В статье утверждается, что на одном графическом процессоре H200 генерация изображения размером 512×512 занимает 78 миллисекунд, что до 122 раз быстрее существующих единых моделей, при этом качество изображения и плотное предсказание «конкурентоспособны».

Почему это важно Большинство генеративных моделей требуют десятков итеративных шагов; эта модель генерирует изображение за один прямой проход, а одни и те же веса используются как для преобразования изображения в изображение, так и для предсказания глубины, сегментации и нормалей

Лайков 112 · Звёзд на GitHub 41

Причины

  • Код и веса распространяются под лицензией Apache-2.0, размер весов составляет около 6.5 ГБ, на Hugging Face также доступен онлайн-демонстрационный Space
  • Преобразование изображения в изображение поддерживает генерацию изображений из карт границ или глубины, раскрашивание чёрно-белых фотографий, а также три стиля переноса: аниме, стиль Studio Ghibli и акварель; плотное предсказание за один проход выдаёт для каждого пикселя категорию, глубину (в метрах) и нормаль к поверхности
  • В README указано, что на том же оборудовании и программном обеспечении при фиксированном seed можно воспроизвести то же самое изображение

Использование

  • Код: https://github.com/Carol-lyh/Jeveration;权重:https://huggingface.co/linlinlinlinsdada/Jeveration,演示:https://huggingface.co/spaces/linlinlinlinsdada/Jeveration
  • Среда требует Python 3.12 и видеокарту с CUDA: после установки зависимостей через pip install -r requirements.txt веса загружаются в каталог weights/ с помощью hf download; базовая модель Qwen3.5-4B, токенизатор TA-TiTok и текстовый энкодер CLIP загружаются автоматически при первом запуске
  • Генерация текста в изображение: python generate.py --weights weights/jeveration.pt --decoder weights/decoder512.pt --prompt "…" --seed 0 --out samples/; для преобразования изображения в изображение используется image_to_image.py с параметром --task (hed, depth, colorize, anime, ghibli, watercolor), для плотного предсказания — dense_predict.py; файл app.py позволяет запустить веб-интерфейс Gradio

Риски

  • В аннотации лишь сказано, что качество изображения «конкурентоспособно», но конкретные метрики качества не приводятся; время 78 миллисекунд — это результат тестирования авторами на H200, в данном обзоре тесты не проводились
  • Поддерживается только одно разрешение 512×512; плотное предсказание обучалось только на внутренних сценах набора данных NYUv2

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ