Оригинальное название: Efficient-Large-Model/Open-H3-Regenerate-2K
Открытая альтернатива NVIDIA (NVlabs Sana / SoL-Engine) для закрытого API H3-Regenerate-2K: черновик 768P от MiniMax-H3 (1344×768, 121 кадров) увеличивается в латентном пространстве в 2 раз, затем с помощью MiniMax-H3 и объединенного LoRA выполняется трехшаговая денуазация, на выходе получается видео 2560×1440; код также поддерживает разрешение 1080p и двойное увеличение до 4K. Объединенный LoRA состоит из трех адаптеров, склеенных по рангу: Open-H3 Refiner (ранг 384), LightX2V FL2VA Turbo v1.2 (ранг 128) и LMS Sharp v1.0 (ранг 64). По словам авторов, по сравнению с раздельным подключением трех адаптеров относительная ошибка на всех 312 линейных слоях составляет всего 2.2e-8. Репозиторий также содержит латентный усилитель на основе 3D-сверток от автора, быстрый декодер VAE, дистиллированный из StreamRender-H3 (1.62B параметров), и неизмененную копию базовой модели MiniMax-H3. Репозиторий создан 26 10, в предыдущих выпусках не упоминался.
Рост рейтинга 79 · лайки 223 · количество загрузок 562558
Причины
- Решает задачу «сначала быстро получить видео в низком разрешении, а после удовлетворения результатом — сгенерировать 2K», без необходимости платить за вызовы закрытого API. На вход можно подать черновик видео H3, готовые латентные переменные H3 или, добавив флаг --hyperflow, сначала сгенерировать черновик 768P из текстового промпта, а затем его доработать.
- Официально заявлено, что на одной карте B200 сегмент длительностью 5 секунд преобразуется из латентных переменных 768P в формат 2560×1440: оригинальная версия с плотным вниманием в формате BF16 занимает 87.26 секунд; после перехода на разреженное внимание Sol-Attn, формат MXFP8 и CUDA Graph время составляет 37.39 секунд (ускорение в 2.33 раза); при дополнительном использовании быстрого декодера VAE (время декодирования сокращается с 15 до 1.6 секунд) общее время составляет 22.45 секунд (ускорение в 3.89 раза). В README кода подробно указано, какой вклад вносит каждая оптимизация.
- Количество загрузок 562558 и лайков 223 (отражают только уровень интереса).
Использование
- Код находится в ветке sol-engine репозитория GitHub NVlabs/Sana в директории models/Open-H3-Regenerate-2K: требуется Linux, Python 3.11, PyTorch 2.11 + CUDA 13.0. Выполните pip install -r requirements.txt, затем pip install -e ../../techniques/sparse_backends (Sol-Attn, необходим для ускорения прямого прохода); команда python download.py --weights ./weights --hyperflow загружает все веса.
- Если черновик уже есть: python infer.py --weights ./weights --input-video draft.mp4 --prompt "…" --output out.mp4; если есть только промпт: добавьте флаг --hyperflow; для максимальной скорости используйте --fwd sol_engine_fast, для наибольшего соответствия оригинальному выводу используйте по умолчанию sol_engine или --fwd standard; параметр --resolution может принимать значения 768p / 1080p / 2k / 4k, а --steps 2 можно изменить на два шага.
- Параметры сэмплирования при интеграции в собственный пайплайн: три шага метода Эйлера, sigmas [0.909375, 0.857143, 0.666667, 0], CFG 1.
Риски
- Показатели скорости получены на картах B200 / GB200; форматы MXFP8 и Sol-Attn предъявляют требования к видеокарте и программному стеку; авторы не предоставили данные для потребительских видеокарт, а также рабочие процессы для ComfyUI.
- При первой встрече с новой формой латентных переменных требуется создать движок и записать CUDA Graph (около 39 секунд); режим sol_engine_fast работает быстрее, но, по словам авторов, детали изображения сильнее отличаются от оригинального вывода.
- Лицензии смешаны: LoRA-доработка, быстрый VAE и копия базовой модели распространяются по лицензии сообщества MiniMax H3 (включая условия по географии, использованию и редистрибуции), а входящие в состав LightX2V Turbo, LMS Sharp и латентный усилитель — по своим исходным лицензиям; единой лицензии нет.