Оригинальное название: Efficient-Large-Model/Open-H3-Regenerate-2K-IC
Инструмент для перегенерации видео от Efficient-Large-Model (код в репозитории NVlabs/Sana): черновик видео в разрешении 768P, сгенерированный MiniMax-H3, используется в качестве референсного видео в контексте трансформера Ref2VA, а затем с помощью LoRA с контекстом (IC) генерируется версия того же фрагмента в разрешении 1080P, 2K (2560×1440) или 4K (3840×2160), сохраняя лица, синхронизацию губ, текст и компоновку из черновика. По умолчанию сначала черновик увеличивается с помощью усилителя в латентном пространстве, затем выполняется последние 3 шагов из сетки HyperFlow 8 шагов; также можно выбрать 4 шагов или выполнить все 8 шагов, начиная с шума, при CFG 1. Репозиторий содержит код для инференса, скрипты загрузки и скрипты для объединения LoRA, что удобно для сред выполнения, поддерживающих загрузку только одной LoRA.
Почему это важно Можно сначала быстро протестировать кадры в низком разрешении, а после удовлетворения результатом создать финальное видео в высоком разрешении, сохранив компоновку кадра и синхронизацию губ
Рост рейтинга 60 · Лайки 60 · Загрузки 11312
Причины
- Подходит для рабочего процесса «сначала тестирование в низком разрешении, затем финальный рендер в высоком»; авторы указывают, что можно использовать исходный промпт, примененный при генерации черновика, или оставить его пустым
- Репозиторий включает LoRA HyperFlow на 8 шагов, LoRA для резкости LMS Sharp, усилитель в латентном пространстве и быстрый декодер VAE; все компоненты можно загрузить одним скриптом
Использование
- После выполнения pip install -r infer/requirements.txt запустите python infer/download.py --out weights, затем выполните infer.py через torchrun, указав черновик видео через --input и исходный промпт через --caption
- Параметр --resolution позволяет выбрать 2k (по умолчанию), 1080p или 4k; --sampler — up3 (по умолчанию), up4 или hf8; параметр --jobs с файлом jsonl позволяет обрабатывать задачи пакетно
Риски
- Пример команды использует 8 GPU; трансформер можно распределить на 1, 2, 4, 7 или 8 карт, требования к памяти видеокарты для одной карты авторами не указаны
- Лицензия сообщества MiniMax H3 не распространяется на ЕС, Великобританию, Южную Корею и США; это не официальный продукт MiniMax, для сторонних компонентов, таких как LMS Sharp, действуют отдельные условия
- Данный пример не был запущен, фактические результаты следует проверять на странице проекта