Использование одной видео-модели для трех типов условной генерации изображений: входное изображение (референсный объект, контур Canny или исходное редактируемое изображение) рассматривается как более ранний кадр в видео, а целевое изображение — как последующий кадр. Предобученная видео-модель использует априорные знания о «межкадровых изменениях» для выполнения генерации. Авторы заметили, что связь между входными данными и целью сильно различается в разных задачах, поэтому разработали два компонента: смесь временных экспертов (MoTE), которая динамически выбирает экспертов позиционного кодирования времени с различными «виртуальными временными интервалами» в зависимости от входа, определяя расстояние до цели; и цепочка временного рассуждения (CoTR), которая вставляет потенциальное промежуточное состояние между двумя кадрами и использует маскировку внимания типа «бутылочное горлышко», чтобы информация проходила через него.
Лайки 112 · Звезды на GitHub 3
Причины
- Одна модель охватывает три типа задач: генерацию с сохранением объекта, генерацию по контуру Canny и редактирование по инструкции; авторы заявляют превосходство над сравниваемыми методами на наборах данных DreamBench, COCO2017 и GEdit-Bench.
- Готово к запуску: репозиторий содержит код для инференса (финальная конфигурация с тремя экспертами и одним латентным переменным для рассуждений), веса LoRA доступны на Hugging Face lyneeeeeeeee/FrameForge, для каждой из трех задач приведена полная команда.
- Переносимость идеи: вместо обучения новой модели редактирования изображений условия и цели размещаются на «адаптивных позициях» временной оси видео, что позволяет напрямую использовать априорные знания базовой видео-модели; модель заняла первое место по лайкам на Hugging Face в день публикации (отражает только уровень внимания).
Использование
- Окружение: Linux, Python 3.10, GPU CUDA; сначала установите PyTorch для соответствующей версии CUDA, затем выполните pip install -r requirements.txt.
- Базовые модели и энкодеры: загрузите через hf download tencent/HunyuanVideo-1.5, Qwen/Qwen2.5-VL-7B-Instruct, google/byt5-small, а также Glyph-SDXL-v2 через modelscope и black-forest-labs/FLUX.1-Redux-dev (модель с ограниченным доступом, требуется запрос на Hugging Face) в папку ckpts/.
- LoRA: hf download lyneeeeeeeee/FrameForge pytorch_lora_weights.safetensors --local-dir ./checkpoints.
- Инференс: MODEL_PATH=./ckpts bash scripts/infer.sh --lora_path … --input_image входное_изображение --reference_size 512 --prompt "…" --num_inference_steps 50; для задачи Canny в статье используется --guidance_scale 2.0, по умолчанию для редактирования — 6.0. Вход и выход имеют размер 512×512.
Риски
- Высокие требования к зависимостям: необходимы полная модель HunyuanVideo 1.5 и несколько энкодеров, включая Qwen2.5-VL-7B; FLUX.1-Redux-dev является моделью с ограниченным доступом; в README не указаны требования к видеопамяти.
- Доступен только код для инференса, код обучения и данные не опубликованы; выходной размер фиксирован на 512×512, количество шагов — 50, скорость работы не указана.
- Код и веса распространяются под лицензией Tencent Hunyuan Community License, перед распространением и коммерческим использованием необходимо проверить условия лицензии; сравнение эффективности основано на данных авторов, результаты генерации не проверялись лично, качество изображений не оценивается.
Редакция: подходит для исследований или экспериментов с рабочими процессами, где одна модель должна одновременно выполнять «сохранение объекта при смене сцены» и «редактирование по инструкции»; сначала убедитесь, что ваша видеокарта позволяет разместить HunyuanVideo 1.5.