Viggle Remake: пересъёмка целого видео одной фразой

Две пары LoRA (ранг 256), обученные Viggle на базовом трансформере MiniMax-H3: режим swap заменяет людей и персонажей, поддерживая одновременную замену нескольких; режим edit отвечает за остальные изменения, включая замену, удаление и вставку объектов, а также смену фона, погоды или освещения. На вход подаются исходное видео, 1–4 нарисованных ключевых кадров (которые можно привязать к соответствующим кадрам оригинала) и промпт, написанный в шестисегментном формате MiniMax-H3. На выходе сохраняются движения, камера, ритм и оригинальный звук исходного видео. Официально заявлено, что это именно версия v2, анонсированная на карточке Viggle-Animate: Animate меняет только персонажей, а Remake позволяет также изменять объекты и сцены. Репозиторий также включает сервис MCP, благодаря которому агенты, такие как Claude Code или codex, получив видео и одну фразу, самостоятельно разбивают его на кадры, рисуют ключевые кадры, рендерят по окнам, проверяют результат и затем собирают полное видео с оригинальным звуком.

Оригинальное название: Viggle/Viggle-Remake

Две пары LoRA (ранг 256), обученные Viggle на базовом трансформере MiniMax-H3: режим swap заменяет людей и персонажей, поддерживая одновременную замену нескольких; режим edit отвечает за остальные изменения, включая замену, удаление и вставку объектов, а также смену фона, погоды или освещения. На вход подаются исходное видео, 1–4 нарисованных ключевых кадров (которые можно привязать к соответствующим кадрам оригинала) и промпт, написанный в шестисегментном формате MiniMax-H3. На выходе сохраняются движения, камера, ритм и оригинальный звук исходного видео. Официально заявлено, что это именно версия v2, анонсированная на карточке Viggle-Animate: Animate меняет только персонажей, а Remake позволяет также изменять объекты и сцены. Репозиторий также включает сервис MCP, благодаря которому агенты, такие как Claude Code или codex, получив видео и одну фразу, самостоятельно разбивают его на кадры, рисуют ключевые кадры, рендерят по окнам, проверяют результат и затем собирают полное видео с оригинальным звуком.

Почему это важно Не только замена персонажей: возможно добавление и удаление объектов, смена сцен и освещения. Также предоставляется сервис MCP, позволяющий программируемым агентам самостоятельно разбивать видео на кадры, рисовать ключевые кадры и собирать целое видео

Рост рейтинга 208 · Лайки 374 · Загрузки 183188

Причины

  • Официальные примеры включают создание 22 версий одного кадра из фильма «Ла-Ла Ленд», а также замену персонажа во всём музыкальном клипе длительностью 116 секунд с 69 монтажными склейками; более длинные видео разрезаются на окна по монтажным склейкам и рендерятся отдельно
  • Предложены варианты в зависимости от наличия видеокарты: без видеокарты используйте приложение Viggle; для 12–24 ГБ используйте файлы int8 / GGUF в ComfyUI для ручного запуска рабочих процессов; для 32 ГБ (RTX 5090) можно запускать агента вместе с рендер-сервером ComfyUI, по официальным данным, окно размером 1280×736 и длительностью 345 кадров рендерится примерно за 28 минут; для видеокарт от 80 ГБ используйте эталонный скрипт sample.py
  • Также доступны небольшие LoRA с рангом 128 / 64 (размером 1.34 / 0.67 ГБ), по официальным данным, качество вывода практически идентично; скрипт examples/demo.sh позволяет проверить, действительно ли LoRA загружены

Использование

  • Сначала загрузите базовую модель MiniMaxAI/MiniMax-H3 (файл размером около 144GB) и директории lora/, inference/ из данного репозитория (около 5.5GB). Не клонируйте весь репозиторий через git clone (вместе со всеми весами он занимает около 210GB)
  • Ручной режим: python inference/sample.py --mode swap (или edit) --video исходное_видео --prompt промпт --ref ключевые_кадры --pin номер_кадра --frames 124 --short-edge 480; количество кадров должно быть вида 17n+5, официально рекомендуется не превышать 294
  • Режим агента: загрузите только директорию mcp/, установите серверную часть через pip install -e ., на машине с GPU дополнительно установите worker. Правила написания промптов см. в файле PROMPTING.md

Риски

  • Можно поместить внешность реального человека в видео, где он не давал согласия на появление; сама модель не проверяет личность или авторизацию. Официально требуется использовать только материалы, на изменение которых есть права, и маркировать результат как сгенерированный ИИ
  • Веса являются производной моделью от MiniMax H3. Для коммерческого использования необходимо явно указывать «MiniMax H3» в интерфейсе; при годовом доходе свыше 2000 тысяч долларов требуется предварительное письменное разрешение от MiniMax. Авторские права на фрагменты фильмов из примеров принадлежат их владельцам
  • Время одного рендера составляет около 12 секунд; необходимо использовать промпты в шестисегментном формате. Официально известные проблемы включают дрейф при длинных кадрах с нечеловеческими персонажами, мелкие дефекты деталей и смещение при отсутствии привязки к кадрам в многокадровых сценах; данный пункт не был протестирован

Открыть

Hugging Face Trending

Открыть последние новости ИИ