Оригинал: Viggle/Viggle-Remake
Два LoRA ранга 256, обученных Viggle на базе MiniMax-H3: swap отвечает за замену людей/персонажей (можно менять несколько за раз), edit — за остальные изменения: добавление, удаление или замену объектов, смену фона, погоды, освещения и стиля. На вход подаются исходное видео, 1–4 нарисованных ключевых кадров (в промпте они называются Picture N, можно закрепить на конкретном кадре исходного видео с помощью --pin) и шестисегментный промпт для MiniMax-H3. На выходе сохраняются движения, камера, ритм и оригинальный звук исходного ролика. В репозитории также есть MCP-сервис: передайте видео и одно требование кодовому агенту, такому как Claude Code или codex, и он сам разобьет видео на сцены, нарисует ключевые кадры, напишет промпты, отрендерит окна по очереди на вашем GPU, проверит результат и соберет финальное видео с оригинальным звуком. Это и есть Viggle-Animate v2, анонсированный на карточке Viggle-Animate. Репозиторий создан 22 10 месяца, в предыдущих выпусках не освещался.
Почему это важно Передача ручной покадровой правки видео агенту: разбивка на сцены, рисование ключевых кадров, рендеринг, самопроверка и сборка с оригинальным звуком выполняются автоматически
Рост рейтинга 95 · Лайки 97 · Загрузки 5215
Причины
- Решает задачу «хочу заменить актеров или сцены в уже имеющихся материалах, не переснимая их»: в примерах автора один кадр из «Ла-Ла Ленд» переделан в 22 версий (смена людей, одежды, погоды, добавление/удаление объектов, смена стиля), а также полностью пересняты клип длительностью 116 секунд с 69 монтажными склейками и фрагмент «Матрицы 2» длительностью 101 секунд, при этом оригинальная музыка сохранена.
- Полный агентный пайплайн — самая уникальная черта этого репозитория: за один проход рендерится окно из 90–345 кадров (при 24 fps, примерно 12 секунды); для более длинных видео MCP старается разбивать окна по монтажным склейкам. Автор утверждает, что выполнение примера White House Funk агентом codex на двух GPU занимает около 1.5 часов; при каждом запуске ключевые кадры рисуются агентом самостоятельно, поэтому детали могут отличаться.
- Есть решения и для менее мощных видеокарт: пакет нод для ComfyUI добавляет всего четыре функции, отсутствующих в стандартных нодах (способ отображения референсных изображений, закрепление ключевых кадров по реальным номерам кадров, чистое сохранение оригинального звука, генерация начального шума по seed), остальное — стандартные ноды. Автор также выпустил файлы int8 (21.0 ГБ) и GGUF (Q8_0 22.3 ГБ, Q6_K 17.6 ГБ, Q4_K_M 14.3 ГБ), где LoRA объединены с базовой моделью в fp32 и затем квантованы; LoRA с низким рангом 128 / 64 занимают всего 1.34 / 0.67 ГБ, и, по словам автора, результат почти идентичен.
Использование
- Собственный GPU: скачайте базовую модель MiniMaxAI/MiniMax-H3 (файл размером около 144 ГБ) и папки lora/, inference/, examples/, а также requirements.txt из этого репозитория (5.5 ГБ). Выполните pip install -r requirements.txt, установите ffmpeg и запустите python Viggle-Remake/inference/sample.py --mode swap (или edit) --video source.mp4 --prompt prompt.txt --ref ref1.png --pin 12 --frames 124 --short-edge 480 --seed 0 --base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4. Значение --frames должно быть вида 17n+5, а --short-edge 736 дает разрешение 1280×736. Не клонируйте весь репозиторий через git clone (из-за git-lfs скачается около 210 ГБ). Можно сначала запустить examples/demo.sh, чтобы убедиться, что LoRA загружены.
- ComfyUI (автор тестировал на 0.42.0): используйте базовую модель в виде единого файла fl2va из Comfy-Org/MiniMax-H3 (не ref2va), скопируйте comfyui/ComfyUI-Viggle-Remake в custom_nodes, поместите LoRA в models/loras и загружайте их через LoraLoaderBypassModelOnly. По словам автора, обычная нода LoraLoaderModelOnly в режиме bf16 теряет значительную часть обновлений LoRA, из-за чего изображение становится более размытым. Для запуска примеров перетащите comfyui/workflows/remake_swap_ui.json или remake_edit_ui.json; свои материалы предварительно конвертируйте в 24 fps. При использовании объединенных файлов int8 / GGUF они заменяют и базовую модель, и LoRA, поэтому дополнительно накладывать LoRA не нужно.
- Агент: выполните hf download Viggle/Viggle-Remake --include "mcp/*", чтобы получить только MCP (без весов). В директории mcp выполните pip install -e . (на машине с GPU дополнительно установите '.[worker]'). Запустите по одному процессу viggle-remake-worker на каждую видеокарту, затем подключите сервис к Claude Code или codex, передав ему видео и одно требование. Как рисовать ключевые кадры, когда их закреплять и как писать шестисегментные промпты, автор описал в файле PROMPTING.md в репозитории. Если не хотите разворачивать все сами, используйте приложение Viggle.
Риски
- Высокий порог входа: sample.py требует видеокарту с объемом памяти не менее 80 ГБ (в режиме bf16). Автор протестировал на B200: один рендер в ComfyUI занимает около 95 секунд, потребление системной памяти составляет примерно 130 ГБ; наличие базовой модели и ее текстового энкодера обязательно.
- Известные проблемы, перечисленные автором: нечеловеческие персонажи в длинных планах обрабатываются с ошибками, присутствуют мелкие дефекты деталей; в многокадровых фрагментах без закрепленных ключевых кадров происходит временной дрейф. Звук просто копируется из оригинала; если в исходном видео нет звука, то и на выходе его не будет.
- Функция замены людей не содержит встроенных проверок личности или согласия; личность полностью определяется нарисованными вами ключевыми кадрами. Автор требует использовать инструмент только для материалов, на которые у вас есть права на модификацию, не применять его к людям без их согласия и маркировать сгенерированный контент как AI. Права на фрагменты фильмов и клипов, использованные в примерах, принадлежат их правообладателям; ни одна из лицензий не предоставляет никаких прав на эти материалы и изображения.
- Веса распространяются по лицензии сообщества MiniMax H3 (в коммерческих интерфейсах необходимо явно указывать MiniMax H3; если годовой доход превышает 2000 тысяч долларов, требуется предварительное письменное разрешение от MiniMax), код лицензирован по Apache-2.0. При создании продуктов на основе этого инструмента автор просит указывать Powered by Viggle Remake.