Инструмент с открытым исходным кодом для замены персонажей/объектов в видео: загрузите видеоролик и фотографию персонажа, чтобы заменить главного героя в видео на вашего персонажа; при этом сохраняются камера, монтаж, движения и оригинальный звук. Также можно менять только прическу или одежду, удалять объекты или заменять фон — всё это выполняется локально на вашем GPU с использованием открытых весов.
Количество звезд 627 (+265 / 24 ч)
Причины
- Фронтенд на Next.js, надстроенный над рабочими процессами ComfyUI: SAM 3.1 отслеживает людей покадрово, превращая оригинального персонажа в серую манекен-модель для MiniMax H3, который анимирует его; перерисовывается только область маски. Qwen3-VL 8B отвечает за описание сцены и генерацию промптов (также можно использовать 4B или Gemma 4 E2B).
- Режимы: замена одного персонажа, продвинутая замена для 1–4 человек с распределением по ролям (включая страницу Montage для замены без жестких переходов), замена/удаление объектов/добавление объектов/замена фона, а также режим «из изображения», где FLUX сначала позирует, а затем генерируется видео с возможностью переосвещения. Постобработка включает коррекцию мелких лиц и смягчение цветового тона H3.
- Перед отправкой задачи система проверяет наличие недостающих узлов и моделей в ComfyUI и предоставляет ссылки для установки. Функция Check mask запускает только SAM и маски, позволяя покадрово просматривать области, которые будут перерисованы.
Использование
- Требуется видеокарта NVIDIA (автор тестировал на RTX 4060 Ti 16 ГБ + 64 ГБ ОЗУ), ComfyUI версии 0.41.2 и выше, Node.js версии 22.6 и выше. Согласно README, необходимо установить 12 пакетов пользовательских узлов, а также модели H3 (pruned INT8), LoRA для ускорения DMAD, файлы SAM 3.1 и другие.
- В Windows дважды щелкните start_openjutsu.bat. В других ОС сначала запустите ComfyUI (в Windows установите переменную AIOHTTP_NOSENDFILE=1), установите comfy-api-proxy==0.1.6 и примените патч с помощью patch_proxy.py из репозитория, затем выполните npm ci, npm run build, npm start и откройте 127.0.0.1:3000.
- По умолчанию используются 736p и 6 шагов. По словам автора, на RTX 4060 Ti генерация 6-секундного клипа при 480p занимает примерно 6–13 минут, а при 1080p это примерно в 2.5 раз медленнее, чем при 736p.
Риски
- Можно заменить реального человека на любого с фотографии; перед использованием чужих портретов необходимо получить согласие. Персонажи в зеркалах и отражениях пока не заменяются, а H3 может копировать внешность оригинального человека из отражений.
- Коррекция лиц зависит от InsightFace buffalo_l, который разрешен только для некоммерческих исследований, а веса YOLO от Bingsu/adetailer распространяются под лицензией AGPL-3.0. Процесс развертывания на облачных платформах Comfy еще не протестирован автором. Код распространяется под лицензией MIT, репозиторий создан 26 10 месяца, количество звезд растет быстро; ознакомление с README является стандартной практикой для инструментов.