Это веса Apple MLX, конвертированные автором сообщества fedeinfe из модели Meituan LongCat-Video-Avatar 1.6: на вход подаются портретное фото (или несколько реальных кадров) и аудиозапись речи, а на выходе получается видео говорящего человека произвольной длины. Модель 1.6 сохраняет архитектуру 1.5, но использует заново обученный DiT с 136 млрд параметров и два дистиллированных LoRA; сэмплирование выполняется за 8 шагов согласно рекомендациям Meituan: первые 4 шагов используют метод DMD, а последние 4 шагов — OPSD. Длинная аудиозапись разбивается на сегменты по 93 кадров (при частоте 25 fps) и склеивается в единый непрерывный кадр. Автор протестировал модель на Mac с чипом M5 Max и 64 ГБ памяти: генерация видео длительностью 3.7 секунд в разрешении 480p занимает около 8 минут, а пиковое потребление памяти составляет примерно 47 ГБ.
Почему это важно Модель можно запускать локально на Mac с чипами Apple, длинные аудиозаписи автоматически склеиваются в непрерывный кадр, также прилагаются скрипты для обучения специализированных LoRA для синхронизации губ; однако модель требует много памяти и работает медленно.
Лайки «обнимашки» 3 · Рост рейтинга за «обнимашки» 3 · Загрузки «обнимашек» 0
Лицензия: разрешено коммерческое использование · ComfyUI: пока нет · Видеопамять: не указана
Причины
- Лицензия MIT, идентичная оригинальной версии от Meituan; веса DiT представляют собой побитовую конвертацию весов Meituan в формате bf16
- В карточке модели приведены показатели скорости, потребления памяти и качества синхронизации губ для двух разрешений: 480p и 1120×832
Использование
- Выполните git clone -b feat/avatar-1.6-continuation-lora https://github.com/fedeinfe/longcat-avatar-mlx,建, создайте виртуальное окружение Python 3.12 и установите зависимости командой pip install -e ".[parity]" librosa pyloudnorm pillow ftfy; после загрузки весов в директорию weights запустите scripts/generate.py, указав аргументы --image для портрета, --audio для аудиозаписи, --prompt для описания и --out для выходного файла
Риски
- Поддерживаются только Mac с чипами Apple, требуется 64 ГБ унифицированной памяти, размер весов составляет 51.5 ГБ; генерация одного видео в разрешении 1120×832 занимает около 45 минут
- Код инференса находится в форке автора, pull request в оригинальный репозиторий еще не объединен; при подаче аудио с частотой 30 fps синхронизация губ нарушается, поэтому необходимо генерировать видео с частотой 25 fps, а затем интерполировать кадры
- Перед генерацией видео с использованием чужих портретов и голосов необходимо получить разрешение соответствующих лиц