Оригинальное название: AURA: AUdio-dRiven streaming Avatar
Потоковая модель говорящего аватара от команды Kyutai (Франция) и других: на вход подаются портрет и аудио, видео генерируется сегментами, для каждого сегмента требуется только аудио этого сегмента. Метод заключается в дистилляции двунаправленной учительской модели с 50 шагами в причинную ученическую модель с 4 шагами: сначала ученическая модель выравнивается по траектории учителя с использованием причинного внимания со скользящим окном, затем качество изображения улучшается с помощью дистилляции распределения (DMD) с обратной симуляцией; скользящий кэш KV сохраняет только первый сегмент как якорь идентичности и последний сегмент, что предотвращает рост потребления видеопамяти при длительной потоковой генерации. В статье утверждается, что версия 1.3B выводит видео в реальном времени с разрешением 576p на одном GPU, а версия 5B выводит 720p, что соответственно в 23 и 17 раз быстрее своих учительских моделей.
Почему это важно Ранее для генерации видео по аудио требовалось десятки шагов денуазинга и доступ к будущим аудиосегментам, что затрудняло интеграцию с голосовыми ассистентами; данная модель генерирует видео сегментами, и даже небольшая модель может выводить кадры в реальном времени на одной видеокарте
Лайков: 1 · Звёзд на GitHub: 0
Причины
- Выпущены две модели: AURA-1.3B и AURA-5B, учительская модель для версии 1.3B, а также датасет из 3 тысяч синтетических видео и заранее вычисленных траекторий учительской модели
- Таблица тестов в README: на тестовых наборах HALLO3 и CelebV-HQ версия 1.3B показывает наивысшее сохранение идентичности (CSIM) среди всех сравниваемых методов; в пользовательском исследовании версия 5B превосходит Hallo3 по всем четырём критериям: качество изображения, синхронизация губ, точность воспроизведения и естественность
- Можно интегрировать с собственными голосовыми моделями Kyutai Unmute для создания интерактивных виртуальных аватаров; на официальном сайте доступна онлайн-демонстрация
Использование
- Код: https://github.com/kyutai-labs/aura;权重:https://huggingface.co/kyutai/AURA-1.3B , https://huggingface.co/kyutai/AURA-5B;演示:https://aura.kyutai.org/
- Требуется видеокарта CUDA и uv: после git clone выполните uv sync, затем uv run generate.py --image portrait.jpg --audio speech.wav --output out.mp4; добавьте --model aura-5b для использования версии 5B, --compile для ускорения, --num_chunks для управления длиной
- Python API: from aura import Aura; Aura("aura-1.3b").generate(изображение, аудио) возвращает тензоры видео сегментами за сегментом; лучше всего работают квадратные или горизонтальные портреты, где лицо занимает большую часть кадра
Риски
- Оба набора весов распространяются под лицензией, запрещающей коммерческое использование: версия 1.3B — CC BY-NC 4.0, версия 5B — некоммерческая лицензия Snap (на основе TalkVerse-S2V-5B)
- Показатели реального времени в статье получены на H100 с использованием оптимизированного конвейера; в README указано, что при использовании кода из репозитория с флагом --compile версия 1.3B работает примерно с 16 fps, а версия 5B — примерно с 8 fps. Данный пункт не проверялся на практике
- Модель может генерировать видео, где реальные люди произносят любые фразы; авторы требуют использовать только фотографии с согласия владельцев, указывать на генерацию ИИ, а также запрещают выдавать себя за других лиц или распространять дезинформацию