AURA — это модель стримингового аватара с аудиоуправлением от Kyutai и Сорбоннского университета (статья arXiv 2611.26540): двунаправленная учительская модель на 50 шагов дистиллируется в причинную ученическую модель, генерирующую по 4 шагам на сегмент, с использованием скользящего KV-кэша для последовательной генерации, требующей только аудио текущего сегмента. Версия 1.3B основана на базе Wan2.1-T2V-1.3B, использует аудиокодер Mimi и имеет размер 576p; это единственная модель в семействе, способная работать в реальном времени. Также существует AURA-5B на базе Snap TalkVerse (размер 720p, согласно статье — 9.7 кадров в секунду на одном графическом процессоре H100). Для обеих моделей предоставлены объединенные независимые веса и обучающие чекпоинты, содержащие только LoRA; набор данных с траекториями обучения также опубликован.
Почему это важно Генерация изображения происходит по мере поступления аудио небольшими сегментами, без необходимости ждать завершения всей аудиозаписи; согласно статье, сквозная производительность составляет 20.7 кадров в секунду на одном графическом процессоре H100, что в 23 раз быстрее учительской модели.
Лайки «обнимающего лица» 7 · Рост рейтинга «обнимающего лица» 7 · Загрузки «обнимающего лица» 0
Лицензия: некоммерческая · ComfyUI: отсутствует · Видеопамять: не указана
Причины
- Приложены статья, репозиторий с кодом и конфигурациями обучения, журналы метрик обучения, обеспечивающие воспроизводимость
- В карточке модели приведены примеры одного и того же аудио, сопоставленного с тремя разными портретами
Использование
- Клонируйте репозиторий kyutai-labs/aura и выполните uv sync, загрузите файл stage2_dmd/step-6500_ema_merged.safetensors (около 6.3 ГБ), затем возьмите VAE и текстовый энкодер T5 из Wan2.1-T2V-1.3B, после чего подайте на вход портрет и аудиозапись согласно инструкциям в репозитории
Риски
- Модель 1.3B распространяется под лицензией CC BY-NC 4.0, а модель 5B — под некоммерческой лицензией Snap; обе нельзя использовать в коммерческих целях
- Можно создать видео с говорящим портретом из любого изображения; используйте только свои или авторизованные портреты и указывайте, что контент создан ИИ, при публикации
- Показатели реального времени получены в статье на графическом процессоре H100; скорость и требования к видеопамяти на потребительских видеокартах не указаны в карточке модели; поддержка ComfyUI отсутствует