LynnReal-Hand: видеомодель мира, управляемая движениями рук

Интерактивные видеомодели мира позволяют исследовать сцены с помощью текста и камеры, но прямое взаимодействие с объектами требует более тонкого управления. LynnReal-Hand собрал 100K фрагментов взаимодействия из реальных и синтетических сцен, используя обучение с акцентом на руки для улучшения движений пальцев и деталей контакта; затем изучается причинно-следственное отображение потока для генерации за малое число шагов, а также применяется дистилляция оценок по областям в сочетании с видеоприорами и приорами изображений. Дополнительно обучен компактный декодер Ultra-Fast-VAE для снижения задержки. Авторы сообщают, что на HandBench у полносеквенсной модели FVD 181.67, MANO Dice 93.02, а у трехшаговой причинно-следственной модели Dice 92.49; на одной карте H200 потоковая генерация с параметром 540p достигает 18.03 FPS, задержка составляет 741 мс, пиковое потребление видеопамяти — 34.89 ГБ.

Оригинальное название: LynnReal-Hand: Unlocking World Interaction with Hand Control

Интерактивные видеомодели мира позволяют исследовать сцены с помощью текста и камеры, но прямое взаимодействие с объектами требует более тонкого управления. LynnReal-Hand собрал 100K фрагментов взаимодействия из реальных и синтетических сцен, используя обучение с акцентом на руки для улучшения движений пальцев и деталей контакта; затем изучается причинно-следственное отображение потока для генерации за малое число шагов, а также применяется дистилляция оценок по областям в сочетании с видеоприорами и приорами изображений. Дополнительно обучен компактный декодер Ultra-Fast-VAE для снижения задержки. Авторы сообщают, что на HandBench у полносеквенсной модели FVD 181.67, MANO Dice 93.02, а у трехшаговой причинно-следственной модели Dice 92.49; на одной карте H200 потоковая генерация с параметром 540p достигает 18.03 FPS, задержка составляет 741 мс, пиковое потребление видеопамяти — 34.89 ГБ.

Почему это важно Интерактивные модели мира обычно управляются только текстом и камерой; эта модель позволяет рукам напрямую брать и отпускать объекты, и, по словам авторов, обеспечивает потоковую генерацию в реальном времени на одной видеокарте

Лайков 2 · Звёзд в коде 11

Причины

  • Выпущены два пакета генерации: Base для полной последовательности и Fast (превью) для трехшаговой причинно-следственной модели, а также отдельный декодер Ultra-Fast-VAE; пакеты генерации включают оригинальный VAE MiniMax H3 и энкодер Qwen
  • Поддерживаются вытягивание руки, захват, отпускание и координация двух рук; траектория камеры также управляема; в репозитории приведены семь примеров с начальным изображением, видео рук, позами камеры и эталонными результатами
  • Модель Fast сохраняет в контексте только текущий блок, предыдущий блок и фиксированный первый кадр, поэтому при потоковой генерации кэш внимания не растет бесконечно

Использование

  • Код: https://github.com/LynnReal-AI/LynnReal(MiniMax (лицензия сообщества H3); веса находятся в аккаунте shaohao011 на Hugging Face, скачать можно командой python scripts/download_weights.py --component fast
  • Сначала выполните lynnreal-hand validate для проверки входных данных примера (не требуется GPU), затем используйте lynnreal-hand prepare для создания кэша условий и lynnreal-hand infer --config configs/fast.json для получения видео; добавьте --accelerated для использования пути ускорения на одной карте

Риски

  • Обе модели имеют размер 33B, эталонная среда — одна карта H200; начальное изображение, видео рук и позы камеры должны иметь согласованное поле зрения и выровненную последовательность кадров, входные данные принимаются только для нескольких фиксированных чисел кадров
  • Лицензия сообщества MiniMax H3 не распространяется на ЕС, Великобританию, Южную Корею и США, для коммерческого использования действуют дополнительные условия
  • Результаты приведены по данным авторов; в данном обзоре тестирование не проводилось

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ