Оригинальное название: LynnReal-Hand: Unlocking World Interaction with Hand Control
Интерактивные видеомодели мира позволяют исследовать сцены с помощью текста и камеры, но прямое взаимодействие с объектами требует более тонкого управления. LynnReal-Hand собрал 100K фрагментов взаимодействия из реальных и синтетических сцен, используя обучение с акцентом на руки для улучшения движений пальцев и деталей контакта; затем изучается причинно-следственное отображение потока для генерации за малое число шагов, а также применяется дистилляция оценок по областям в сочетании с видеоприорами и приорами изображений. Дополнительно обучен компактный декодер Ultra-Fast-VAE для снижения задержки. Авторы сообщают, что на HandBench у полносеквенсной модели FVD 181.67, MANO Dice 93.02, а у трехшаговой причинно-следственной модели Dice 92.49; на одной карте H200 потоковая генерация с параметром 540p достигает 18.03 FPS, задержка составляет 741 мс, пиковое потребление видеопамяти — 34.89 ГБ.
Почему это важно Интерактивные модели мира обычно управляются только текстом и камерой; эта модель позволяет рукам напрямую брать и отпускать объекты, и, по словам авторов, обеспечивает потоковую генерацию в реальном времени на одной видеокарте
Лайков 2 · Звёзд в коде 11
Причины
- Выпущены два пакета генерации: Base для полной последовательности и Fast (превью) для трехшаговой причинно-следственной модели, а также отдельный декодер Ultra-Fast-VAE; пакеты генерации включают оригинальный VAE MiniMax H3 и энкодер Qwen
- Поддерживаются вытягивание руки, захват, отпускание и координация двух рук; траектория камеры также управляема; в репозитории приведены семь примеров с начальным изображением, видео рук, позами камеры и эталонными результатами
- Модель Fast сохраняет в контексте только текущий блок, предыдущий блок и фиксированный первый кадр, поэтому при потоковой генерации кэш внимания не растет бесконечно
Использование
- Код: https://github.com/LynnReal-AI/LynnReal(MiniMax (лицензия сообщества H3); веса находятся в аккаунте shaohao011 на Hugging Face, скачать можно командой python scripts/download_weights.py --component fast
- Сначала выполните lynnreal-hand validate для проверки входных данных примера (не требуется GPU), затем используйте lynnreal-hand prepare для создания кэша условий и lynnreal-hand infer --config configs/fast.json для получения видео; добавьте --accelerated для использования пути ускорения на одной карте
Риски
- Обе модели имеют размер 33B, эталонная среда — одна карта H200; начальное изображение, видео рук и позы камеры должны иметь согласованное поле зрения и выровненную последовательность кадров, входные данные принимаются только для нескольких фиксированных чисел кадров
- Лицензия сообщества MiniMax H3 не распространяется на ЕС, Великобританию, Южную Корею и США, для коммерческого использования действуют дополнительные условия
- Результаты приведены по данным авторов; в данном обзоре тестирование не проводилось