Модель генерации движений в реальном времени от NVIDIA: принимает текущую позу персонажа и целевую позу, которую он должен принять, и генерирует плавное движение между ними. Используется для анимации скелета человека и референсных движений гуманоидного робота Unitree G1. Сопутствующая технология Smart Primitives превращает целевые позы в переиспользуемые «блоки», позволяя комбинировать ходьбу и взаимодействие с объектами без повторного обучения.
Рост рейтинга 73 · Лайки 74 · Загрузки 0
Причины
- Два набора весов: SOMA (скелет человека с 30 суставами, около 200 млн параметров, обучен на 313,526 сегментах данных захвата движения Bones RigPlay 1) и Unitree G1 (34 суставов, около 195 млн параметров). Файлы весов не взаимозаменяемы.
- Каждый набор состоит из трех сетей: VQ-VAE для поз, предиктора поз и предиктора корневого движения. Вывод генерируется с частотой 30 Гц, за один проход генерируется 6–16 токенов (24–64 кадров). Для более длинных движений выходной результат подается обратно как контекст для итеративной генерации. Модель не принимает на вход текст или изображения.
- Статья опубликована в ACM Transactions on Graphics. Веса распространяются по лицензии NVIDIA Open Model Agreement, разрешающей коммерческое использование и перераспространение модифицированных версий. Сопутствующий код лицензирован под Apache 2.0. Выпущено 23 10 года, ранее в выпусках не публиковалось.
Использование
- Если нужно просто посмотреть результат: используйте программное обеспечение NVlabs/motionbricks с GitHub, которое включает модели ONNX и демонстрации для SOMA и G1 (на базе Newton и Warp). Загрузка весов отсюда не требуется. Для запуска демонстрации TensorRT необходим GPU NVIDIA.
- Если нужно самостоятельно экспортировать ONNX или использовать другой рантайм: выполните команду hf download nvidia/MotionBricks --include "soma/*" (или "g1/*"), сохраняя структуру каталогов, и следуйте руководству по экспорту в репозитории ПО в папке tools/onnx. Экспортер работает на CPU и требует Python 3.12 и PyTorch 2.14.0+cpu.
Риски
- Модель генерирует движения, а не контроллеры для роботов: для работы на реальном роботе требуются отдельные контроллеры слежения, проверка ограничений суставов и валидация безопасности.
- В карточке модели отсутствуют сквозные метрики оценки, а также данные о задержке инференса и пропускной способности. Веса не являются моделями Transformers, загружаемыми через from_pretrained, и не включают процесс обучения или обучающие данные.
- Приложенные примеры движений BONES разрешено использовать только для внутреннего тестирования и оценки (лицензия NVIDIA Sample Data Evaluation License). Пакет G1 не содержит библиотеку движений, использовавшуюся в оригинальной демонстрации.
Редактор: в data.json модель была отнесена к языковой категории, хотя она занимается генерацией движений. Здесь она переклассифицирована в категорию генеративных моделей.