PartLock-CMU

PartLock-CMU — это потоковая модель преобразования текста в движение (генератор с 3050 млн параметров + токенизатор движений по частям тела с 750 млн параметров). При вводе коротких фраз, таких как walk, jump или salsa dance, она непрерывно генерирует движения всего тела; после смены фразы изменения вступают в силу примерно через 0.13 секунды, обеспечивая плавные переходы между движениями. Автор обучил модель только на 2308 фрагментах из библиотеки захвата движений CMU на одной видеокарте RTX 3060. Весь процесс занял около 3 часов 50 минут; время обработки одного шага (каждые 4 кадров) на той же карте составляет 35–38 миллисекунд, что примерно в 3.5 раз быстрее реального времени. На выходе получаются позиции и вращения для 22 суставов (в порядке SMPL) с частотой 30 кадров в секунду; их необходимо самостоятельно перенаправить на скелет персонажа.

PartLock-CMU — это потоковая модель преобразования текста в движение (генератор с 3050 млн параметров + токенизатор движений по частям тела с 750 млн параметров). При вводе коротких фраз, таких как walk, jump или salsa dance, она непрерывно генерирует движения всего тела; после смены фразы изменения вступают в силу примерно через 0.13 секунды, обеспечивая плавные переходы между движениями. Автор обучил модель только на 2308 фрагментах из библиотеки захвата движений CMU на одной видеокарте RTX 3060. Весь процесс занял около 3 часов 50 минут; время обработки одного шага (каждые 4 кадров) на той же карте составляет 35–38 миллисекунд, что примерно в 3.5 раз быстрее реального времени. На выходе получаются позиции и вращения для 22 суставов (в порядке SMPL) с частотой 30 кадров в секунду; их необходимо самостоятельно перенаправить на скелет персонажа.

Почему это важно Обучение проводилось только на библиотеке захвата движений CMU, и автор утверждает, что модель можно использовать в коммерческих продуктах. Генерация в реальном времени доступна даже на потребительских видеокартах NVIDIA, а выходные данные скелета можно привязать к персонажу.

Лайков с обнимашками: 1 · Рост рейтинга с обнимашками: 1 · Загрузок с обнимашками: 0

Лицензия: разрешено коммерческое использование · ComfyUI: пока нет · Требуемая видеопамять: ≈1 ГБ (оценка)

Причины

  • Код и веса распространяются под лицензией Apache-2.0; в карточке модели указаны обучающие данные, метод разделения и ограничения, примеры не были отобраны специально.
  • В комплекте есть локальная страница для демонстрации в реальном времени; в Windows запуск осуществляется двойным щелчком по скрипту.

Использование

  • После выполнения команды pip install -r requirements.txt запустите python live/live_server.py и откройте http://localhost:8765, чтобы ввести короткую фразу; либо используйте команду python generate.py --sec 4 --out motion.npz "walk" "jump" для экспорта файла с движением.

Риски

  • Модель знает только движения, присутствующие в библиотеке CMU: из 20 новых движений, которые попробовал автор, почти все привели к тому, что персонаж остался на месте; смешивание двух движений в одной фразе дает плохой результат.
  • Поддерживаются только англоязычные подсказки; требуется видеокарта NVIDIA; на выходе получается скелет, а не меш (сетка); интерфейс демонстрационной страницы — на японском языке.

Открыть

抱脸 text-to-3d 上升榜第 8

Открыть последние новости ИИ