英伟达的实时动作生成模型:给出角色最近的姿态和接下来要到达的目标姿态,生成两者之间的连贯动作,用于人体骨骼动画和 Unitree G1 人形机器人的参考动作;配套的 Smart Primitives 把目标姿态做成可复用的“积木”,不用重训就能拼出行走和物体交互。
上升分 73 · 点赞 74 · 下载量 0
理由
- 两套权重:SOMA(30 关节人体骨骼,约 200M 参数,用 Bones RigPlay 1 动捕数据中的 313,526 段训练)和 Unitree G1(34 关节,约 195M 参数),两者文件不能互换。
- 每套由姿态 VQ-VAE、姿态预测器和根运动预测器三个网络组成;输出 30 Hz 动作,单次生成 6–16 个 token(24–64 帧),更长的动作把输出接回当上下文反复生成;不接受文本、图片输入。
- 论文发表于 ACM Transactions on Graphics;权重用 NVIDIA Open Model Agreement,允许商用和再分发修改版,配套代码 Apache 2.0。10 月 23 日发布,此前各期没有收录。
用法
- 只想看效果:直接用 GitHub 上的 NVlabs/motionbricks 软件,自带 ONNX 模型和 SOMA、G1 演示(基于 Newton 和 Warp),不需要下载这里的权重;TensorRT 演示运行时需要 NVIDIA GPU。
- 要自己导出 ONNX 或做别的运行时:hf download nvidia/MotionBricks --include "soma/*"(或 "g1/*"),保持目录结构,按软件仓库 tools/onnx 的指南导出;导出器在 CPU 上运行,需要 Python 3.12、PyTorch 2.14.0+cpu。
风险
- 生成的是动作,不是机器人控制器:上真机还需要单独的跟踪控制器、关节限位检查和安全验证。
- 模型卡没有端到端评测分数,也没给推理延迟和吞吐;权重不是 Transformers from_pretrained 模型,不含训练流程和训练数据。
- 附带的 BONES 动作样例只许用于内部评估测试(NVIDIA Sample Data Evaluation License);G1 包不含原演示用的动作库。
编辑:data.json 把它归为语言类,它实际做动作生成,这里改归生成类。