PartLock-CMU

PartLock-CMU 是一个流式文字转动作模型(3050 万参数的生成器 + 750 万参数的分部位动作 tokenizer),输入 walk、jump、salsa dance 这类短句就会不停生成全身动作,换句子后约 0.13 秒生效,动作连续过渡。作者只用 CMU 动作捕捉库的 2308 段片段在一张 RTX 3060 上训练,整套流程约 3 小时 50 分钟;在同一张卡上每步(4 帧)耗时 35–38 毫秒,比实时所需快约 3.5 倍。输出是 30 fps、22 个关节(SMPL 顺序)的位置和旋转,需要自己重定向到角色骨骼。

PartLock-CMU 是一个流式文字转动作模型(3050 万参数的生成器 + 750 万参数的分部位动作 tokenizer),输入 walk、jump、salsa dance 这类短句就会不停生成全身动作,换句子后约 0.13 秒生效,动作连续过渡。作者只用 CMU 动作捕捉库的 2308 段片段在一张 RTX 3060 上训练,整套流程约 3 小时 50 分钟;在同一张卡上每步(4 帧)耗时 35–38 毫秒,比实时所需快约 3.5 倍。输出是 30 fps、22 个关节(SMPL 顺序)的位置和旋转,需要自己重定向到角色骨骼。

为什么重要 只用 CMU 动作捕捉库训练,作者称可以用在商业产品里;消费级 N 卡就能实时生成,输出骨骼数据可再绑到角色上。

抱脸点赞 1 · 抱脸上升分 1 · 抱脸下载 0

许可证:可商用 · ComfyUI:暂无 · 显存:≈1 GB 估算

理由

  • 代码和权重 Apache-2.0;模型卡写明了训练数据、划分方式和局限,示例未挑选
  • 自带本地实时演示页面,Windows 可双击脚本启动

用法

  • pip install -r requirements.txt 后运行 python live/live_server.py,打开 http://localhost:8765 输入短句;或用 python generate.py --sec 4 --out motion.npz "walk" "jump" 导出动作文件

风险

  • 只会 CMU 库里有的动作,作者试的 20 个新动作几乎都原地不动;一句话里混两个动作效果差
  • 只支持英文提示;需要 NVIDIA 显卡;输出是骨骼不是网格,演示页面是日文界面

打开

抱脸 text-to-3d 上升榜第 8

浏览最新 AI 动态