patch-gg/anymove

把一段 AI 生成的视频变成任意已绑骨骼生物(带翅膀、尾巴、八条腿也行)的动画:视频模型在同一画面里同时拍正面和侧面,一个只认这只生物的关节识别器读出两个视角的关节,交会定出 3D 位置,再把骨骼贴上去导出 GLB。

把一段 AI 生成的视频变成任意已绑骨骼生物(带翅膀、尾巴、八条腿也行)的动画:视频模型在同一画面里同时拍正面和侧面,一个只认这只生物的关节识别器读出两个视角的关节,交会定出 3D 位置,再把骨骼贴上去导出 GLB。

星数 420(+61 / 24h)

理由

  • 流程 8 步:一张图生成带贴图的网格(Flux 3 出图、Tripo H3.1 建模)→ 在网格视图上手放骨骼、Blender 蒙皮 → 每条肢体涂不同颜色防左右互换 → MiniMax H3 Max 按提示词生成 5 秒双机位视频 → 用随机姿势训练 DINOv2 关节识别器 → 逐帧读关节 → 两视角求 3D → 骨骼拟合导出 24 fps GLB
  • 作者给了狼、龙、巨型蜘蛛、火焰恶魔四个例子,识别器留出集平均误差 2.9–9.4 像素;作者称每段 5 秒视频在 fal 上约 0.26 美元,读关节 10 秒、拟合不到一分钟,不需要手修
  • 自带 6 个 Claude Code 技能(总览、绑骨、拍片、识别器、采集、LoRA),写明怎么分辨采集好坏;另可在 fal 上训练 MiniMax H3 双机位 LoRA,作者称加 LoRA 后狼的肢体颜色互换从 5 段里 2 段降到 0 段(每个动作只跑一个种子)
  • 方法来自 @CanItCode,H3 LoRA 的想法来自 @Graalitoo,这个仓库是作者整理的可运行版本

用法

  • 需要 NVIDIA CUDA 显卡(训练识别器要 24 GB 显存,读关节和拟合要求低得多)、Python 3.11、Blender 5.x 和 fal 的 Key;git clone 后按 README 装 torch 2.11 和依赖,把 FAL_KEY 写进 .env
  • 先零成本试:仓库带了龙吼叫片段的关节数据,用 mocap.solve 在 CPU 上约 20 秒拟合;再用 tools/fetch_examples.sh dragon --readers --clips 下载示例网格、识别器和片段,依次跑 prep.sh、rig.sh、capture.sh 得到完整 GLB
  • Claude Code:/plugin marketplace add Patch-gg/anymove,再 /plugin install anymove@anymove
  • 做自己的生物:从 assets/ 复制最接近的例子(狼四足、龙带翅膀、蜘蛛八腿、恶魔双足带翅膀尾巴),换上 model.glb,依次跑 prep、rig、dataset(约 25 分钟)、train(约 20 分钟)、film、capture

风险

  • 作者列出的限制:八条腿行走拟合不了(两视角对哪条腿抬起分歧大),躺倒动作失败,骨骼要手放,视频模型会漂移;地面接触只认狼和龙的爪部命名,毛发和布料要额外骨骼
  • LoRA 的训练片段由 AI 视频反解动作再渲染而来,动作本身是 AI 做的;在 fal 上训练 1200 步约 12 美元、2 小时,价格是作者 10 月记录的
  • 代码 Apache-2.0,但 MiniMax H3 开放权重是社区许可、fal 托管使用受 fal 条款约束,随附的狼 LoRA 受 H3 社区许可约束而不是 Apache-2.0;仓库 10 月 27 日才建

打开

GitHub

浏览最新 AI 动态