AI生成の動画を、任意のリグ付き生物（翼、尾、8本脚なども対応）のアニメーションに変換：動画モデルが同一フレーム内で正面と側面を同時に撮影し、その生物専用の関節認識器が2つの視点から関節を読み取り、三角測量により3D位置を決定、その後スケルトンを適用してGLB形式で出力。
スター数 420（+61 / 24時間）
理由
- ワークフローは8ステップ：1枚の画像からテクスチャ付きメッシュを生成（Flux 3で画像生成、Tripo H3.1でモデリング）→ メッシュビュー上で手動スケルタルリグを作成し、Blenderでスキニング → 各肢体に異なる色を塗って左右の混同を防ぐ → MiniMax H3 Maxでプロンプトに基づき5秒間のデュアルカメラ動画を生成 → ランダムなポーズでDINOv2関節認識器を訓練 → フレームごとに関節を読み取り → 2視点から3Dを算出 → スケルトンフィッティングを行い24 fpsのGLBを出力
- 作者は狼、ドラゴン、巨大クモ、炎の悪魔の4つの例を提示しており、認識器のホールドアウトセットでの平均誤差は2.9〜9.4ピクセル。作者によれば、fal上で5秒間の動画を生成するコストは約0.26ドル、関節読み取りは10秒、フィッティングは1分未満で、手動修正は不要
- 6個のClaude Codeスキル（概要、リグ作成、撮影、認識器、データ収集、LoRA）が付属しており、データ収集の良し悪しの判別方法が明記されている。さらにfal上でMiniMax H3デュアルカメラLoRAを訓練可能。作者によれば、LoRA追加により狼の肢体の左右色混同が5セグメント中2セグメントから0セグメントに減少（各アクションにつきシードは1つのみ使用）
- 手法は@CanItCodeによるもので、H3 LoRAのアイデアは@Graalitooによるもの。このリポジトリは作者が整理した実行可能なバージョン
使い方
- NVIDIA CUDA GPUが必要（認識器の訓練には24 GBのVRAMが必要だが、関節読み取りとフィッティングの要件ははるかに低い）、Python 3.11、Blender 5.x、およびfalのキーが必要。git clone後、READMEに従ってtorch 2.11と依存関係をインストールし、FAL_KEYを.envに記述
- まず無料で試行可能：リポジトリにはドラゴンの咆哮クリップの関節データが含まれており、mocap.solveを使用してCPU上で約20秒でフィッティング可能。その後、tools/fetch_examples.sh dragon --readers --clipsでサンプルメッシュ、認識器、クリップをダウンロードし、prep.sh、rig.sh、capture.shを順に実行して完全なGLBを取得
- Claude Code：/plugin marketplace add Patch-gg/anymove、続いて /plugin install anymove@anymove
- 独自生物の作成：assets/から最も近い例（狼は四足、ドラゴンは翼あり、クモは8本脚、悪魔は二足で翼と尾あり）をコピーし、model.glbを置き換え、prep、rig、dataset（約25分）、train（約20分）、film、captureを順に実行
リスク
- 作者が列挙する制限事項：8本脚の歩行はフィッティング不可（2視点間でどの脚が持ち上がっているかについて大きな乖離が生じる）、横たわる動作は失敗、スケルトンは手動配置が必要、動画モデルにはドリフトが発生。地面との接触は狼とドラゴンの爪の命名のみ認識、毛髪や布地には追加のスケルトンが必要
- LoRAの訓練クリップは、AI動画から動作を逆算してレンダリングしたものであり、動作自体はAI生成。fal上での訓練は1200ステップで約12ドル、2時間かかり、価格は作者が10月に記録したもの
- コードはApache-2.0ライセンスだが、MiniMax H3のオープンウェイトはコミュニティライセンスであり、falホスティングの利用はfalの条項に準拠。同梱の狼LoRAはApache-2.0ではなくH3コミュニティライセンスに準拠。リポジトリは10月27日に作成された