PartLock-CMU

PartLock-CMU はストリーミング対応のテキストからモーションへの生成モデルです(3050 万パラメータの生成器 + 750 万パラメータの部位別モーショントークナイザー)。walk、jump、salsa dance などの短い文を入力すると全身の動きを連続的に生成し続け、文を切り替えると約 0.13 秒で反映され、動きは滑らかに遷移します。著者は CMU モーションキャプチャライブラリの 2308 個のクリップのみを使用し、RTX 3060 1枚で訓練しました。全プロセスは約 3 時間 50 分です。同じカード上で各ステップ(4 フレーム)の処理時間は 35〜38 ミリ秒であり、リアルタイム処理に必要な速度より約 3.5 倍高速です。出力は 30 fps、22 個の関節(SMPL 順序)の位置と回転であり、キャラクターのスケルトンへのリダイレクションはユーザー側で行う必要があります。

PartLock-CMU はストリーミング対応のテキストからモーションへの生成モデルです(3050 万パラメータの生成器 + 750 万パラメータの部位別モーショントークナイザー)。walk、jump、salsa dance などの短い文を入力すると全身の動きを連続的に生成し続け、文を切り替えると約 0.13 秒で反映され、動きは滑らかに遷移します。著者は CMU モーションキャプチャライブラリの 2308 個のクリップのみを使用し、RTX 3060 1枚で訓練しました。全プロセスは約 3 時間 50 分です。同じカード上で各ステップ(4 フレーム)の処理時間は 35〜38 ミリ秒であり、リアルタイム処理に必要な速度より約 3.5 倍高速です。出力は 30 fps、22 個の関節(SMPL 順序)の位置と回転であり、キャラクターのスケルトンへのリダイレクションはユーザー側で行う必要があります。

なぜ重要か CMU モーションキャプチャライブラリのみで訓練されており、著者によれば商用製品での利用が可能とされています。コンシューマー向け NVIDIA GPU でもリアルタイム生成が可能で、出力されるスケルトンデータはキャラクターにバインドして利用できます。

いいね 1 · 上昇スコア 1 · ダウンロード数 0

ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:約 1 GB(推定)

理由

  • コードと重みは Apache-2.0 ライセンス。モデルカードには訓練データ、分割方法、制限事項が明記されており、例は選別されていません
  • ローカルでのリアルタイムデモページが同梱されており、Windows ではスクリプトをダブルクリックして起動できます

使い方

  • pip install -r requirements.txt を実行した後、python live/live_server.py を起動し、http://localhost:8765 で短い文を入力します。または python generate.py --sec 4 --out motion.npz "walk" "jump" を実行してモーションファイルを出力します

リスク

  • CMU ライブラリに含まれる動作のみを学習しており、著者が試みた 20 個の新動作はほぼすべてその場で動かない状態でした。1つの文に2つの動作を混在させると効果が低いです
  • 英語のプロンプトのみ対応。NVIDIA GPU が必要。出力はメッシュではなくスケルトンです。デモページのインターフェースは日本語です

開く

抱脸 text-to-3d 上升榜第 8

最新の AI ニュースを見る