NVIDIA のリアルタイム動作生成モデル：キャラクターの直近のポーズと次に到達すべき目標ポーズを入力すると、その間の連続的な動作を生成します。人体スケルトンアニメーションや Unitree G1 ヒューマノイドロボットの参考動作として利用可能です。併用する Smart Primitives は、目標ポーズを再利用可能な「ブロック」として扱い、再学習なしで歩行や物体とのインタラクションを組み立てることができます。
上昇スコア 73 · いいね 74 · ダウンロード数 0
理由
- 2 種類の重み付け：SOMA（30 関節の人体スケルトン、約 200M パラメータ、Bones RigPlay 1 モーションキャプチャデータ内の 313,526 個のセグメントで訓練）と Unitree G1（34 関節、約 195M パラメータ）があり、両者のファイルは互換性がありません。
- 各セットは、ポーズ VQ-VAE、ポーズ予測器、ルートモーション予測器の 3 つのネットワークで構成されています。出力は 30 Hz の動作で、1 回の生成で 6～16 個のトークン（24～64 フレーム）を出力します。より長い動作は、出力をコンテキストとして繰り返し生成に使用します。テキストや画像の入力は受け付けません。
- 論文は ACM Transactions on Graphics に掲載されました。重みは NVIDIA Open Model Agreement の下で提供され、商用利用や改変版の再配布が許可されています。付随するコードは Apache 2.0 です。10 月 23 日に公開され、それ以前の号には収録されていません。
使い方
- 効果を確認するだけの場合：GitHub 上の NVlabs/motionbricks ソフトウェアを直接使用してください。ONNX モデルと SOMA、G1 のデモ（Newton と Warp ベース）が含まれており、ここでの重みをダウンロードする必要はありません。TensorRT デモの実行には NVIDIA GPU が必要です。
- ONNX を独自にエクスポートしたり、他のランタイムを使用したりする場合：
hf download nvidia/MotionBricks --include "soma/\*"（または"g1/\*"）を実行し、ディレクトリ構造を維持したまま、ソフトウェアリポジトリのtools/onnxガイドに従ってエクスポートしてください。エクスポートツールは CPU 上で動作し、Python 3.12 と PyTorch 2.14.0+cpu が必要です。
リスク
- 生成されるのは動作であり、ロボットコントローラーではありません。実機への適用には、個別のトラッキングコントローラー、関節可動域チェック、および安全検証が必要です。
- モデルカードにはエンドツーエンドの評価スコアがなく、推論レイテンシやスループットも記載されていません。重みは Transformers の
from_pretrainedモデルではなく、訓練パイプラインや訓練データも含まれていません。 - 付随する BONES 動作サンプルは、内部評価テスト専用（NVIDIA Sample Data Evaluation License）です。G1 パッケージには、元のデモで使用された動作ライブラリは含まれていません。
編集：data.json では言語モデルに分類されていましたが、実際には動作生成を行うため、ここでは生成モデルに分類を変更しました。