LynnReal-Hand:手部動作で制御するビデオ世界モデル

インタラクティブなビデオ世界モデルはテキストやカメラ操作でシーンを探索できますが、物体との直接的なインタラクションにはより細かな制御が必要です。LynnReal-Hand は、100K 件の実写および合成シーンのインタラクションクリップを整理し、手に注目した教師信号を用いて指の動きや接触の細部を改善しました。さらに、因果的フローマッピングを学習して少ないステップでの生成を実現し、領域別のスコア蒸留によりビデオおよび画像の事前知識を統合しています。また、コンパクトな Ultra-Fast-VAE デコーダを別途学習することで遅延を低減しています。著者によると、HandBench において、全シーケンスモデルでは FVD 181.67、MANO Dice 93.02、3ステップの因果モデルでは Dice 92.49 を達成。単一の H200 GPU 上で 540p のストリーミング生成において 18.03 FPS、遅延 741ms、ピークメモリ使用量 34.89GB を記録しました。

原題:LynnReal-Hand: Unlocking World Interaction with Hand Control

インタラクティブなビデオ世界モデルはテキストやカメラ操作でシーンを探索できますが、物体との直接的なインタラクションにはより細かな制御が必要です。LynnReal-Hand は、100K 件の実写および合成シーンのインタラクションクリップを整理し、手に注目した教師信号を用いて指の動きや接触の細部を改善しました。さらに、因果的フローマッピングを学習して少ないステップでの生成を実現し、領域別のスコア蒸留によりビデオおよび画像の事前知識を統合しています。また、コンパクトな Ultra-Fast-VAE デコーダを別途学習することで遅延を低減しています。著者によると、HandBench において、全シーケンスモデルでは FVD 181.67、MANO Dice 93.02、3ステップの因果モデルでは Dice 92.49 を達成。単一の H200 GPU 上で 540p のストリーミング生成において 18.03 FPS、遅延 741ms、ピークメモリ使用量 34.89GB を記録しました。

なぜ重要か インタラクティブな世界モデルの多くはテキストやカメラによる制御のみに対応していますが、本手法では手で直接物体を掴んだり離したりすることが可能になり、著者によれば単一のGPUでリアルタイムのストリーミング生成が可能になります

いいね 2 · コードのスター数 11

理由

  • 全シーケンスの Base モデルと3ステップ因果の Fast(プレビュー版)の2つの生成パッケージ、および単体の Ultra-Fast-VAE デコーダが公開されています。生成パッケージには MiniMax H3 のオリジナル VAE と Qwen エンコーダが含まれています
  • 手を伸ばす、掴む、離す、両手の協調動作に対応し、カメラ軌道も同時に制御可能です。リポジトリには、開始画像、手の動画、カメラ姿勢、参考結果を含む7組のサンプルが付属しています
  • Fast モデルは、現在のブロック、前のブロック、固定された最初のフレームのみをコンテキストとして保持するため、ストリーミング生成時にアテンションキャッシュが無限に増加することはありません

使い方

  • コード:https://github.com/LynnReal-AI/LynnReal(MiniMax H3 コミュニティライセンス);重みは Hugging Face の shaohao011 アカウントにあり、python scripts/download_weights.py --component fast でダウンロードします
  • まず lynnreal-hand validate でサンプル入力をチェックし(GPU不要)、次に lynnreal-hand prepare で条件キャッシュを生成、lynnreal-hand infer --config configs/fast.json で動画を出力します。--accelerated オプションを付けると単一GPUの高速化パスを利用できます

リスク

  • 両モデルともパラメータ数は 33B で、参考環境は単一の H200 です。開始画像、手の動画、カメラ姿勢は視野角が一致し、フレーム順序が整列している必要があり、入力は特定の固定フレーム数のみを受け付けます
  • MiniMax H3 のコミュニティライセンスは、EU、英国、韓国、米国では適用されず、商用利用には追加の条件があります
  • 性能指標は著者による報告値であり、本記事では検証を行っていません

開く · コード · Hugging Face 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る