tencent/Hy-Nomas

Tencent Hunyuan のインタラクティブなビデオ世界モデルは、10 月 26 日にすでに収録済みです。ビデオはセグメントごとに生成され、各セグメントではテキストでオブジェクトの追加、スタイルの変更、動作の説明、またはカメラ軌道の指定が可能で、先行するコンテンツは KV キャッシュを用いて連続的に処理されます。今回の再収録は、その後技術レポートが追加され、さらにいくつかのコミュニティによるデプロイ手段が加わったためです。

Tencent Hunyuan のインタラクティブなビデオ世界モデルは、10 月 26 日にすでに収録済みです。ビデオはセグメントごとに生成され、各セグメントではテキストでオブジェクトの追加、スタイルの変更、動作の説明、またはカメラ軌道の指定が可能で、先行するコンテンツは KV キャッシュを用いて連続的に処理されます。今回の再収録は、その後技術レポートが追加され、さらにいくつかのコミュニティによるデプロイ手段が加わったためです。

上昇スコア 69 · いいね 126 · ダウンロード数 53401

理由

  • 10 月 26 日の収録時との比較における新コンテンツ:技術レポートが 10 月 27 日に arXiv に掲載されました(2610.36729)。バックボーンは 8B の拡散モデルであり、構造化されたビデオ記述とアクション時間窓に制限された因果的注意機構を使用し、訓練は多段階のカリキュラムで行われ、最後に拡散蒸留を実施します。要約では、人間による評価で既存の世界モデルより優れているとされていますが、具体的なスコアは示されていません。
  • コミュニティによるアクセス:サードパーティ製の ComfyUI-Hy-Nomas ノードでは、作者によると 12 GB の GPU で動作可能で、1枚の画像から世界を開始したり、WASD キーボードでセグメントごとに操作したりできます。SGLang Diffusion はすでにサポートがマージされており、オフラインタスクとリアルタイムのストリーミングセッションの両方に対応しています。WanGP v18.81 でも世界生成とキーボードナビゲーションが追加されました。
  • ComfyUI ノードの作者が提供したサンプル:4つの 5 秒のセグメントを結合して 20 秒の動画を作成し、解像度 1280×704、フレームレート 24 fps で、RTX 4090 上で各動画あたり約 3 分かかります。公式 GitHub では、蒸留版が 4 / 6 / 8 ステップの推論をサポートしているとされています。

使い方

  • ComfyUI:ComfyUI-Manager で Hy-Nomas (world model) を検索するか、comfy node install hy-nomas を実行します。PedroMarinhoDev/Hy-Nomas-ComfyUI から hy_nomas_distil_int8.safetensors を diffusion_models に、hy_nomas_pixelumm_fp8.safetensors を vae に配置します。テキストエンコーダーには Qwen-Image と同様の qwen_2.5_vl_7b_fp8_scaled を使用します。サンプリング設定は euler / simple / 8 ステップ / cfg 1 とし、解像度は 1280×704 または 832×480 を選択します。
  • 公式コード:git clone Tencent-Hunyuan/Hy-Nomas。単一 GPU での使用には configs/experiment/single_gpu_low_mem_inference.yaml を用い、INT8 DiT と FP8 PixelUMM を設定します。標準設定ではデフォルトで 8 枚の GPU によるシーケンス並列処理が必要です。プロンプトは JSON 形式で、各セグメントに開始・終了時間を記述し、後続のセグメントでは description_change を用いて画面の変化を記述します。
  • デプロイしたくない場合は、公式のオンラインデモ(hy-nomas.hy.tencent.com)を利用できます。

リスク

  • ComfyUI ノードはコミュニティ作品であり、作者は「開発中」と明記しています。ノードの入力仕様は変更される可能性があり、コードは GPL-3.0 です。「画像から開始する」手法は、画像を履歴メモリに挿入するものであり、モデル自体には画像入力機能がありません。
  • 技術レポートの要約には定量的なスコアがなく、人間による評価の詳細については本欄で確認していません。公式の単一 GPU 4090 設定では、アンロードされたモデルと蓄積される履歴キャッシュを保持するために大量のシステムメモリが必要であり、INT8 版では推論時に LoRA を読み込むことができません。
  • Web デモでは、プロンプト強化サービス Nomas-PE の追加デプロイが必要です。24 fps はあくまで再生フレームレートであり、生成速度はハードウェア、解像度、履歴の長さに依存します。

開く

Hugging Face Trending

最新の AI ニュースを見る