Hy-Nomas:腾讯の自由対話型世界生成モデル

Tencent Hy-Nomas は、自由形式かつマルチターン対話をサポートするビデオ世界生成モデルです。一度に1セグメントのビデオを生成し、生成中にテキスト指示を通じて物体の追加、スタイルやシーンの変更、動作の記述、カメラ軌道の提供による視点制御が可能です。モデルは、セグメントごとの自己回帰DiT、Qwenテキストエンコーダー、カメラ条件モジュール、PixelUMMビデオデコーダーで構成され、永続的なKVキャッシュを用いてセグメント間でコンテキストを引き継ぎます。このリポジトリは蒸留版のBF16 Diffusers重みであり、例では4ステップのノイズ除去を行い、704 × 1280、24 FPSで出力します。

原題:Hy-Nomas-Diffusers

Tencent Hy-Nomas は、自由形式かつマルチターン対話をサポートするビデオ世界生成モデルです。一度に1セグメントのビデオを生成し、生成中にテキスト指示を通じて物体の追加、スタイルやシーンの変更、動作の記述、カメラ軌道の提供による視点制御が可能です。モデルは、セグメントごとの自己回帰DiT、Qwenテキストエンコーダー、カメラ条件モジュール、PixelUMMビデオデコーダーで構成され、永続的なKVキャッシュを用いてセグメント間でコンテキストを引き継ぎます。このリポジトリは蒸留版のBF16 Diffusers重みであり、例では4ステップのノイズ除去を行い、704 × 1280、24 FPSで出力します。

なぜ重要か 「世界モデル」を単なる閲覧から、歩行しながら変更できるものへ進化させます。物体の追加、スタイルやシーンの変更、動作の記述、視点の制御がすべて同一の生成プロセス内で可能です。

Hugging Faceでのいいね数 14 · Hugging Faceでのトレンド上昇ポイント 0 · Hugging Faceでのダウンロード数 154

ライセンス:条件付き商用利用可 · ComfyUI:モデルカードに記載あり · VRAM:約21 GB(推定)

理由

  • Hugging Faceのtencentアカウント
  • ComfyUI:サードパーティ製のComfyUIパッケージ:t8star/HY-Nomas-Comfy
  • スコア 35(freshness 0 / source 15 / heat 0 / comfy 4 / vram 4 / demo 5 / license 7)

使い方

  • DiffusersのHyNomasModularPipelineを使用して読み込みます。公式デモで先に試すことも可能です。

リスク

  • モデルカードにはapache-2.0と記載されていますが、LICENSEの原文には地域、規模、または用途に関する制限が含まれており、原文が優先されます。
  • プログラムによるVRAM推定値は約21 GBです(オフロードは考慮されていません)。

開く

抱脸 tencent 账号

最新の AI ニュースを見る