原題:Hy-Nomas-Diffusers
Tencent Hy-Nomas は、自由形式かつマルチターン対話をサポートするビデオ世界生成モデルです。一度に1セグメントのビデオを生成し、生成中にテキスト指示を通じて物体の追加、スタイルやシーンの変更、動作の記述、カメラ軌道の提供による視点制御が可能です。モデルは、セグメントごとの自己回帰DiT、Qwenテキストエンコーダー、カメラ条件モジュール、PixelUMMビデオデコーダーで構成され、永続的なKVキャッシュを用いてセグメント間でコンテキストを引き継ぎます。このリポジトリは蒸留版のBF16 Diffusers重みであり、例では4ステップのノイズ除去を行い、704 × 1280、24 FPSで出力します。
なぜ重要か 「世界モデル」を単なる閲覧から、歩行しながら変更できるものへ進化させます。物体の追加、スタイルやシーンの変更、動作の記述、視点の制御がすべて同一の生成プロセス内で可能です。
Hugging Faceでのいいね数 14 · Hugging Faceでのトレンド上昇ポイント 0 · Hugging Faceでのダウンロード数 154
ライセンス:条件付き商用利用可 · ComfyUI:モデルカードに記載あり · VRAM:約21 GB(推定)
理由
- Hugging Faceのtencentアカウント
- ComfyUI:サードパーティ製のComfyUIパッケージ:t8star/HY-Nomas-Comfy
- スコア 35(freshness 0 / source 15 / heat 0 / comfy 4 / vram 4 / demo 5 / license 7)
使い方
- DiffusersのHyNomasModularPipelineを使用して読み込みます。公式デモで先に試すことも可能です。
リスク
- モデルカードにはapache-2.0と記載されていますが、LICENSEの原文には地域、規模、または用途に関する制限が含まれており、原文が優先されます。
- プログラムによるVRAM推定値は約21 GBです(オフロードは考慮されていません)。