gta

これはインタラクティブなビデオ世界モデルです。開始画像を1枚与え、キーを押すと、モデルはプレイヤーのアクションに応じてフレームごとに後続の画面を生成し、ブラウザへストリーミング配信します。作者が独自に考案したSummaryformerアーキテクチャにより、各フレームで完全な画面と96個のサマリートークンを同時に出力します。直近2フレームはフル解像度を保持し、それ以前のフレームはサマリーのみを保持、開始画像は常に保持されます。作者によれば、同じ長さの動画においてアテンション機構が読み取るキーの数が26,208個から6,528個に削減されるということです。モデルは約6.3億パラメータで、作者が独自に構築した800時間のGTA5データセットで訓練されました。リポジトリには重みと完全な推論サービスが含まれますが、訓練コードは含まれていません。

これはインタラクティブなビデオ世界モデルです。開始画像を1枚与え、キーを押すと、モデルはプレイヤーのアクションに応じてフレームごとに後続の画面を生成し、ブラウザへストリーミング配信します。作者が独自に考案したSummaryformerアーキテクチャにより、各フレームで完全な画面と96個のサマリートークンを同時に出力します。直近2フレームはフル解像度を保持し、それ以前のフレームはサマリーのみを保持、開始画像は常に保持されます。作者によれば、同じ長さの動画においてアテンション機構が読み取るキーの数が26,208個から6,528個に削減されるということです。モデルは約6.3億パラメータで、作者が独自に構築した800時間のGTA5データセットで訓練されました。リポジトリには重みと完全な推論サービスが含まれますが、訓練コードは含まれていません。

なぜ重要か 作者はコンシューマー向けハードウェア上でゼロから訓練を行い、「直近のフレームは全体像を保持し、遠いフレームはサマリーのみを保持する」というメモリ設計によってアテンションのオーバーヘッドを低減しました。ブラウザで直接試遊可能です。

いいね(抱きつき)11 · 上昇スコア(抱きつき)11 · ダウンロード(抱きつき)0

ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:記載なし

理由

  • Apache-2.0ライセンス。モデルカードにはメモリ機構、独自設計部分、参考にした研究などが明確に記載されています
  • オンライン試遊ページがあり、サーバー側プロトコルも提供されています

使い方

  • hf download lucidml/gta --local-dir gtaを実行した後、python summary\_server.py(デフォルトは3002番ポート)を実行します。プロトコルに従って開始画像をアップロードし、WebSocket経由でキー入力を送信します。CUDA対応GPUとPyTorchが必要です

リスク

  • 訓練データはGTA5のゲーム画面から取得されており、生成コンテンツはゲームの著作権に関わるため、商用利用前に慎重な評価が必要です
  • ブラウザクライアントはリポジトリに含まれていません。1つのGPUプロセスは同時に1人のプレイヤーにのみサービスを提供でき、モデルカードにはVRAM要件が記載されていません

開く

抱脸 image-to-video 上升榜第 9

最新の AI ニュースを見る