EvoWorld:動画世界モデルで画面外のイベント結果を推論する

動画生成モデルは信頼性の高い映像を描くのは得意ですが、イベント発生後に世界がどのように変化するのか(例えば、猛獣が現れた後、周囲の人が逃げるべきか、隠れるべきか、それとも抵抗すべきか)を推論するのはしばしば困難です。EvoWorldは、視覚言語モデルを「世界の脳」として機能させ、生成済みのクリップを観察し、世界状態を維持・管理して結果を推論します。その後、セグメントごとの自己回帰型動画レンダラー(LTX-2ベース)によって映像が描き出され、画面外の人や物も変化し続けます。著者は同時に、訓練データセットのEvoWorld-Dataと評価ベンチマークのEvoWorld-Benchを公開しており、イベントトリガーによる因果的進化において最近のモデルを明確に上回り、かつ画質と再訪時の一貫性を維持していると述べています。

原題:EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models

動画生成モデルは信頼性の高い映像を描くのは得意ですが、イベント発生後に世界がどのように変化するのか(例えば、猛獣が現れた後、周囲の人が逃げるべきか、隠れるべきか、それとも抵抗すべきか)を推論するのはしばしば困難です。EvoWorldは、視覚言語モデルを「世界の脳」として機能させ、生成済みのクリップを観察し、世界状態を維持・管理して結果を推論します。その後、セグメントごとの自己回帰型動画レンダラー(LTX-2ベース)によって映像が描き出され、画面外の人や物も変化し続けます。著者は同時に、訓練データセットのEvoWorld-Dataと評価ベンチマークのEvoWorld-Benchを公開しており、イベントトリガーによる因果的進化において最近のモデルを明確に上回り、かつ画質と再訪時の一貫性を維持していると述べています。

なぜ重要か イベント発生後に人や物が合理的な反応を示し、画面外に出て再び戻っても整合性が保たれるため、動画生成は「見た目が似ている」段階から「推論が正しい」段階へ一歩進む

いいね 19 · コードのスター数 22

理由

  • 動画世界モデルに明示的な世界状態と因果推論のステップを追加し、「映像は妥当だが人物が動かない、前後が矛盾する」という問題に対処している
  • 重み、訓練データ、評価セット、および2段階の訓練スクリプトがすべて公開されている
  • リポジトリには画像から動画への生成例が含まれており、例内の反応プロンプトは事前に生成されているため、VLMサービスを起動しなくても実行可能

使い方

  • コード:https://github.com/Tommy-Bie/EvoWorld;权重:抱脸 Tommy-Bie/EvoWorld;データ:Tommy-Bie/EvoWorld-Data、Tommy-Bie/EvoWorld-Bench
  • uv sync で環境をセットアップした後、scripts/infer_examples.sh --case media/example1 を実行してサンプルを実行します。オンライン推論を行う場合は、別途VLMサービスを起動する必要があります(docs/VLM_INFERENCE.mdを参照)

リスク

  • LTX-2に基づいており、関連コンポーネントはLTX-2.xコミュニティライセンスの制約を受けるため、商用利用前にライセンスを確認する必要があります
  • 性能向上は主に著者が独自に構築したEvoWorld-Benchで測定されたものであり、アブストラクトには具体的な数値が示されていません
  • 本項目は実行されておらず、映像効果についてはプロジェクトページを基準としてください

開く · コード · 顔隠し論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る