PanDWM:パノラマバンドを生成する運転世界モデル

運転世界モデルは通常、6つのピンホールカメラの動画を生成し、各視点間の整合性を保つことを学習する必要があります。PanDWM はこれらを1本の 360° パノラマバンドに結合します(2つの重なる半分の画像に分割し、各カメラ境界が1枚の画像内に収まるようにします)。3D バウンディングボックスと高精細マップを条件として、ウィンドウ単位で因果的に生成します。各ウィンドウは 3 フレームの履歴と 16 フレームのターゲットを含み、4ステップの学生モデルは 50 ステップの因果教師から蒸留され、自身が生成した履歴上で訓練されます。その後、フィードフォワードデコーダがカメラ光線に沿って各フレームを 3D ガウシアンに持ち上げ、隣接フレームの静的ガウシアンを追加して 4D シーンを補完します。著者によると、nuScenes において FID と FVD の両方がマルチカメラベースラインより低く、速度はそれらの 8〜46 倍です。

原題:PanDWM: Panoramic 4D Driving World Models

運転世界モデルは通常、6つのピンホールカメラの動画を生成し、各視点間の整合性を保つことを学習する必要があります。PanDWM はこれらを1本の 360° パノラマバンドに結合します(2つの重なる半分の画像に分割し、各カメラ境界が1枚の画像内に収まるようにします)。3D バウンディングボックスと高精細マップを条件として、ウィンドウ単位で因果的に生成します。各ウィンドウは 3 フレームの履歴と 16 フレームのターゲットを含み、4ステップの学生モデルは 50 ステップの因果教師から蒸留され、自身が生成した履歴上で訓練されます。その後、フィードフォワードデコーダがカメラ光線に沿って各フレームを 3D ガウシアンに持ち上げ、隣接フレームの静的ガウシアンを追加して 4D シーンを補完します。著者によると、nuScenes において FID と FVD の両方がマルチカメラベースラインより低く、速度はそれらの 8〜46 倍です。

なぜ重要か マルチカメラ視点の整合性が、単一の画像で連続性を保つ問題へと変換されます。著者によると、4ステップモデルはマルチカメラベースラインより高速で画質指標も優れており、重みは公開済みです

いいね 1 · コードスター数 5

理由

  • 著者によると、学生モデルは教師の FID を維持しており(10.1 対 9.93)、FVD-1 は 47.7 から 37.4 に低下し、フレームあたり 1.96 秒で処理できますが、教師は 33.7 秒かかります
  • 4ステップ動画学生モデル、ガウシアンデコーダ、レンダリングリペアラーの3つの重みと、各表を再現するためのスクリプトが公開されています
  • 生成されたシーンは横方向に ±1、±2、±4 メートル平行移動させて再レンダリングでき、レンダリングリペアラーがオフセット視点のノイズ除去を行います

使い方

  • コード:https://github.com/AIGeeksGroup/PanDWM(基于 OpenDWM、MIT);重みは Hugging Face の AGeeksGroup/PanDWM にあり、さらに Stable Diffusion 3.5 Medium の VAE とテキストエンコーダが必要です
  • データには nuScenes の前処理済みパノラマ版を使用します。scripts/tests_gen.sbatch(CKPT は pandwm_video_v84i4250_ema.pth を指す)でテストクリップを生成し、long_video_testl.sbatch で長尺動画を生成します

リスク

  • コードは著者の SLURM クラスタ上のそのままのスナップショットであり、パスの手動置換や sbatch によるスクリプト提出が必要です。評価に使用されたインデックスファイルのダウンロード先はまだ公開されておらず、第1段階の教師チェックポイントも未公開です
  • 重みは Stability AI コミュニティライセンスに従います。nuScenes のみで訓練および評価されています。本項目は実行されていません

開く · コード · Hugging Face 論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る