PanDWM: Мировая модель вождения, генерирующая панорамную ленту

Мировые модели вождения обычно генерируют видео с шести пинхол-камер, что требует обеспечения согласованности между различными ракурсами. PanDWM объединяет их в единую 360° панорамную ленту (разбитую на две перекрывающиеся половины так, чтобы каждая граница камеры попадала в одно изображение), генерируя кадры причинно-следственно по окнам с использованием в качестве условий 3D ограничивающих рамок и карт высокой точности: каждое окно содержит 3 кадров истории и 16 целевых кадров, четырехшаговая студентная модель дистиллируется из 50-шаговой причинно-следственной учительной модели и обучается на собственных сгенерированных данных. Затем декодер прямого распространения поднимает каждый кадр в 3D гауссианы вдоль лучей камеры, а добавление статических гауссиан из соседних кадров дополняет сцену до 4D. Авторы утверждают, что на наборе данных nuScenes показатели FID и FVD ниже, чем у многокамерных базовых моделей, а скорость работы в 8–46 раз выше.

Оригинальное название: PanDWM: Panoramic 4D Driving World Models

Мировые модели вождения обычно генерируют видео с шести пинхол-камер, что требует обеспечения согласованности между различными ракурсами. PanDWM объединяет их в единую 360° панорамную ленту (разбитую на две перекрывающиеся половины так, чтобы каждая граница камеры попадала в одно изображение), генерируя кадры причинно-следственно по окнам с использованием в качестве условий 3D ограничивающих рамок и карт высокой точности: каждое окно содержит 3 кадров истории и 16 целевых кадров, четырехшаговая студентная модель дистиллируется из 50-шаговой причинно-следственной учительной модели и обучается на собственных сгенерированных данных. Затем декодер прямого распространения поднимает каждый кадр в 3D гауссианы вдоль лучей камеры, а добавление статических гауссиан из соседних кадров дополняет сцену до 4D. Авторы утверждают, что на наборе данных nuScenes показатели FID и FVD ниже, чем у многокамерных базовых моделей, а скорость работы в 8–46 раз выше.

Почему это важно Задача согласованности многокамерных ракурсов сводится к обеспечению непрерывности на едином изображении; авторы утверждают, что четырехшаговая модель работает быстрее и показывает лучшие метрики качества, чем многокамерные базовые модели, веса модели уже опубликованы

Лайков: 1 · Звезд на GitHub: 5

Обоснование

  • Авторы утверждают, что студентная модель сохраняет показатель FID учительной модели (10.1 против 9.93), FVD-1 снижается с 47.7 до 37.4, время генерации составляет 1.96 секунды на кадр, тогда как учительной модели требуется 33.7 секунд
  • Опубликованы веса трех компонентов: четырехшагового видео-студента, гауссова декодера и корректора рендеринга, а также скрипты для воспроизведения всех таблиц
  • Сгенерированные сцены можно перерендеривать с горизонтальным смещением ±1, ±2, ±4 метров, корректор рендеринга выполняет шумоподавление для смещенных ракурсов

Использование

  • Код: https://github.com/AIGeeksGroup/PanDWM(基于 OpenDWM, MIT); веса находятся на Hugging Face в репозитории AIGeeksGroup/PanDWM, также требуются VAE и текстовый энкодер из Stable Diffusion 3.5 Medium
  • Данные: предобработанная панорамная версия набора nuScenes; для генерации тестовых фрагментов используйте scripts/tests_gen.sbatch (переменная CKPT должна указывать на pandwm_video_v84i4250_ema.pth), для генерации длинных видео используйте long_video_testl.sbatch

Риски

  • Код представляет собой снимок в том виде, в котором он использовался на кластере SLURM авторов: пути необходимо заменять вручную, скрипты отправляются через sbatch; индексный файл, использованный для оценки, еще не опубликован, веса учительной модели первого этапа не выпущены
  • Веса распространяются под лицензией Stability AI Community License; обучение и оценка проводились только на наборе данных nuScenes. Данный материал не был проверен авторами перевода

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ