Решение проблемы постепенного дрейфа собственного движения камеры (ego-motion) при длительной генерации диффузионными видеомоделями: сначала с помощью линейных пробников и каузальных вмешательств определяются слои и этапы денуазинга в Wan2.2, кодирующие движение камеры (авторы обнаружили, что оно сначала возрастает, а затем убывает по мере денуазинга), затем представления этих слоев выравниваются с представлением «межкадровых изменений», полученным от базовой модели 3D; обучение LoRA выполняется только на выбранных слоях и временных шагах.
Лайки 13 · Звезды в репозитории 7
Обоснование
- Авторы утверждают, что после дообучения Wan2.2 на наборах данных DL3DV и RealEstate10K повышаются точность движения, геометрическая согласованность и временная плавность; при этом геометрическая согласованность улучшается более чем на 20% по сравнению с базовой моделью, а качество изображения остается неизменным.
- Метод переносится на задачи воплощенного ИИ: использование дообученной видеомодели в качестве модели мира для действий повышает успешность выполнения задач мобильной манипуляции в RoboCasa365 на 10 процентных пункта (по данным авторов).
- Репозиторий содержит полную реализацию трехэтапного обучения; номера слоев, временные шаги и параметры ранга LoRA жестко заданы в конфигурации релиза, а также включены скрипты проверки согласованности.
Использование
- Код: github.com/PKU-VaLuE-Lab/CausalAlign (лицензия Apache-2.0), Python 3.10/3.11, PyTorch 2.4+, CUDA 12.x, установка через pip install -e '.[wan,test]'; дополнительно требуются модели Wan-AI/Wan2.2-I2V-A14B-Diffusers, чекпоинты LingBot-Map и данные DL3DV / RealEstate10K.
- Процесс: tools/prepare_data.py создает манифест → извлечение и кэширование признаков учителя и входных данных Wan → запуск torchrun последовательно для stage1 / stage2 / stage3 → tools/export_lora.py экспортирует объединенную модель; перед началом основного обучения необходимо проверить конфигурацию и данные с помощью tools/validate_release.py.
- Эксперименты по расширению на воплощенный ИИ находятся в каталоге wam/ и используют Wan2.2-TI2V-5B, которые несовместимы с продуктом A14B по умолчанию.
Риски
- Обученные LoRA не опубликованы; для использования необходимо обучать их самостоятельно. Команды обучения в README рассчитаны на одноузловую систему с 8 GPU, также требуется предварительное извлечение признаков учителя, что создает высокий порог вычислительных затрат.
- Реализация выполнена только для Wan2.2, а данные необходимо запрашивать и загружать самостоятельно; все числовые показатели приведены по данным авторов, демонстрационные видео не проверялись, поэтому качество изображения не оценивается.