Оригинальное название: EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models
Видеогенеративные модели хорошо создают правдоподобные кадры, но часто не могут предсказать, как мир должен измениться после события (например, после появления хищника должны ли люди рядом бежать, прятаться или сопротивляться). EvoWorld использует модель зрения и языка в качестве «мозга мира», которая наблюдает за уже сгенерированными фрагментами, поддерживает состояние мира и выводит последствия, а затем видеорендерер, работающий авторегрессионно по сегментам (на базе LTX-2), визуализирует их, при этом люди и объекты за пределами кадра продолжают изменяться. Авторы также публикуют обучающие данные EvoWorld-Data и бенчмарк EvoWorld-Bench, утверждая, что их подход значительно превосходит недавние модели в причинно-следственной эволюции, вызванной событиями, сохраняя при этом качество изображения и согласованность при повторном посещении сцен.
Почему это важно Люди и объекты реагируют разумно после событий, а при выходе из кадра и возвращении сохраняется согласованность; генерация видео делает шаг от «выглядит похоже» к «рассуждает правильно»
Лайки 19 · Звёзды на GitHub 22
Причины
- Добавлены явные этапы состояния мира и причинно-следственного рассуждения для видеомоделей мира, что решает проблему «правдоподобная картинка, но персонажи не двигаются или действия противоречивы»
- Опубликованы веса, обучающие данные, бенчмарк и скрипты двухэтапного обучения
- В репозитории есть примеры генерации видео из изображения, где промпты для реакций уже сгенерированы заранее, что позволяет запускать примеры без запуска сервиса VLM
Использование
- Код: https://github.com/Tommy-Bie/EvoWorld;权重:抱脸 Tommy-Bie/EvoWorld; данные: Tommy-Bie/EvoWorld-Data, Tommy-Bie/EvoWorld-Bench
- После установки окружения через uv sync запустите примеры командой scripts/infer_examples.sh --case media/example1; для онлайн-инференса требуется отдельный запуск сервиса VLM (см. docs/VLM_INFERENCE.md)
Риски
- Основано на LTX-2, соответствующие компоненты ограничены лицензией сообщества LTX-2.x, перед коммерческим использованием необходимо проверить лицензию
- Улучшения продемонстрированы в основном на собственном бенчмарке авторов EvoWorld-Bench, в аннотации конкретные цифры не приведены
- Данный проект не был запущен автором обзора, качество изображения следует оценивать по странице проекта