Оригинальное название: Code World Model 2.0: Towards Infinite Controllable Video Generation
Работа команды Inclusion AI от Ant Group, Университета Сиху и Чжэцзянского университета. Состояние мира сохраняется во внешнем движке, а «визуальные агенты» (семантические карты, разреженные 3D-рамки, маски объектов, раскрашенная геометрия, рамки со скелетом и другие структурные видео) фиксируют траекторию камеры, компоновку сцены и движение объектов. Затем видеомодель Invoker-Render генерирует материалы и освещение на основе агентов, одного референсного изображения внешнего вида и текстового описания. Модель включает двунаправленную офлайн-модель создания контента и каузальную потоковую модель с четырьмя шагами; объем обучающих данных составляет около 200 часов. Чтобы избежать наложения эффектов сжатия количества шагов и авторегрессионного дрейфа, авторы предложили метод постепенного принуждения (ProForcing): сначала обучается каузальный предиктор, который затем дистиллируется в четырехшаговый рендерер, после чего обучение продолжается на непрерывных самогенерируемых траекториях. В статье утверждается, что гоночные сцены можно стабильно генерировать непрерывно в течение 30 минут с сохранением единообразия внешнего вида сцены и объектов.
Почему это важно Разделение «как движется мир» и «как выглядит изображение» позволяет точно задавать камеру и движение; авторы утверждают, что возможна непрерывная генерация в течение получаса без дрейфа
Лайки 14 · Звезды на GitHub 132
Причины
- В README указано, что модель заняла первое место по всем четырем критериям оценки на 140 отложенных траекториях, с общим рейтингом Elo 1343.2, в сравнении с SolarRenderer (каузальная версия) — 1245.3
- Агенты разной детализации можно выбирать во время выполнения: при предоставлении тонкой геометрии соблюдаются строгие ограничения, а при использовании только грубых рамок модель также способна дополнить разумное локальное движение; в демонстрации показаны управление с помощью геймпада в реальном времени и сравнение двух маршрутов камеры для одной и той же сцены
- Веса модели inclusionAI/invoker-render-1.0 опубликованы (на основе каузальной потоковой DiT на базе MiniMax-H3, около 33B параметров), включая сервис сессий WebSocket, файловый клиент и браузерный клиент
Использование
- Код: https://github.com/inclusionAI/CodeWorldModel;权重:https://huggingface.co/inclusionAI/invoker-render-1.0(FP32 занимает около 132.5 ГБ, не включая сопутствующие файлы VAE, Qwen, каузального декодера и т.д., которые необходимо подготовить отдельно)
- После настройки окружения согласно docs/INFERENCE.md: команда invoker_render.py prepare создает пакет для инференса, serve запускает сервис, infer принимает первый кадр размером 1344×768, агентное видео с частотой кадров 24 FPS (количество кадров должно быть равно 17N+5, минимум 39 кадров) и текстовый промпт, на выходе получается файл video.mp4
Риски
- Конфигурация по умолчанию для продакшена требует 8 GPU на одной машине; в демонстрации длительностью 30 минут использовалась стратегия качества с опорным руководством, которая не включена в сервис по умолчанию
- Лицензия: Apache-2.0 плюс условия CC BY-NC 4.0 (некоммерческое использование); методы обучения и данные еще не опубликованы. Данный пункт не был проверен на практике