Оригинальное название: Video-Coder: Reinforcing Agentic Coding for Video Generation
Качество изображения в моделях генерации видео уже очень высокое, однако точный контроль над пространственной структурой, движением и компоновкой сцены по-прежнему затруднен. Video-Coder обучает агента-кодера на базе Qwen3.5-9B, который самостоятельно пишет и выполняет программы на Python для Blender, создавая динамические 3D-сцены. Отрендеренные «видео-черновики» используются в качестве сигналов структуры и движения для последующей модели генерации видео (в README используется MiniMax-H3). Обучение начинается с SFT, а затем применяется обучение с подкреплением в собственной среде выполнения, где награда учитывает как возможность выполнения кода, так и итоговое качество видео. Авторы утверждают, что в сочетании с MiniMax-H3 средний балл в PhyGenBench повысился с 0.61 до 0.67, а в VBench-2.0 — с 54.58% до 78.19%.
Почему это важно Расположение объектов, движение и камера определяются исполняемым кодом, что обеспечивает более предсказуемую пространственную структуру генерируемых видео; модель, данные и код обучения опубликованы в открытом доступе
Лайков: 16 · Звезд на GitHub: 25
Причины
- Ориентация на управляемую генерацию видео: положение объектов, траектории движения и камера определяются исполняемой 3D-сценой, что подходит для кадров с жесткими требованиями к пространственным отношениям
- Модель (Video-Coder-9B и версия SFT), обучающие данные и полный код обучения с использованием SFT и обучения с подкреплением опубликованы в открытом доступе
- Модель генерации видео и модель-оценщик могут быть заменены; в README указано, что для использования других генераторов достаточно изменить конфигурацию награды
Использование
- Код: https://github.com/CYWang735/Video-Coder;权重:抱脸 Video-Coder/Video-Coder-9B (также доступна Video-Coder-SFT-9B), набор данных Video-Coder/Train-Data
- Вывод выполняется в два этапа: сначала в песочнице Apptainer с помощью run_inference.sh генерируется видео-черновик Blender (одновременно сохраняется скрипт рендеринга main.py), затем с помощью run_batch.sh из каталога сервиса MiniMax-H3 черновик преобразуется в готовое видео
Риски
- Высокая зависимость от инфраструктуры: требуются песочница Blender и отдельно развернутая модель генерации видео; авторы использовали 8 карт H100 для обучения с подкреплением, а также по 4 карт на каждый сервис MiniMax-H3
- На этапе обучения с подкреплением для оценки видео используется VLM-оценщик через сервис Alibaba Cloud DashScope; для воспроизведения обучения необходим API-ключ этого сервиса
- Показатели являются самоотчетными результатами авторов на двух бенчмарках; в данном обзоре тестирование не проводилось