Video-Coder: 먼저 Blender 코드를 작성하여 3D 초안을 구성한 후, 영상을 생성합니다.

영상 생성 모델의 화질은 이미 매우 높지만, 정확한 공간 구조, 움직임 및 장면 배치는 여전히 제어하기 어렵습니다. Video-Coder는 Qwen3.5-9B를 기반으로 코딩 에이전트를 학습시켜, Blender Python 프로그램을 직접 작성하고 실행하여 동적인 3D 장면을 구성합니다. 렌더링된 '초안 영상'은 구조 및 움직임 신호로 활용되어 하류 영상 생성 모델(README에서는 MiniMax-H3 사용)에 전달됩니다. 학습은 먼저 SFT(지도 미세 조정)를 수행한 후, 자체 구축한 실행 환경에서 강화 학습을 진행하며, 보상 함수는 코드의 실행 가능 여부와 최종 영상 품질을 모두 고려합니다. 저자들은 MiniMax-H3와 결합할 경우 PhyGenBench 평균 점수가 0.61에서 0.67로, VBench-2.0 점수가 54.58%에서 78.19%로 향상되었다고 보고했습니다.

원제: Video-Coder: Reinforcing Agentic Coding for Video Generation

영상 생성 모델의 화질은 이미 매우 높지만, 정확한 공간 구조, 움직임 및 장면 배치는 여전히 제어하기 어렵습니다. Video-Coder는 Qwen3.5-9B를 기반으로 코딩 에이전트를 학습시켜, Blender Python 프로그램을 직접 작성하고 실행하여 동적인 3D 장면을 구성합니다. 렌더링된 '초안 영상'은 구조 및 움직임 신호로 활용되어 하류 영상 생성 모델(README에서는 MiniMax-H3 사용)에 전달됩니다. 학습은 먼저 SFT(지도 미세 조정)를 수행한 후, 자체 구축한 실행 환경에서 강화 학습을 진행하며, 보상 함수는 코드의 실행 가능 여부와 최종 영상 품질을 모두 고려합니다. 저자들은 MiniMax-H3와 결합할 경우 PhyGenBench 평균 점수가 0.61에서 0.67로, VBench-2.0 점수가 54.58%에서 78.19%로 향상되었다고 보고했습니다.

왜 중요한가 물체 배치, 움직임 및 카메라 워크가 실행 가능한 코드로 결정되므로 생성 영상의 공간 구조를 더 정밀하게 제어할 수 있습니다. 모델, 데이터 및 학습 코드가 모두 공개되어 있습니다.

좋아요 16 · 코드 스타 수 25

이유

  • 제어 가능한 영상 생성을 위한 솔루션: 물체 위치, 움직임 궤적 및 카메라 워크가 실행 가능한 3D 장면에 의해 결정되므로, 공간 관계에 엄격한 요구사항이 있는 장면에 적합합니다.
  • 모델(Video-Coder-9B 및 SFT 버전), 학습 데이터 및 전체 SFT + 강화 학습 코드가 모두 오픈 소스로 공개되었습니다.
  • 하류 영상 생성 모델 및 평가 모델을 교체할 수 있으며, README에 따르면 보상 설정만 변경하면 다른 생성기를 사용할 수 있습니다.

사용법

  • 코드: https://github.com/CYWang735/Video-Coder;权重:抱脸 Video-Coder/Video-Coder-9B (Video-Coder-SFT-9B도 제공됨), 데이터셋 Video-Coder/Train-Data
  • 추론은 두 단계로 진행됩니다: 먼저 Apptainer 샌드박스에서 run_inference.sh를 사용하여 Blender 초안 영상을 생성합니다(렌더링 스크립트 main.py도 함께 저장됨). 이후 MiniMax-H3 서비스 디렉터리의 run_batch.sh를 사용하여 초안을 최종 영상으로 변환합니다.

리스크

  • 의존성이 무겁습니다: Blender 샌드박스와 별도로 배포된 영상 생성 모델이 필요하며, 저자의 강화 학습에는 8개의 H100 GPU가 사용되었고, 각 MiniMax-H3 서비스당 추가로 4개의 GPU가 필요합니다.
  • 강화 학습 단계의 영상 보상은 Alibaba Cloud DashScope의 VLM 평가 모델을 호출하므로, 학습 재현을 위해서는 해당 서비스의 API 키가 필요합니다.
  • 점수는 저자가 두 벤치마크에서 자체 보고한 결과이며, 본 항목에서는 실행을 수행하지 않았습니다.

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기