지식 기사나 내레이션 대본을 입력하면 몇 분 분량의 편집된 완성 영상을 출력합니다. 핵심은 Qwen3.5-9B를 기반으로 학습된 정책 모델입니다: 각 단계에서 현재 구조화된 편집 상태(챕터, 컷, 내레이션, 소재, 템플릿, 배경음악, 렌더링)를 읽고 하나의 도구 호출만 수행합니다—챕터 분할, 컷 계획, 내레이션 합성, 소재 검색, 애니메이션 템플릿 적용, 배경음악 선택, 평가, 성찰, 수정, 연결 등 하나의 완성 영상당 약 12회 호출이 필요합니다. 워크플로우는 고정되어 있지 않으며, 가드레일은 잘못된 호출만 거부할 뿐 모델의 결정을 대신하지 않습니다. 학습 데이터는 '편집 역추적 + 검증 리플레이' 방식으로 생성됩니다: 3,750개의 완성 영상을 실행 가능한 편집 결정으로 복원하여 13만 개 이상의 학습 샘플을 확보했습니다.
좋아요 14 · 코드 스타 수 13
이유
- 모든 것을 포함합니다: 9B 정책 가중치(Hugging Face tencent/WeVisCut), 학습 시 사용된 동일한 12개의 도구 및 상태 형식을 갖춘 Studio 런타임, 그리고 학습 궤적 데이터를 생성하는 데이터 구성 파이프라인 data_construct_pipeline이 모두 공개되어 있으며, 코드는 Apache-2.0 라이선스를 따릅니다.
- 저자들은 통합된 도구 환경에서 기본 모델보다 명확히 우수한 성능을 보이며, 효과는 Claude Opus 5과 동등하지만 분당 영상 생성에 필요한 토큰 수는 약 33배 적다고 주장합니다. 또한 편집 품질과 전달 신뢰성을 동시에 측정하기 위해 100개의 작업과 5개의 지표를 자체적으로 구축한 벤치마크를 사용했습니다.
- Studio는 계속 수정할 수 있습니다: 8개의 동기화 트랙(챕터, 컷, 내레이션, 자막, 소재, 템플릿, 배경음악, 렌더링)을 지원하며, 일시 정지/재개, 수동 편집 또는 채팅을 통한 편집("오프닝 변경", "0:15의 화면 교체" 등)이 가능합니다. 변경된 컷만 재렌더링하며 버전 롤백을 지원합니다.
사용법
- 설치: git clone github.com/Tencent/WeVisCut → pip install -r requirements.txt (GPU 머신의 경우 해당 CUDA 버전의 PyTorch를 먼저 설치한 후 pip install -r requirements-gpu.txt 실행) → bash scripts/setup_external_tools.sh (ffmpeg, Node 및 렌더러 다운로드, 약 1.1 GB).
- 가중치: hf download tencent/WeVisCut --local-dir checkpoints/weviscut-9b; bf16 추론에는 약 24 GB의 VRAM을 갖춘 NVIDIA GPU가 필요하며, Python 버전은 3.11 이상이어야 합니다.
- 실행: bash run_studio.sh (먼저 --check 옵션으로 경로 확인 가능), 브라우저에서 http://<host>:8081/ 접속, 내레이션 대본을 붙여넣고 시작; 모델 로드 없이 인터페이스만 확인하려면 --no-model 옵션 사용.
- 소재 및 배경음악 소스는 studio_config.yaml에서 변경할 수 있으며, 자체 HTTP 인터페이스, 로컬 폴더 또는 Python 플러그인을 지정할 수 있습니다.
리스크
- 텍스트-투-비디오 모델이 아닙니다: 화면은 소재 검색과 애니메이션 템플릿에서 생성되며, 완성 영상 품질은 설정한 검색, TTS 및 렌더링 서비스에 따라 달라집니다. 모델 카드에는 사실 정확성 및 완성 영상 품질이 보장되지 않으며, 공개 전 인간 검수가 필요하다고 명시되어 있습니다.
- 기본 소재/배경음악은 오픈 웹 검색에서 가져오므로 저작권은 사용자가 직접 확인해야 합니다. Hugging Face 가중치 라이선스는 'other'로 표시되어 있으며, README에는 "가중치와 서드파티 컴포넌트는 각각의 라이선스를 따름"이라고만 기재되어 있어 상업적 사용 전 확인이 필요합니다(기본 모델은 Qwen3.5-9B).
- 가중치 로딩을 위해서는 qwen3_5이 등록된 ms-swift가 필요합니다. Claude Opus 5과의 비교 및 토큰 절감 수치는 저자가 보고한 것이며, 벤치마크는 저자가 자체적으로 구축한 것입니다.
편집: 지식 및 설명형 내레이션 영상의 거친 편집(러프 컷)에 적합합니다: 먼저 한 버전을 생성한 후 타임라인에서 컷별로 수정하세요.
열기 · 코드 · Hugging Face 논문 페이지