WeVisCut:一个智能体包办从口播稿到长视频的整个剪辑间(The Whole Editing Room in One Agent From Narration to Long-Form Video)

输入一篇知识文章或口播稿,输出一条数分钟的剪辑成片。核心是一个基于 Qwen3.5-9B 训练的策略模型:每一步读当前的结构化剪辑状态(章节、镜头、旁白、素材、模板、配乐、渲染),只发出一个工具调用——分章、规划镜头、合成旁白、检索素材、套动画模板、选配乐、评审、反思、修复、拼接,一条成片大约 12 次调用;流程不写死,护栏只拒绝非法调用、不替模型做决定。训练数据来自“剪辑反推 + 验证回放”:把 3,750 条成片还原成可执行的剪辑决策,得到 13 万多条训练样本。

输入一篇知识文章或口播稿,输出一条数分钟的剪辑成片。核心是一个基于 Qwen3.5-9B 训练的策略模型:每一步读当前的结构化剪辑状态(章节、镜头、旁白、素材、模板、配乐、渲染),只发出一个工具调用——分章、规划镜头、合成旁白、检索素材、套动画模板、选配乐、评审、反思、修复、拼接,一条成片大约 12 次调用;流程不写死,护栏只拒绝非法调用、不替模型做决定。训练数据来自“剪辑反推 + 验证回放”:把 3,750 条成片还原成可执行的剪辑决策,得到 13 万多条训练样本。

点赞 14 · 代码星数 13

理由

  • 放得全:9B 策略权重(抱脸 tencent/WeVisCut)、与训练时同一套 12 个工具和状态格式的 Studio 运行时、以及产出训练轨迹的数据构造管线 data_construct_pipeline 都已开放,代码 Apache-2.0。
  • 作者称在统一工具环境下明显超过基座模型,效果与 Claude Opus 5 相当,而每分钟成片生成的 token 少约 33 倍;还自建了 100 个任务、5 项指标的基准,同时衡量剪辑质量和交付可靠性。
  • Studio 是能继续改的:八条同步轨道(章节、镜头、旁白、字幕、素材、模板、配乐、渲染),可暂停 / 继续、手动改或用聊天改(“换掉开场白”“替换 0:15 的画面”),只重渲改过的镜头,支持版本回滚。

用法

  • 安装:git clone github.com/Tencent/WeVisCut → pip install -r requirements.txt(GPU 机器先装对应 CUDA 的 PyTorch,再 pip install -r requirements-gpu.txt)→ bash scripts/setup_external_tools.sh(拉 ffmpeg、Node 和渲染器,约 1.1 GB)。
  • 权重:hf download tencent/WeVisCut --local-dir checkpoints/weviscut-9b;bf16 推理需要约 24 GB 显存的 NVIDIA GPU,Python ≥ 3.11。
  • 启动:bash run_studio.sh(先可用 --check 检查路径),浏览器打开 http://<主机>:8081/,粘贴口播稿开始;只看界面不加载模型用 --no-model。
  • 素材和配乐来源在 studio_config.yaml 里改,可指向自己的 HTTP 接口、本地文件夹或 Python 插件。

风险

  • 它不是文生视频模型:画面来自素材检索和动画模板,成片质量取决于你配置的检索、TTS 和渲染服务;模型卡称不保证事实准确和成片质量,发布前要人工审看。
  • 默认素材 / 配乐来自开放网络检索,版权要自己把关;抱脸权重许可标为 other,README 只写“权重和第三方组件各按其许可”,商用前要核对(基座为 Qwen3.5-9B)。
  • 加载权重需要注册了 qwen3_5 的 ms-swift;与 Claude Opus 5 的对比和 token 节省数字为作者报告,基准是作者自建的。

编辑:适合做知识类、讲解类口播视频的粗剪:先让它出一版,再在时间线上逐镜头改。

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态