Введите статью или сценарий озвучки, и на выходе получите смонтированное видео длительностью несколько минут. В основе лежит стратегическая модель, обученная на базе Qwen3.5-9B: на каждом шаге она считывает текущее структурированное состояние монтажа (главы, кадры, закадровый текст, исходные материалы, шаблоны, музыкальное сопровождение, рендеринг) и выполняет только один вызов инструмента — разбивка на главы, планирование кадров, синтез закадрового текста, поиск материалов, применение анимационных шаблонов, выбор музыки, оценка, рефлексия, исправление ошибок, склейка; для создания одного видео требуется примерно 12 вызовов. Процесс не является жестко заданным, а защитные механизмы лишь отклоняют недопустимые вызовы, не принимая решений за модель. Данные для обучения получены методом «обратного инжиниринга монтажа + проверочного воспроизведения»: 3,750 готовых видео были преобразованы в исполняемые решения по монтажу, что позволило получить более 13 тысяч обучающих примеров.
Лайков: 14 · Звезд на GitHub: 13
Причины
- Полный комплект: открыты веса стратегической модели размером 9B (на Hugging Face: tencent/WeVisCut), среда выполнения Studio с тем же набором из 12 инструментов и форматом состояния, что и при обучении, а также конвейер подготовки данных data_construct_pipeline, генерирующий обучающие траектории. Лицензия на код — Apache-2.0.
- Авторы заявляют, что в единой инструментальной среде модель значительно превосходит базовую модель, демонстрируя эффективность, сопоставимую с Claude Opus 5, при этом расходуя примерно в 33 раз меньше токенов на минуту готового видео. Также создан собственный бенчмарк, включающий 100 задач и 5 метрик, который одновременно оценивает качество монтажа и надежность доставки результата.
- Среда Studio позволяет продолжать работу: восемь синхронизированных дорожек (главы, кадры, закадровый текст, субтитры, материалы, шаблоны, музыка, рендеринг), возможность паузы и продолжения, ручное редактирование или правки через чат («заменить вступление», «заменить изображение на 0:15»), повторный рендеринг только измененных кадров и поддержка откатов версий.
Использование
- Установка: git clone github.com/Tencent/WeVisCut → pip install -r requirements.txt (на машинах с GPU сначала установите PyTorch с поддержкой соответствующей версии CUDA, затем выполните pip install -r requirements-gpu.txt) → bash scripts/setup_external_tools.sh (загрузка ffmpeg, Node.js и рендерера, объем около 1.1 ГБ).
- Веса: hf download tencent/WeVisCut --local-dir checkpoints/weviscut-9b; для инференса в формате bf16 требуется GPU NVIDIA с примерно 24 ГБ видеопамяти, версия Python ≥ 3.11.
- Запуск: bash run_studio.sh (можно предварительно проверить пути с помощью флага --check), откройте в браузере http://\<хост>:8081/, вставьте сценарий озвучки и начните работу; для просмотра интерфейса без загрузки модели используйте флаг --no-model.
- Источники материалов и музыки настраиваются в файле studio_config.yaml; можно указать собственные HTTP-интерфейсы, локальные папки или плагины на Python.
Риски
- Это не модель генерации видео из текста: изображения берутся из поиска по материалам и анимационных шаблонов, поэтому качество итогового видео зависит от настроенных вами сервисов поиска, синтеза речи (TTS) и рендеринга. В карточке модели указано, что точность фактов и качество видео не гарантируются, поэтому перед публикацией необходим ручной просмотр.
- По умолчанию материалы и музыка берутся из открытых источников в интернете, поэтому контроль авторских прав лежит на пользователе. Лицензия на веса на Hugging Face обозначена как other, в README указано только, что «веса и сторонние компоненты распространяются согласно своим лицензиям»; перед коммерческим использованием необходимо проверить условия (базовая модель — Qwen3.5-9B).
- Для загрузки весов требуется зарегистрированная в ms-swift модель qwen3_5; сравнение с Claude Opus 5 и данные об экономии токенов приведены по заявлению авторов, бенчмарк также создан ими самостоятельно.
Редакция: подходит для черновой сборки обучающих и объяснительных видео с озвучкой: сначала дайте модели создать первую версию, а затем отредактируйте каждый кадр на таймлайне.