Модель для переписывания промптов, дообученная командой LightX2V на базе Qwen3.8-27B, специально предназначенная для создания промптов к генерации с несколькими референсами (Ref2VA) в MiniMax-H3: на вход подаются краткое описание требования, целевая длительность и пронумерованные референсные изображения, видео и аудио; модель выводит детализированный промпт уровня раскадровки согласно прилагаемому руководству по написанию, разделенному на шесть частей: определение субъекта, резюме, анализ сохранения референсов, покадровое описание, звуки окружения и фоновая музыка. Загружено 10 29, ранее в выпусках не публиковалось.
Рост рейтинга 58 · Лайки 59 · Количество загрузок 12763
Причины
- В режиме референсов MiniMax-H3 необходимо четко указывать связи, такие как «человек на изображении 1», «структура видео 2» или «аудио 1 в качестве фоновой музыки»; эта модель автоматически генерирует структурированные промпты с тегами <Subject N>, <Picture N>, <Video N> и <Audio N> согласно руководству, избавляя от необходимости писать их вручную.
- В репозитории прилагаются полные скрипты для сервиса vLLM, скрипты вызова и руководство по написанию (VIDEO_PROMPT_WRITING_GUIDE_ref_en.md); примеры охватывают рукопожатие двух людей, объединение двух видео в одно, танец человека на изображении под музыку и т.д.
- Та же команда выпустила версию 9B (на базе Qwen3.5-9B) и версию FL2VA, использующую только текст или первые/последние кадры.
Использование
- Выполните pip install vllm requests pillow qwen-vl-utils, укажите MODEL_PATH в файле vllm_server.sh и запустите bash vllm_server.sh (по умолчанию используется одна видеокарта, контекст 32768, режим размышлений включен); для работы с референсными видео необходимо установить ffmpeg и ffprobe.
- В файле post_vllm.sh заполните PROMPT, DURATION и абсолютные пути к IMAGES / VIDEOS / AUDIOS; в промпте используйте image 1, video 1 и audio 1 для соответствующих номеров, затем выполните bash post_vllm.sh; результат сохраняется в infer_outputs/result.json; добавление флага --dry_run позволяет сгенерировать запрос без его отправки.
- Вставьте полученный промпт в свой рабочий процесс MiniMax-H3 Ref2VA.
Риски
- Карточка модели очень краткая: не указана лицензия, отсутствуют сравнения генерации до и после переписывания или какие-либо оценки; качество переписывания промптов в рамках данной рубрики оценить невозможно.
- Веса BF16 занимают около 55 ГБ, примеры рассчитаны на запуск на одной видеокарте, что требует значительного объема видеопамяти; при нехватке памяти можно рассмотреть версию 9B (в данной рубике была просмотрена только начальная часть карточки модели).
- Референсное аудио передается только по тегам, модель не анализирует содержимое аудио; из каждого референсного видео извлекается всего 8 кадров.