Nhóm LightX2V đã tinh chỉnh mô hình Qwen3.8-27B để tạo ra một công cụ viết lại prompt chuyên dụng cho tính năng sinh nội dung đa tham chiếu (Ref2VA) của MiniMax-H3: đầu vào gồm một yêu cầu ngắn gọn, thời lượng mục tiêu và các tài liệu tham chiếu được đánh số (hình ảnh, video, âm thanh), mô hình sẽ xuất ra prompt dài theo từng cảnh quay dựa trên hướng dẫn viết kèm theo, chia thành sáu phần: định nghĩa chủ thể, tóm tắt, phân tích bảo toàn tham chiếu, mô tả từng cảnh quay, âm thanh môi trường và nhạc nền. Được tải lên vào ngày 29 tháng 10, chưa được liệt kê trong các số trước đó.
Điểm tăng trưởng 58 · Lượt thích 59 · Lượt tải xuống 12763
Lý do
- Chế độ tham chiếu của MiniMax-H3 đòi hỏi phải làm rõ các mối quan hệ như “người trong hình 1”, “cấu trúc của video 2” hay “sử dụng âm thanh 1 làm nhạc nền”. Mô hình này tự động tạo ra các prompt có cấu trúc với các thẻ <Subject N>, <Picture N>, <Video N> và <Audio N> theo hướng dẫn, giúp tiết kiệm công sức viết tay.
- Kho lưu trữ đi kèm đầy đủ các script phục vụ vLLM, script gọi API và hướng dẫn viết (VIDEO_PROMPT_WRITING_GUIDE_ref_en.md), với các ví dụ bao gồm hai người bắt tay, ghép hai đoạn video thành một, hoặc nhân vật trong ảnh nhảy theo nhạc.
- Cùng nhóm này cũng đã phát hành phiên bản 9B (dựa trên Qwen3.5-9B) và phiên bản FL2VA chỉ sử dụng văn bản hoặc khung hình đầu/cuối.
Cách dùng
- Cài đặt bằng lệnh pip install vllm requests pillow qwen-vl-utils, thiết lập MODEL_PATH trong vllm_server.sh rồi chạy bash vllm_server.sh (mặc định dùng một GPU, ngữ cảnh 32768, bật chế độ suy luận); nếu sử dụng video tham chiếu, cần cài đặt ffmpeg và ffprobe.
- Trong post_vllm.sh, điền PROMPT, DURATION và đường dẫn tuyệt đối cho IMAGES / VIDEOS / AUDIOS. Trong prompt, dùng image 1, video 1, audio 1 để tương ứng với các số thứ tự, sau đó chạy bash post_vllm.sh; kết quả sẽ nằm trong infer_outputs/result.json; thêm --dry_run nếu chỉ muốn tạo yêu cầu mà không gọi API.
- Dán prompt đã được xuất vào quy trình MiniMax-H3 Ref2VA của bạn.
Rủi ro
- Thẻ mô hình rất ngắn gọn: không ghi giấy phép, cũng không có so sánh kết quả sinh nội dung trước và sau khi viết lại hay bất kỳ đánh giá nào, nên chuyên mục này không thể đánh giá chất lượng viết lại.
- Trọng số BF16 nặng khoảng 55 GB, các ví dụ chạy trên một GPU đơn, đòi hỏi card đồ họa có bộ nhớ lớn; nếu thiếu bộ nhớ, bạn có thể xem phiên bản 9B (chuyên mục này chỉ mới xem phần đầu của thẻ mô hình đó).
- Âm thanh tham chiếu chỉ được truyền qua thẻ nhãn, mô hình không nghe nội dung âm thanh; mỗi đoạn video tham chiếu chỉ trích xuất 8 khung hình.