Viggle Remake: Quay lại toàn bộ video chỉ với một câu lệnh

Viggle sử dụng hai bộ LoRA (hạng 256) được huấn luyện trên nền tảng transformer cơ bản MiniMax-H3: chế độ swap thay thế người và nhân vật, có thể đổi nhiều đối tượng cùng lúc; chế độ edit xử lý các chỉnh sửa còn lại, bao gồm thay thế, xóa, chèn vật thể, đổi nền, thời tiết hoặc ánh sáng. Đầu vào là video gốc, 1–4 khung hình chính đã vẽ (có thể ghim vào một khung hình tương ứng trong video gốc) và câu lệnh được viết theo định dạng sáu phần của MiniMax-H3, đầu ra giữ nguyên chuyển động, góc máy, nhịp điệu và âm thanh gốc. Chính thức xác nhận đây chính là phiên bản v2 đã được giới thiệu trên thẻ Viggle-Animate: Animate chỉ thay đổi nhân vật, còn Remake có thể chỉnh sửa cả vật thể và bối cảnh. Kho lưu trữ đi kèm dịch vụ MCP, các tác nhân như Claude Code, codex khi nhận video và một câu lệnh sẽ tự động cắt cảnh, vẽ khung hình chính, kết xuất theo từng cửa sổ, tự kiểm tra kết quả, sau đó ghép lại với âm thanh gốc để tạo thành bộ phim hoàn chỉnh.

Nguồn: Viggle/Viggle-Remake

Viggle sử dụng hai bộ LoRA (hạng 256) được huấn luyện trên nền tảng transformer cơ bản MiniMax-H3: chế độ swap thay thế người và nhân vật, có thể đổi nhiều đối tượng cùng lúc; chế độ edit xử lý các chỉnh sửa còn lại, bao gồm thay thế, xóa, chèn vật thể, đổi nền, thời tiết hoặc ánh sáng. Đầu vào là video gốc, 1–4 khung hình chính đã vẽ (có thể ghim vào một khung hình tương ứng trong video gốc) và câu lệnh được viết theo định dạng sáu phần của MiniMax-H3, đầu ra giữ nguyên chuyển động, góc máy, nhịp điệu và âm thanh gốc. Chính thức xác nhận đây chính là phiên bản v2 đã được giới thiệu trên thẻ Viggle-Animate: Animate chỉ thay đổi nhân vật, còn Remake có thể chỉnh sửa cả vật thể và bối cảnh. Kho lưu trữ đi kèm dịch vụ MCP, các tác nhân như Claude Code, codex khi nhận video và một câu lệnh sẽ tự động cắt cảnh, vẽ khung hình chính, kết xuất theo từng cửa sổ, tự kiểm tra kết quả, sau đó ghép lại với âm thanh gốc để tạo thành bộ phim hoàn chỉnh.

Tại sao quan trọng Không chỉ thay đổi nhân vật: còn có thể thêm/xóa vật thể, thay đổi bối cảnh và ánh sáng, đồng thời đi kèm dịch vụ MCP, cho phép các tác nhân lập trình tự động cắt cảnh, vẽ khung hình chính và ghép thành toàn bộ video

Điểm tăng 208 · Lượt thích 374 · Lượt tải xuống 183188

Lý do

  • Các ví dụ chính thức bao gồm việc tạo ra 22 phiên bản từ một cảnh trong phim La La Land, cũng như thay đổi nhân vật cho toàn bộ MV dài 116 giây với 69 điểm cắt; các video dài hơn được chia thành các cửa sổ theo điểm cắt để kết xuất riêng biệt
  • Cung cấp lộ trình dựa trên card đồ họa: nếu không có GPU, hãy dùng ứng dụng Viggle; với dung lượng 12–24GB, sử dụng tệp int8 / GGUF của ComfyUI để chạy quy trình làm việc thủ công; với 32GB (RTX 5090) có thể chạy tác nhân kết hợp với máy chủ kết xuất ComfyUI, chính thức cho biết một cửa sổ kích thước 1280×736, 345 khung hình mất khoảng 28 phút; từ 80GB trở lên sử dụng script tham khảo sample.py
  • Ngoài ra còn có các LoRA nhỏ hơn với hạng 128 / 64 (dung lượng 1.34 / 0.67GB), chính thức cho biết đầu ra gần như tương đương; tệp examples/demo.sh có thể dùng để kiểm tra xem LoRA đã được tải đúng cách hay chưa

Cách sử dụng

  • Trước tiên, tải xuống mô hình cơ bản MiniMaxAI/MiniMax-H3 (tệp khoảng 144GB) và các thư mục lora/, inference/... từ kho lưu trữ này (khoảng 5.5GB), không nên git clone toàn bộ kho lưu trữ (bao gồm tất cả trọng số, tổng cộng khoảng 210GB)
  • Thủ công: python inference/sample.py --mode swap (hoặc edit) --video video_gốc --prompt câu_lệnh --ref khung_hình_chính --pin số_khung_hình --frames 124 --short-edge 480; số khung hình phải tuân theo dạng 17n+5, chính thức khuyến nghị không vượt quá 294
  • Tác nhân: chỉ tải xuống thư mục mcp/, chạy pip install -e . để cài đặt máy chủ, trên máy có GPU hãy cài thêm worker, cách viết câu lệnh xem trong tệp PROMPTING.md

Rủi ro

  • Có thể đưa ngoại hình của người thật vào các video mà họ chưa đồng ý xuất hiện, bản thân mô hình không xác minh danh tính hay quyền sử dụng; chính thức yêu cầu chỉ dùng cho các tài liệu có quyền chỉnh sửa và phải ghi rõ là do AI tạo ra
  • Trọng số là mô hình phái sinh từ MiniMax H3, khi sử dụng thương mại phải hiển thị nổi bật dòng chữ “MiniMax H3” trên giao diện; nếu doanh thu hàng năm vượt quá 2000 triệu USD, cần có sự cho phép bằng văn bản từ MiniMax; bản quyền các đoạn phim trong ví dụ thuộc về chủ sở hữu gốc
  • Thời gian kết xuất mỗi lần khoảng 12 giây; bắt buộc sử dụng câu lệnh theo định dạng sáu phần; các cảnh quay dài với nhân vật không phải người, những lỗi nhỏ về chi tiết và sự trôi dạt giữa nhiều cảnh khi không ghim khung hình là các vấn đề đã biết được chính thức liệt kê; mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất