Tiêu đề gốc: Viggle/Viggle-Remake
Viggle đã huấn luyện hai LoRA có rank 256 trên nền tảng MiniMax-H3: swap chịu trách nhiệm thay đổi nhân vật / nhân vật (có thể thay nhiều nhân vật cùng lúc), edit chịu trách nhiệm cho các thay đổi còn lại — thêm, xóa hoặc thay thế vật thể, thay đổi nền, thời tiết, ánh sáng và phong cách. Đầu vào bao gồm video gốc, 1–4 khung hình chính đã được vẽ sẵn (được gọi là Picture N trong prompt, có thể dùng --pin để ghim vào một khung hình cụ thể của video gốc) và prompt sáu phần của MiniMax-H3, đầu ra giữ nguyên chuyển động, góc máy, nhịp điệu và âm thanh gốc của video. Kho lưu trữ còn đi kèm một dịch vụ MCP: giao video và một yêu cầu bằng lời nói cho các tác nhân lập trình như Claude Code, codex, chúng sẽ tự động cắt cảnh, vẽ khung hình chính, viết prompt, kết xuất từng cửa sổ trên GPU của bạn, kiểm tra kết quả, rồi ghép lại với âm thanh gốc thành video hoàn chỉnh. Đây chính là Viggle-Animate v2 đã được giới thiệu trước trên thẻ Viggle-Animate. Kho lưu trữ được tạo vào ngày 22 tháng 10, và không được đưa vào các số trước đó.
Tại sao quan trọng Giao việc chỉnh sửa video thủ công theo từng cảnh cho các tác nhân AI: cắt cảnh, vẽ khung hình chính, kết xuất, tự kiểm tra và ghép lại âm thanh gốc đều được tự động hóa
Điểm tăng 95 · Lượt thích 97 · Lượt tải 5215
Lý do
- Giải quyết nhu cầu "muốn thay đổi diễn viên, bối cảnh từ các tài liệu có sẵn mà không muốn quay lại từ đầu": các ví dụ của tác giả đã biến một cảnh trong phim La La Land thành 22 phiên bản khác nhau (thay người, thay trang phục, thay thời tiết, thêm/xóa vật thể, thay phong cách), cùng với một MV dài 116 giây với 69 điểm cắt và một đoạn phim từ The Matrix 2 dài 101 giây được làm lại toàn bộ, tất cả đều giữ nguyên nhạc nền.
- Quy trình làm việc toàn bộ video bằng tác nhân AI là điểm đặc biệt nhất của kho lưu trữ này: mỗi lần kết xuất một cửa sổ gồm 90–345 khung hình (tốc độ 24 fps, khoảng 12 giây), các video dài hơn được MCP cố gắng cắt thành các cửa sổ tại các điểm cắt cảnh; tác giả cho biết việc để codex chạy xong ví dụ White House Funk mất khoảng 1.5 giờ trên hai GPU, và mỗi lần chạy, các khung hình chính đều do tác nhân AI tự vẽ, nên các chi tiết sẽ khác nhau.
- Các card đồ họa nhỏ hơn cũng có cách sử dụng: gói node ComfyUI chỉ bổ sung bốn chức năng mà các node mặc định không làm được (cách hiển thị ảnh tham chiếu, ghim khung hình chính theo số khung hình thực tế, giữ nguyên âm thanh gốc một cách sạch sẽ, tạo nhiễu khởi đầu theo seed), phần còn lại đều dùng node mặc định; tác giả cũng cung cấp các file hợp nhất int8 (21.0 GB) và GGUF (Q8_0 22.3 GB, Q6_K 17.6 GB, Q4_K_M 14.3 GB) bằng cách hợp nhất LoRA vào mô hình cơ sở ở độ chính xác fp32 rồi lượng tử hóa; các LoRA có rank thấp 128 / 64 chỉ nặng 1.34 / 0.67 GB, tác giả cho biết kết quả đầu ra gần như tương tự.
Cách sử dụng
- Trên GPU của bạn: tải xuống mô hình cơ sở MiniMaxAI/MiniMax-H3 (file khoảng 144 GB) và các thư mục lora/, inference/, examples/, requirements.txt (5.5 GB) từ kho lưu trữ này, chạy pip install -r requirements.txt và cài đặt ffmpeg, sau đó chạy python Viggle-Remake/inference/sample.py --mode swap (hoặc edit) --video source.mp4 --prompt prompt.txt --ref ref1.png --pin 12 --frames 124 --short-edge 480 --seed 0 --base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4; tham số --frames phải có dạng 17n+5, --short-edge 736 sẽ tạo ra kích thước 1280×736. Không nên git clone toàn bộ kho lưu trữ (nếu có git-lfs sẽ tải xuống khoảng 210 GB). Có thể chạy thử examples/demo.sh trước để xác nhận LoRA đã được tải.
- ComfyUI (tác giả đã kiểm thử trên 0.42.0): sử dụng file đơn fl2va từ Comfy-Org/MiniMax-H3 làm mô hình cơ sở (không phải ref2va), sao chép comfyui/ComfyUI-Viggle-Remake vào thư mục custom_nodes, đặt LoRA vào models/loras và tải bằng LoraLoaderBypassModelOnly — tác giả cho biết LoraLoaderModelOnly thông thường ở độ chính xác bf16 sẽ làm mất một phần đáng kể các cập nhật của LoRA, khiến hình ảnh mờ hơn; chỉ cần kéo thả comfyui/workflows/remake_swap_ui.json hoặc remake_edit_ui.json để chạy các ví dụ, các tài liệu của bạn cần được chuyển đổi sang tốc độ 24 fps trước. Khi sử dụng các file hợp nhất int8 / GGUF, chúng thay thế cả mô hình cơ sở và LoRA, không cần chồng thêm LoRA.
- Tác nhân AI: chạy hf download Viggle/Viggle-Remake --include "mcp/*" để chỉ tải các thành phần MCP (không bao gồm trọng số), trong thư mục mcp chạy pip install -e . (trên máy có GPU thì cài thêm '.[worker]'), khởi động một viggle-remake-worker cho mỗi card đồ họa, sau đó kết nối dịch vụ với Claude Code hoặc codex, cung cấp cho nó một video và một yêu cầu bằng lời nói. Cách vẽ khung hình chính, khi nào ghim khung hình, và cách viết prompt sáu phần được tác giả mô tả trong tệp PROMPTING.md của kho lưu trữ. Nếu không muốn tự triển khai, bạn có thể sử dụng ứng dụng Viggle.
Rủi ro
- Yêu cầu phần cứng cao: sample.py cần một card đồ họa có dung lượng từ 80 GB trở lên (độ chính xác bf16); tác giả đo được trên B200 rằng một lần kết xuất trong ComfyUI mất khoảng 95 giây và sử dụng khoảng 130 GB RAM hệ thống, mô hình cơ sở và bộ mã hóa văn bản của nó là bắt buộc.
- Các vấn đề đã biết do tác giả liệt kê: các nhân vật không phải con người trong một cảnh quay dài sẽ thất bại, có những lỗi nhỏ về chi tiết, các đoạn phim nhiều cảnh quay sẽ bị lệch về mặt thời gian nếu không ghim khung hình chính; âm thanh chỉ đơn thuần là sao chép từ video gốc, nếu video gốc không có âm thanh thì đầu ra cũng không có âm thanh.
- Chức năng thay đổi nhân vật không tích hợp bất kỳ cơ chế xác minh danh tính hay sự đồng thuận nào, danh tính hoàn toàn được xác định bởi các khung hình chính do bạn vẽ; tác giả yêu cầu chỉ sử dụng cho các tài liệu mà bạn có quyền chỉnh sửa, không sử dụng cho những người chưa đồng ý, và nội dung được tạo ra phải được đánh dấu là do AI tạo. Bản quyền của các đoạn phim và MV trong ví dụ thuộc về chủ sở hữu gốc, cả hai giấy phép đều không cấp bất kỳ quyền nào đối với các tài liệu và hình ảnh này.
- Các trọng số được cấp phép theo Giấy phép Cộng đồng MiniMax H3 (giao diện sản phẩm thương mại phải ghi rõ MiniMax H3 một cách nổi bật, nếu doanh thu hàng năm vượt quá 2000 triệu đô la Mỹ thì phải có sự cho phép bằng văn bản từ MiniMax trước), mã nguồn theo giấy phép Apache-2.0; khi xây dựng sản phẩm dựa trên công cụ này, tác giả mong muốn ghi rõ Powered by Viggle Remake.