LongCat-Video-Avatar-1.6-MLX-bf16

Đây là các trọng số Apple MLX do tác giả cộng đồng fedeinfe chuyển đổi từ LongCat-Video-Avatar 1.6 của Meituan: đầu vào gồm một ảnh chân dung (hoặc vài khung hình thực tế) và một đoạn âm thanh, đầu ra là video nói chuyện có độ dài tùy ý. 1.6 kế thừa kiến trúc của 1.5, thay thế bằng DiT với 136 tỷ tham số được huấn luyện lại cùng hai LoRA chưng cất; tuân thủ khuyến nghị của Meituan về mẫu hóa trong 8 bước, sử dụng DMD cho 4 bước đầu và OPSD cho 4 bước sau; các đoạn âm thanh dài được nối tiếp thành một cảnh quay liên tục theo từng đoạn 93 khung hình (tốc độ 25 fps). Tác giả đo được trên máy Mac M5 Max với 64 GB RAM rằng việc tạo ra một video 480p dài 3.7 giây mất khoảng 8 phút, với bộ nhớ đỉnh điểm khoảng 47 GB.

Đây là các trọng số Apple MLX do tác giả cộng đồng fedeinfe chuyển đổi từ LongCat-Video-Avatar 1.6 của Meituan: đầu vào gồm một ảnh chân dung (hoặc vài khung hình thực tế) và một đoạn âm thanh, đầu ra là video nói chuyện có độ dài tùy ý. 1.6 kế thừa kiến trúc của 1.5, thay thế bằng DiT với 136 tỷ tham số được huấn luyện lại cùng hai LoRA chưng cất; tuân thủ khuyến nghị của Meituan về mẫu hóa trong 8 bước, sử dụng DMD cho 4 bước đầu và OPSD cho 4 bước sau; các đoạn âm thanh dài được nối tiếp thành một cảnh quay liên tục theo từng đoạn 93 khung hình (tốc độ 25 fps). Tác giả đo được trên máy Mac M5 Max với 64 GB RAM rằng việc tạo ra một video 480p dài 3.7 giây mất khoảng 8 phút, với bộ nhớ đỉnh điểm khoảng 47 GB.

Tại sao quan trọng Có thể chạy cục bộ trên Mac dùng chip Apple, tự động nối các đoạn âm thanh dài thành một cảnh quay liên tục, kèm theo script huấn luyện LoRA riêng cho khớp khẩu hình; nhưng tốn nhiều RAM và tốc độ xuất video chậm.

Hug Face Likes 3 · Hug Face Upvotes 3 · Hug Face Downloads 0

Giấy phép: Được phép thương mại hóa · ComfyUI: Chưa có · VRAM: Không ghi rõ

Lý do

  • Giấy phép MIT, tương thích với bản gốc của Meituan; trọng số DiT là chuyển đổi trực tiếp từng bit từ trọng số bf16 của Meituan
  • Thẻ mô hình cung cấp tốc độ, mức tiêu thụ bộ nhớ và điểm đồng bộ khẩu hình cho hai cấu hình 480p và 1120×832

Cách dùng

  • git clone -b feat/avatar-1.6-continuation-lora https://github.com/fedeinfe/longcat-avatar-mlx,建, tạo môi trường ảo Python 3.12 và chạy pip install -e ".[parity]" librosa pyloudnorm pillow ftfy, tải trọng số về thư mục weights rồi chạy scripts/generate.py, truyền vào --image ảnh chân dung, --audio âm thanh, --prompt mô tả và --out tên tệp đầu ra

Rủi ro

  • Chỉ hỗ trợ Mac dùng chip Apple, yêu cầu 64 GB bộ nhớ hợp nhất, trọng số nặng 51.5 GB; một đoạn video ở độ phân giải 1120×832 mất khoảng 45 phút
  • Mã suy luận nằm trong nhánh của tác giả, yêu cầu pull request vào kho lưu trữ gốc vẫn chưa được hợp nhất; nếu đưa âm thanh vào với tốc độ 30 fps thì khẩu hình sẽ không đồng bộ, cần tạo video ở tốc độ 25 fps rồi nội suy khung hình sau
  • Cần có sự cho phép của cá nhân trước khi sử dụng ảnh chân dung và giọng nói của họ để tạo video

Mở

抱脸 image-to-video 上升榜

Xem tin AI mới nhất