Pika H3 Flex: Tạo video có âm thanh chỉ trong sáu bước, hỗ trợ nhiều hình ảnh tham chiếu

Pika là một bộ adapter LoRA được huấn luyện hậu kỳ trên MiniMax-H3, tạo ra video có âm thanh nổi đồng bộ, với tuyên bố chính thức rằng chỉ cần sáu bước lấy mẫu là có thể xuất video. Bộ này gồm hai adapter: FL2VA chịu trách nhiệm tạo video từ văn bản và điều khiển khung hình đầu, khung hình cuối, cũng như cả khung đầu và cuối; Ref2VA chịu trách nhiệm tham chiếu đa phương thức, hỗ trợ tối đa 9 hình ảnh, 3 đoạn video, 3 đoạn âm thanh, tổng cộng 12 tệp tham chiếu. Suy luận mã nguồn mở cục bộ xuất ra gốc ở độ phân giải 480p / 768p, tốc độ khung hình 24 fps, thời lượng 5–15 giây, hỗ trợ 11 tỷ lệ khung hình; độ phân giải từ 1080p đến 4K, âm thanh tách kênh và tính năng nâng cao prompt chỉ khả dụng trên API được quản lý của Pika.

Tên gốc: Pika-Labs/Pika-H3-Flex

Pika là một bộ adapter LoRA được huấn luyện hậu kỳ trên MiniMax-H3, tạo ra video có âm thanh nổi đồng bộ, với tuyên bố chính thức rằng chỉ cần sáu bước lấy mẫu là có thể xuất video. Bộ này gồm hai adapter: FL2VA chịu trách nhiệm tạo video từ văn bản và điều khiển khung hình đầu, khung hình cuối, cũng như cả khung đầu và cuối; Ref2VA chịu trách nhiệm tham chiếu đa phương thức, hỗ trợ tối đa 9 hình ảnh, 3 đoạn video, 3 đoạn âm thanh, tổng cộng 12 tệp tham chiếu. Suy luận mã nguồn mở cục bộ xuất ra gốc ở độ phân giải 480p / 768p, tốc độ khung hình 24 fps, thời lượng 5–15 giây, hỗ trợ 11 tỷ lệ khung hình; độ phân giải từ 1080p đến 4K, âm thanh tách kênh và tính năng nâng cao prompt chỉ khả dụng trên API được quản lý của Pika.

Tại sao quan trọng Trọng số mở có thể chạy cục bộ, ComfyUI có quy trình làm việc chính thức, phù hợp để tạo phim ngắn nhiều cảnh quay, video quảng cáo sản phẩm và hoạt hình dựa trên hình ảnh tham chiếu

Điểm tăng 151 · Lượt thích 528 · Lượt tải xuống 1083

Lý do

  • Một mô hình duy nhất tạo ra cả hình ảnh và âm thanh (âm thanh môi trường, lời thoại, nhạc nền), không cần kết nối thêm mô hình âm thanh riêng biệt
  • Hai phương thức điều khiển: khung đầu/cuối và tham chiếu đa dạng, các trường hợp sử dụng được tác giả liệt kê bao gồm kể chuyện nhiều cảnh quay, đồ họa động, video quảng cáo sản phẩm và hoạt hình dựa trên hình ảnh tham chiếu
  • ComfyUI đã có sẵn hướng dẫn chính thức và ba mẫu quy trình làm việc cho R2V, FL2VA, T2V, kho lưu trữ đi kèm với LoRA định dạng BF16 cho Comfy

Cách sử dụng

  • Nhân bản kho GitHub Pika-Labs/Pika-H3-Flex, cài đặt theo hướng dẫn bắt đầu nhanh bằng pip / Conda / Docker, sử dụng lệnh pika-h3-pro để chọn tác vụ t2va, i2va, l2va, fl2va hoặc ref2va
  • ComfyUI: Sử dụng LoRA trong comfy/loras/ kết hợp với mô hình cơ sở MiniMax-H3, áp dụng mẫu quy trình làm việc Pika H3 Flex chính thức
  • Viết prompt theo hướng dẫn chính thức, chia theo từng khoảng thời gian để mô tả chuyển động máy quay, hành động, lời thoại và âm thanh

Rủi ro

  • Các adapter được phát hành theo giấy phép cộng đồng MiniMax H3, cần đọc kỹ các điều khoản trước khi sử dụng cho mục đích thương mại
  • Các thành phần mô hình cơ sở có tổng dung lượng khoảng 210 GB, chính thức chỉ cung cấp kết quả kiểm thử trên H100 80GB, các yêu cầu lớn cần bật tính năng offload CPU
  • Các video demo là mẫu sáng tạo, nhà phát triển tuyên bố không đảm bảo có thể tái tạo chính xác bằng gói phát hành
  • Mục này chưa được chạy thử, hiệu quả thực tế phụ thuộc vào thẻ mô hình

Mở

Hugging Face Trending

Xem tin AI mới nhất