Duo bao gồm hai mô-đun: Intent và Realization. Video của người dùng được cắt thành các đoạn thông qua nhận dạng giọng nói và căn chỉnh cưỡng bức, sau đó đưa vào Intent. Mô-đun Intent quyết định có phản hồi hay không và cách phản hồi trên một dòng thời gian thống nhất, rồi hướng dẫn mô-đun Realization tạo ra âm thanh và hình ảnh của trợ lý. Lần này, phiên bản cơ sở nhân quả của Duo-1.0, phiên bản chưng cất 4 bước và phiên bản lượng tử hóa FP8, cùng với phiên bản cơ sở nhân quả Duo-1.2 với chất lượng hình ảnh được cải thiện, đã được mở mã nguồn. Các trọng số được khởi tạo từ MiniMax H3; nhánh chính là quy trình ngoại tuyến dành cho nghiên cứu, trong khi các nhánh vLLM-Omni và SGLang-Omni cung cấp khả năng triển khai trực tuyến theo thời gian thực.
Tại sao quan trọng Hầu hết các mô hình tạo sinh đều chờ bạn nói xong mới đưa ra kết quả; mô hình này sử dụng mô-đun Intent tự hồi quy để quyết định khi nào và cách thức phản hồi, sau đó điều khiển mô-đun tạo sinh để xuất ra âm thanh và hình ảnh, đồng thời mã nguồn cho triển khai trực tuyến cũng đã được công khai.
Thích bằng biểu tượng cảm xúc 4 · Điểm tăng nhờ biểu tượng cảm xúc 4 · Lượt tải 0
Giấy phép: Thương mại có điều kiện · ComfyUI: Chưa có · VRAM: Không ghi rõ
Giấy phép theo khu vực: Giấy phép trọng số mở của MiniMax H3 không bao gồm Liên minh châu Âu, Vương quốc Anh, Hàn Quốc và Hoa Kỳ (các Vùng loại trừ trong LICENSE); tại bốn khu vực này, cần phải có sự cho phép riêng từ MiniMax.
Lý do
- Kèm theo bài báo, báo cáo kỹ thuật, bảng điều khiển demo trên trình duyệt và demo trực tuyến trên Hugging Face
- Mã nguồn theo giấy phép Apache-2.0, ModelScope đồng bộ cung cấp các trọng số
Cách sử dụng
- Nhân bản github.com/inclusionAI/Duo, tạo hai môi trường Python riêng biệt cho mô hình và giọng nói theo README, chạy lệnh hf download inclusionAI/Duo-1.2-causal-base --local-dir weights, chỉnh sửa configs/inference.json rồi chạy run_demo.py --port 4173, sau đó quay một đoạn video trên trang web để xem cách nó phản hồi
Rủi ro
- Phiên bản xem trước, hiện chỉ hỗ trợ hội thoại cơ bản bằng âm thanh và hình ảnh; tương tác thị giác sẽ có trong v2; cấu hình ngoại tuyến mặc định yêu cầu 2 card đồ họa CUDA
- Các trọng số tuân theo giấy phép cộng đồng của MiniMax H3, không áp dụng cho Liên minh châu Âu, Vương quốc Anh, Hàn Quốc và Hoa Kỳ