Tựa đề gốc: Duo: A Reciprocal World Model for Full-Duplex Interaction
Các tác giả cho rằng các mô hình thế giới hiện tại chủ yếu mô phỏng thực tế vật lý, coi suy luận và ra quyết định là các bộ điều khiển bên ngoài. Duo v1 tích hợp cả hai phần vào trong mô hình: mô-đun Intent liên tục suy luận theo cách tự hồi quy và quyết định thời điểm tham gia tương tác; mô-đun Realization tạo ra các hành vi âm thanh và hình ảnh mạch lạc. Cả hai được xây dựng điều kiện theo từng khối, đồng bộ hóa các token trên một dòng thời gian thống nhất, sử dụng mặt nạ chú ý riêng cho từng mô-đun để đảm bảo không nhìn thấy các đầu vào trong tương lai; trong quá trình huấn luyện, phương pháp "chưng cất bằng cách triển khai kép" được sử dụng, cho phép mỗi bên học từ lịch sử token Intent do chính nó tạo ra và lịch sử âm thanh hình ảnh tổng hợp, giúp giảm thiểu sự lệch phân phối khi suy luận. Các tác giả cho biết người dùng có thể trò chuyện và ngắt lời một cách tự nhiên, đồng thời có thể trình bày vật thể thật, thay đổi cảnh ảo, ra lệnh cho trợ lý hoặc chơi trò chơi âm thanh hình ảnh mà không cần chuột hay bàn phím.
Tại sao quan trọng Đưa "muốn làm gì" và "biểu hiện như thế nào" vào cùng một mô hình, trên cùng một dòng thời gian, cho phép xen lời và ngắt lời tự nhiên khi tương tác, thay vì phải nghe xong rồi mới tạo ra phản hồi
Thích 36 · Số sao mã nguồn 27
Lý do
- Phát hành bốn bộ trọng số: nền tảng nhân quả Duo-1.0, phiên bản chưng cất 4 bước, phiên bản lượng tử hóa, và nền tảng nhân quả Duo-1.2 với chất lượng hình ảnh được cải thiện; trọng số của mô-đun Realization được khởi tạo từ MiniMax H3 rồi huấn luyện lại
- Nhánh main là quy trình ngoại tuyến dành cho nghiên cứu (video đã ghi → chuyển đổi và căn chỉnh bằng Qwen3-ASR → Intent → Realization → mã hóa/giải mã âm thanh hình ảnh); các nhánh inference/vllm-omni-duo (được khuyến nghị) và inference/sglang-omni-duo cung cấp khả năng triển khai phát trực tiếp theo thời gian thực
- Giao diện người dùng có chế độ xem trước không tải trọng số, cho phép xem thử giao diện tương tác trước
Cách sử dụng
- Mã nguồn: https://github.com/inclusionAI/Duo(Apache-2.0);权重:抱脸 inclusionAI/Duo-1.2-causal-base (bao gồm gói hoàn chỉnh với mô-đun ASR và mô-đun căn chỉnh)
- Tạo hai môi trường ảo cho mô hình và giọng nói, chạy lệnh hf download inclusionAI/Duo-1.2-causal-base --local-dir weights, sao chép và chỉnh sửa configs/inference.example.json, chạy run_demo.py --port 4173 rồi ghi hình hoặc tải video lên trong trình duyệt web
- Nền tảng mặc định lấy mẫu 50 bước; để sử dụng phiên bản chưng cất 4 bước, trước tiên hãy tải nền tảng 1.0 rồi ghi đè Duo-1.0-distill vào cùng thư mục
Rủi ro
- v1 là phiên bản xem trước dành cho nhà nghiên cứu, README cho biết hiện chỉ hỗ trợ hội thoại cơ bản bằng âm thanh và hình ảnh; các tương tác thị giác được đề cập trong tóm tắt sẽ phải chờ đến Duo v2
- Cấu hình mặc định yêu cầu hai card đồ họa CUDA (một card cho Intent và mã hóa/giải mã, một card cho Realization); trọng số tuân theo giấy phép cộng đồng MiniMax H3
- Các tác giả chưa cung cấp số liệu đánh giá định lượng; mục này chưa được chạy thử
Mở · Mã nguồn · Trang bài báo