AURA 2.0: Mô hình trợ lý chủ động lên tiếng khi xem luồng video

AURA 2.0 là mô hình lớn xử lý luồng video, bổ sung ba khả năng vào nền tảng AURA: mô hình chủ động khởi tạo hội thoại (MIC), có thể tìm thấy các chủ đề đáng nói từ luồng video và lên tiếng vào thời điểm thích hợp ngay cả khi không có câu hỏi từ người dùng; gọi công cụ dựa trên luồng cảm nhận (SATC), gọi các công cụ bên ngoài dựa trên khung hình hiện tại và hội thoại, sau đó tích hợp kết quả trở lại vào hội thoại; định vị thị giác tương tác (IVG), có thể nhận diện các vật thể được người dùng đánh dấu trên màn hình và xuất ra các hộp giới hạn (bounding box) căn chỉnh với khung hình khi trả lời. Ngoài ra, còn có bộ nhớ tương tác dài hạn LHIM, giúp duy trì ngữ cảnh trong các luồng video dài. Nhóm nghiên cứu đã xây dựng một bộ dữ liệu tương tác theo luồng chuyên biệt và huấn luyện qua ba giai đoạn; các tác giả tuyên bố mô hình dẫn đầu so với các mô hình luồng mã nguồn mở trên các chuẩn đánh giá luồng công khai.

Tựa đề gốc: Beyond Answering: Learning to Speak First and Act in Streaming Video

AURA 2.0 là mô hình lớn xử lý luồng video, bổ sung ba khả năng vào nền tảng AURA: mô hình chủ động khởi tạo hội thoại (MIC), có thể tìm thấy các chủ đề đáng nói từ luồng video và lên tiếng vào thời điểm thích hợp ngay cả khi không có câu hỏi từ người dùng; gọi công cụ dựa trên luồng cảm nhận (SATC), gọi các công cụ bên ngoài dựa trên khung hình hiện tại và hội thoại, sau đó tích hợp kết quả trở lại vào hội thoại; định vị thị giác tương tác (IVG), có thể nhận diện các vật thể được người dùng đánh dấu trên màn hình và xuất ra các hộp giới hạn (bounding box) căn chỉnh với khung hình khi trả lời. Ngoài ra, còn có bộ nhớ tương tác dài hạn LHIM, giúp duy trì ngữ cảnh trong các luồng video dài. Nhóm nghiên cứu đã xây dựng một bộ dữ liệu tương tác theo luồng chuyên biệt và huấn luyện qua ba giai đoạn; các tác giả tuyên bố mô hình dẫn đầu so với các mô hình luồng mã nguồn mở trên các chuẩn đánh giá luồng công khai.

Tại sao quan trọng Hầu hết các trợ lý chỉ trả lời khi được hỏi; mô hình này hướng tới sự đồng hành thời gian thực và hướng dẫn trực tiếp, với trọng số, frontend/backend giọng nói và giao diện trình duyệt đều được mã nguồn mở

Lượt thích 8 · Số sao mã nguồn 28

Lý do

  • Đã phát hành hai trọng số AURA 2.0 và BF8, cùng với backend song công, giao diện trình duyệt, trình thực thi công cụ và script triển khai, theo giấy phép Apache-2.0
  • Bản demo là một cuộc gọi thoại hoàn chỉnh: Qwen3-ASR-1.7B cho nhận dạng giọng nói, Qwen3-TTS-12Hz-1.7B cho tổng hợp giọng nói, hỗ trợ nhấn để nói, gõ chữ, hoặc khoanh tròn trên màn hình để đặt câu hỏi
  • Có thể tùy chọn sử dụng Qwen3-VL-8B-Instruct để tóm tắt bộ nhớ hội thoại dài (mặc định tắt)

Cách sử dụng

  • Mã nguồn: https://github.com/aurateam2026/Aura2.0;权重在抱脸 aurateam/AURA_2 (hoặc AURA_2_BF8), sau khi tải về hãy kiểm tra bằng deploy/lib/check_ckpt.py trước
  • Chạy lệnh bash deploy/aura.sh up --aura thư_mục_trọng_số --gpus 0,1 --speaker Serena để khởi động dịch vụ một cách nhanh chóng (lần đầu sẽ cài đặt môi trường, tải mô hình ASR / TTS và thực hiện kiểm thử nhanh), mở trình duyệt tại localhost:9310; đối với máy chủ từ xa, hãy sử dụng đường hầm SSH, còn để truy cập từ điện thoại cần cấu hình proxy ngược HTTPS
  • Cũng có thể triển khai bằng Docker, nhưng bạn phải tự xây dựng image (không có image chính thức được phát hành)

Rủi ro

  • Cấu hình đã được xác minh là 2 thẻ tăng tốc 80 GB; cấu hình một thẻ cần một thẻ 80 GB với khoảng 70 GB bộ nhớ trống, các phần cứng khác chưa được xác minh
  • Tóm tắt không cung cấp điểm số cụ thể, “dẫn đầu các mô hình luồng mã nguồn mở” là do các tác giả báo cáo; bài viết này chưa chạy thử nghiệm

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất