Tiêu đề gốc: sensenova/SenseNova-Loop-9B
Phiên bản chính thức do nhóm SenseNova tải lên vào ngày 17 tháng 11 (đã phát hành bản Preview trước đó vào ngày 31 tháng 10). Thẻ mô hình cho biết khoảng 9B tham số: trong bộ giải mã gồm 32 lớp, các lớp từ 4 đến 27 chia sẻ trọng số và được chạy hai lần trong mỗi lượt truyền tiến (forward pass), tổng cộng tính toán trên 56 lớp (quy đổi chính thức tương đương khoảng 14.6B tham số suy luận), kết hợp với dòng dư kép mHC, cùng cấu trúc hỗn hợp gồm 3 lớp chú ý tuyến tính và 1 lớp chú ý đầy đủ cứ mỗi 4 lớp. Đầu vào là văn bản và hình ảnh, đầu ra là văn bản, ngữ cảnh 512K, hướng tới các tác vụ suy luận phức tạp, lập trình, gọi công cụ và đa phương thức. Giấy phép Apache-2.0.
Tại sao quan trọng Chính thức tuyên bố hiệu suất trên các bài đánh giá về tác nhân (agent) và phân tích dữ liệu gần bằng các mô hình Qwen có kích thước gấp ba lần; sau khi lượng tử hóa 4-bit, nhu cầu bộ nhớ VRAM giảm xuống chỉ còn hơn chục GB
Điểm tăng 185 · Lượt thích 188 · Lượt tải xuống 0
Lý do
- Chính thức tuyên bố phiên bản chính thức vượt qua bản Preview trên tất cả 7 bài đánh giá trong hình: AutomationBench từ 14.33 lên 36.67, Terminal-Bench từ 2.1 40.45 lên 59.55, GAIA từ 37.86 lên 69.90; so với Qwen3.8-27B, AIDABench đạt 65.31 so với 65.01, NL2Repo đạt 41.36 so với 44.60
- Ước tính bộ nhớ VRAM chính thức: trọng số 4 bit khoảng 4.9 GB, khi thêm bộ nhớ đệm KV 8 bit thì ngữ cảnh 64K / 128K / 256K cần khoảng 10 / 12 / 15 GiB
- Chính thức đã thực hiện thí nghiệm về số vòng lặp: điểm số tốt nhất nằm trong khoảng từ 3 đến 4 vòng trong phạm vi 1 đến 4 vòng; để cân bằng tốc độ, mặc định là 2 vòng; thẻ mô hình có các ví dụ động về tạo trang web, SVG, áp phích và cảnh 3D
Cách sử dụng
- Transformers 5.18.0: Cả AutoTokenizer và AutoModelForCausalLM đều cần thêm trust_remote_code=True, dtype sử dụng bfloat16; trong apply_chat_template, đặt enable_thinking=True để bật chế độ suy nghĩ (thinking), đặt False để tắt
- Triển khai dịch vụ: Hình ảnh chính thức của LightLLM (ví dụ --tp 4) cung cấp giao diện tương thích OpenAI; vLLM và SGLang yêu cầu tự cài đặt bằng cách kéo các PR chưa được hợp nhất (vLLM #64832, SGLang #47281)
- Hỗ trợ giải mã suy đoán MTP, script huấn luyện mô hình nháp nằm trong GitHub OpenSenseNova/SenseSpec; ví dụ tinh chỉnh nằm trong OpenSenseNova/torchtitan
Rủi ro
- Tải trọng số yêu cầu đăng nhập Hugging Face và đồng ý với các điều khoản truy cập (tự động chấp thuận); lệnh triển khai vẫn沿用 (giữ nguyên) từ phiên bản Preview, chính thức cho biết phiên bản engine và cấu hình của bản chính thức sẽ được cập nhật sau
- Thẻ mô hình tuyên bố cung cấp phiên bản AWQ 4 bit chính thức vào ngày đầu tiên, nhưng tại thời điểm kiểm tra mục này, danh sách công khai dưới tên sensenova vẫn chưa có; các con số bộ nhớ VRAM là ước tính chính thức
- Các điểm yếu được chính thức liệt kê: khi có nhiều định nghĩa công cụ và ràng buộc, mô hình dễ bỏ sót yêu cầu; hiệu suất không ổn định trong lập trình và các tác vụ tác nhân chuỗi dài; trang web phức tạp 3D / hoạt ảnh cần hai đến ba vòng chỉnh sửa; tất cả điểm số đều lấy từ biểu đồ chính thức, mục này chưa chạy thử nghiệm