Tiêu đề gốc: Diffuspace/Clover-35B-A3B-Preview
Mô hình đầu tiên của DiffuSpace: Một mô hình ngôn ngữ khuếch tán thuần văn bản được chuyển đổi từ Qwen3.6-35B-A3B, giữ lại kiến trúc xương sống MoE kết hợp giữa Gated DeltaNet và cơ chế chú ý toàn phần (full attention) (40 lớp, chọn 8 trong số 256 chuyên gia định tuyến, mỗi lớp có 1 chuyên gia chia sẻ), tổng tham số là 35B, kích hoạt khoảng 3B cho mỗi token, ngữ cảnh 128K. Quá trình sinh văn bản diễn ra theo từng khối: ban đầu mỗi khối đều bị che (mask), các vị trí có độ tin cậy vượt ngưỡng (mặc định là 0.95) sẽ được điền song song; nếu không có vị trí nào đạt yêu cầu, hệ thống sẽ điền vào vị trí có độ tin cậy cao nhất. Sau khi hoàn thành, khối này trở thành tiền tố cho khối tiếp theo (độ dài khối mặc định là 32). Để làm được điều này, các tham số GDN có thể học đã được thêm mới, cho phép các token trong cùng một khối nhìn thấy nhau hai chiều, trong khi phần tiền tố vẫn duy trì tính nhân quả. Tác giả tuyên bố rằng tại thời điểm phát hành, mô hình này là tốt nhất trong số các mô hình ngôn ngữ khuếch tán mã nguồn mở dựa trên các chuẩn đánh giá được báo cáo trên blog của họ. Kho lưu trữ được tạo vào ngày 24 tháng 10, và không được đưa vào các bản tin trước đó.
Điểm tăng thêm 87 · Lượt thích 247 · Lượt tải xuống 3572
Lý do
- Một phiên bản kích thước lớn có thể chạy trực tiếp của mô hình ngôn ngữ khuếch tán: có thể xác định nhiều token cùng lúc; trong một khối, chỉ cần sử dụng một nhóm chuyên gia chia sẻ (dừng lại khi điểm định tuyến tích lũy đạt 90%), giúp giảm số lượng các chuyên gia khác nhau được gọi trong cùng một khối.
- Nhiều lựa chọn triển khai: Suy luận độc lập với Transformers; cài đặt SGLang chính thức được khuyến nghị hỗ trợ khử nhiễu khuếch tán theo khối và giải mã tự suy đoán (self-speculative decoding), llama.cpp hỗ trợ giải mã tự suy đoán (cả hai đều được gửi dưới dạng PR lên upstream).
- Giấy phép Apache-2.0, giữ lại thông báo bản quyền của Qwen upstream và kèm theo mô tả sửa đổi cho từng tệp; lượt thích trên Hugging Face là 247 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- pip install "transformers==5.19.0" accelerate safetensors (PyTorch 2.10+), AutoModelForCausalLM.from_pretrained('Diffuspace/Clover-35B-A3B-Preview', trust_remote_code=True, dtype=torch.bfloat16, device_map='cuda:0'), khi áp dụng apply_chat_template thì đặt enable_thinking=True, generate(max_new_tokens=24576, block_size=32, threshold=0.95, do_sample=False). Trọng số BF16 nặng khoảng 69 GB, yêu cầu một card đồ họa đủ dung lượng.
- Kiểm soát chống lặp lại và kết thúc đã được tích hợp vào cấu hình mặc định (presence_penalty 0.9, repetition_penalty 1.05, câu trả lời sẽ dần nghiêng về việc kết thúc sau khi vượt quá 8192 token, phần suy nghĩ sẽ dần nghiêng về việc kết thúc sau khi vượt quá 4096 token), thường không cần thay đổi; đối với dịch vụ chính thức và đánh giá, hãy sử dụng cài đặt SGLang chính thức.
Rủi ro
- Phiên bản Preview: Thẻ mô hình và README đều không liệt kê điểm số, kết quả chuẩn đánh giá chỉ có trong hình ảnh trên blog chính thức của tác giả; tác giả cũng thừa nhận rằng các quá trình sinh văn bản rất dài đôi khi bị lặp lại.
- Mã backend cho SGLang, llama.cpp và mã SFT trong kho lưu trữ đều được ghi chú là "sắp ra mắt"; đầu ra từ phiên bản Transformers và SGLang có thể khác nhau do sai số số học.
- Các yêu cầu vượt quá 128K sẽ bị từ chối trực tiếp (bao gồm cả không gian cần thiết để hoàn thành toàn bộ khối cuối cùng).